vCenterのLogディスク容量が逼迫したのでログを削除

【重要】2021/12/18現在、VMware製品の複数製品において、Log4jの脆弱性がアナウンスされております。
VMware製品のLog4j対応状況については、以下のサイトより最新情報を確認してください。
VMSA-2021-0028

今回は、自鯖のvCenter ServerでログのLog disk exhaustionのアラームが出ていたので、ログを消してログディスクの容量を確保します。

環境周り
出現したアラーム
原因と対応
作業計画
作業開始
vCenterのWebコンソールから確認
考察
おまけ

環境周り

自宅の検証環境では、2台のESXiをvCenter Serverで管理しています。
ESXiのリソースも大きくないため、vCenterは極小でデプロイしています。
vCenterのリソースは以下の通り。

CPU : 2vCPU
MEM : 12GB
Disk : 100GB(シンプロ)

出現したアラーム

本来であれば、vCenterの[サマリ]タブで赤色のメッセージが出てくるのですが、その状態のスクショが取れていなかったので、[監視]タブの[タスクとイベント]-[イベント]より、アラームのトリガーを確認しています。
今回は、「Log disk exhaustion on Host名」のアラートが出ていました。

原因と対応

この手のアラームは単語をグーグル先生に聞けばVMのKBが引っかかってきます。
また、イベントの名前から、ある程度想定はできます。
今回合致したKBは以下のKBとなります。

Troubleshooting vCenter Appliance /storage/log directory is 80% or more full (83070)

内容的には、vCenterのログディスク使用量が80%を超えると発報されるようです。
対応として、該当のログを削除することで、ディスクの使用量を削減しろとのこと。

作業計画

KBベースで作業手順を組み立てます。
KBには該当ディレクトリのcatalina~.logを表示して削除せよとの案内があったので、ログを削除するのですが、本番環境であれば監査やログの保存期間等の要件があるので、本当に削除してよいか？や別の場所にアーカイブを残す等の措置が必要になってくると思います。

vCenterへSSH接続
ディスク容量確認
該当のログを確認
該当ログを一括削除
ディスク容量の確認

この手順で作業をしてみます。

作業開始

vCenterのコンソールからshell表示にしても良いのですが、作業ログが取れないのと、コマンドのコピペができないことから、今回はSSHを使用してvCenterへ接続します。

vCenterへSSHする際は[root]のユーザを使用します。

vCenterへ接続後、[shell]と入力することで、Shellモードに移行します。

DFコマンドで現在のディスクと容量や使用率を確認します。

root@arion [ ~ ]# df -h
Filesystem                                Size  Used Avail Use% Mounted on
devtmpfs                                  5.9G     0  5.9G   0% /dev
tmpfs                                     5.9G  912K  5.9G   1% /dev/shm
tmpfs                                     5.9G  1.2M  5.9G   1% /run
tmpfs                                     5.9G     0  5.9G   0% /sys/fs/cgroup
/dev/sda3                                  46G  8.9G   35G  21% /
/dev/sda2                                 120M   24M   88M  22% /boot
/dev/mapper/vtsdb_vg-vtsdb                9.8G   67M  9.2G   1% /storage/vtsdb
/dev/mapper/archive_vg-archive             49G   19G   28G  40% /storage/archive
/dev/mapper/lifecycle_vg-lifecycle         98G  2.7G   91G   3% /storage/lifecycle
/dev/mapper/vtsdblog_vg-vtsdblog          4.9G   36M  4.6G   1% /storage/vtsdblog
/dev/mapper/updatemgr_vg-updatemgr         98G  420M   93G   1% /storage/updatemgr
/dev/mapper/imagebuilder_vg-imagebuilder  9.8G   37M  9.3G   1% /storage/imagebuilder
/dev/mapper/autodeploy_vg-autodeploy      9.8G   37M  9.3G   1% /storage/autodeploy
/dev/mapper/netdump_vg-netdump            985M  2.5M  915M   1% /storage/netdump
/dev/mapper/seat_vg-seat                  9.8G  418M  8.9G   5% /storage/seat
/dev/mapper/dblog_vg-dblog                 15G  105M   14G   1% /storage/dblog
/dev/mapper/db_vg-db                      9.8G  293M  9.0G   4% /storage/db
/dev/mapper/log_vg-log                    9.8G  8.5G  802M  92% /storage/log
/dev/mapper/core_vg-core                   25G  180M   24G   1% /storage/core
tmpfs                                     5.9G  4.7M  5.9G   1% /tmp

今回該当する場所は、/dev/mapper/log_vg-log 9.8G 8.5G 802M 92% /storage/logとなります。
マッピングされているディスクのサイズは9.8GBに対し、使用量が8.5GBで使用率92%になっていました。。。(80%でアラームが上がるんから気づけよ・・・というツッコミはナシで)

次に、KBで案内されているディレクトリまで移動し、削除対象のログを確認します。

root@arion [ ~ ]# cd /storage/log/vmware/sso/tomcat/
root@arion [ /storage/log/vmware/sso/tomcat ]# ls -lha catalina*log
-rw-r--r-- 1 root root 1.1M Aug 20  2020 catalina.2020-08-20.log
-rw-r--r-- 1 root root  11M Aug 21  2020 catalina.2020-08-21.log
-rw-r--r-- 1 root root  11M Aug 22  2020 catalina.2020-08-22.log

(中略)

-rw-r--r-- 1 root root 8.4M Jul 21 19:22 catalina.2021-07-21.log
-rw-r--r-- 1 root root  49K Jul 22  2021 catalina.2021-07-22.log

と11MB程度のログがおそらくvCenter Serverの構築した当初から残っています。
VMware曰く、このログは必要なさそうなので、がっつり消してしまします。

root@arion [ /storage/log/vmware/sso/tomcat ]# rm catalina*log
root@arion [ /storage/log/vmware/sso/tomcat ]# df -h
Filesystem                                Size  Used Avail Use% Mounted on
devtmpfs                                  5.9G     0  5.9G   0% /dev
tmpfs                                     5.9G  912K  5.9G   1% /dev/shm
tmpfs                                     5.9G  1.2M  5.9G   1% /run
tmpfs                                     5.9G     0  5.9G   0% /sys/fs/cgroup
/dev/sda3                                  46G  8.9G   35G  21% /
/dev/sda2                                 120M   24M   88M  22% /boot
/dev/mapper/vtsdb_vg-vtsdb                9.8G   67M  9.2G   1% /storage/vtsdb
/dev/mapper/archive_vg-archive             49G   19G   28G  40% /storage/archive
/dev/mapper/lifecycle_vg-lifecycle         98G  2.7G   91G   3% /storage/lifecycle
/dev/mapper/vtsdblog_vg-vtsdblog          4.9G   36M  4.6G   1% /storage/vtsdblog
/dev/mapper/updatemgr_vg-updatemgr         98G  420M   93G   1% /storage/updatemgr
/dev/mapper/imagebuilder_vg-imagebuilder  9.8G   37M  9.3G   1% /storage/imagebuilder
/dev/mapper/autodeploy_vg-autodeploy      9.8G   37M  9.3G   1% /storage/autodeploy
/dev/mapper/netdump_vg-netdump            985M  2.5M  915M   1% /storage/netdump
/dev/mapper/seat_vg-seat                  9.8G  418M  8.9G   5% /storage/seat
/dev/mapper/dblog_vg-dblog                 15G  105M   14G   1% /storage/dblog
/dev/mapper/db_vg-db                      9.8G  293M  9.0G   4% /storage/db
/dev/mapper/log_vg-log                    9.8G  5.2G  4.2G  56% /storage/log
/dev/mapper/core_vg-core                   25G  180M   24G   1% /storage/core
tmpfs                                     5.9G  4.7M  5.9G   1% /tmp

削除後に再度DFコマンドを打つと、8.5GB→5.2GBへ削減されました。
使用率も90%超から50%台まで下がっています。

KBでは/storage/log/vmware/sso/tomcat/以外にも/storage/log/vmware/eam/web/ や/storage/log/vmware/lookupsvc/tomcat/ も同様にログがあれば削除せよ記載があるのですが、見たところあまり容量を喰っているログが無かったので、今回は削除しませんでした。

vCenterのWebコンソールから確認

削除後、vCenterのWebコンソールを確認したところ、該当のアラームはなくなっており、イベントから確認すると、ステータスが[赤]→[緑]になったと表示されていたので、とりあえずは様子見してみます。

考察

今回は、久々にvCenterのWebコンソールにアクセスすることでアラームを確認しましたが、vCenterのイベントにSNMPトラップの発信イベントが残っていたのでvCenterのSNMPトラップをZabbixあたりで受信すれば早めに察知ができると思います。
また、それなりの大きさのログが構築当初から残っていたので、定期的に削除するか、該当のログをローテートする設定？があれば設定しておくことが必要だと思いました。
vCenterのログローテートの仕様はまだ調べられていないので、今後の課題として対応したいと思います。

おまけ

本ブログではVMwareやWindows、Linuxのインストール手順等も公開しております。
インフラエンジニアとして有益な記事や無益なコンテンツも作成しておりますので、通勤時間や休憩時間、休日のスキマ時間等に合わせて読んでいただけると幸いです。
また、Youtubeで解説動画も鋭意作成中です。本ブログで記事にしているものも動画にしようと思っておりますので、よろしくお願いいたします。
willserverのnoteも開設したのでフォローお願いします。