【重要】2021/12/18現在、VMware製品の複数製品において、Log4jの脆弱性がアナウンスされております。
VMware製品のLog4j対応状況については、以下のサイトより最新情報を確認してください。
VMSA-2021-0028
今回は、自鯖のvCenter ServerでログのLog disk exhaustionのアラームが出ていたので、ログを消してログディスクの容量を確保します。
環境周り
自宅の検証環境では、2台のESXiをvCenter Serverで管理しています。
ESXiのリソースも大きくないため、vCenterは極小でデプロイしています。
vCenterのリソースは以下の通り。
- CPU : 2vCPU
- MEM : 12GB
- Disk : 100GB(シンプロ)
出現したアラーム
本来であれば、vCenterの[サマリ]タブで赤色のメッセージが出てくるのですが、その状態のスクショが取れていなかったので、[監視]タブの[タスクとイベント]-[イベント]より、アラームのトリガーを確認しています。
今回は、「Log disk exhaustion on Host名」のアラートが出ていました。
原因と対応
この手のアラームは単語をグーグル先生に聞けばVMのKBが引っかかってきます。
また、イベントの名前から、ある程度想定はできます。
今回合致したKBは以下のKBとなります。
Troubleshooting vCenter Appliance /storage/log directory is 80% or more full (83070)
内容的には、vCenterのログディスク使用量が80%を超えると発報されるようです。
対応として、該当のログを削除することで、ディスクの使用量を削減しろとのこと。
作業計画
KBベースで作業手順を組み立てます。
KBには該当ディレクトリのcatalina~.logを表示して削除せよとの案内があったので、ログを削除するのですが、本番環境であれば監査やログの保存期間等の要件があるので、本当に削除してよいか?や別の場所にアーカイブを残す等の措置が必要になってくると思います。
- vCenterへSSH接続
- ディスク容量確認
- 該当のログを確認
- 該当ログを一括削除
- ディスク容量の確認
この手順で作業をしてみます。
作業開始
vCenterのコンソールからshell表示にしても良いのですが、作業ログが取れないのと、コマンドのコピペができないことから、今回はSSHを使用してvCenterへ接続します。
vCenterへSSHする際は[root]のユーザを使用します。
vCenterへ接続後、[shell]と入力することで、Shellモードに移行します。
DFコマンドで現在のディスクと容量や使用率を確認します。
root@arion [ ~ ]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 5.9G 0 5.9G 0% /dev
tmpfs 5.9G 912K 5.9G 1% /dev/shm
tmpfs 5.9G 1.2M 5.9G 1% /run
tmpfs 5.9G 0 5.9G 0% /sys/fs/cgroup
/dev/sda3 46G 8.9G 35G 21% /
/dev/sda2 120M 24M 88M 22% /boot
/dev/mapper/vtsdb_vg-vtsdb 9.8G 67M 9.2G 1% /storage/vtsdb
/dev/mapper/archive_vg-archive 49G 19G 28G 40% /storage/archive
/dev/mapper/lifecycle_vg-lifecycle 98G 2.7G 91G 3% /storage/lifecycle
/dev/mapper/vtsdblog_vg-vtsdblog 4.9G 36M 4.6G 1% /storage/vtsdblog
/dev/mapper/updatemgr_vg-updatemgr 98G 420M 93G 1% /storage/updatemgr
/dev/mapper/imagebuilder_vg-imagebuilder 9.8G 37M 9.3G 1% /storage/imagebuilder
/dev/mapper/autodeploy_vg-autodeploy 9.8G 37M 9.3G 1% /storage/autodeploy
/dev/mapper/netdump_vg-netdump 985M 2.5M 915M 1% /storage/netdump
/dev/mapper/seat_vg-seat 9.8G 418M 8.9G 5% /storage/seat
/dev/mapper/dblog_vg-dblog 15G 105M 14G 1% /storage/dblog
/dev/mapper/db_vg-db 9.8G 293M 9.0G 4% /storage/db
/dev/mapper/log_vg-log 9.8G 8.5G 802M 92% /storage/log
/dev/mapper/core_vg-core 25G 180M 24G 1% /storage/core
tmpfs 5.9G 4.7M 5.9G 1% /tmp
今回該当する場所は、/dev/mapper/log_vg-log 9.8G 8.5G 802M 92% /storage/log
となります。
マッピングされているディスクのサイズは9.8GBに対し、使用量が8.5GBで使用率92%になっていました。。。(80%でアラームが上がるんから気づけよ・・・というツッコミはナシで)
次に、KBで案内されているディレクトリまで移動し、削除対象のログを確認します。
root@arion [ ~ ]# cd /storage/log/vmware/sso/tomcat/
root@arion [ /storage/log/vmware/sso/tomcat ]# ls -lha catalina*log
-rw-r--r-- 1 root root 1.1M Aug 20 2020 catalina.2020-08-20.log
-rw-r--r-- 1 root root 11M Aug 21 2020 catalina.2020-08-21.log
-rw-r--r-- 1 root root 11M Aug 22 2020 catalina.2020-08-22.log
(中略)
-rw-r--r-- 1 root root 8.4M Jul 21 19:22 catalina.2021-07-21.log
-rw-r--r-- 1 root root 49K Jul 22 2021 catalina.2021-07-22.log
と11MB程度のログがおそらくvCenter Serverの構築した当初から残っています。
VMware曰く、このログは必要なさそうなので、がっつり消してしまします。
root@arion [ /storage/log/vmware/sso/tomcat ]# rm catalina*log
root@arion [ /storage/log/vmware/sso/tomcat ]# df -h
Filesystem Size Used Avail Use% Mounted on
devtmpfs 5.9G 0 5.9G 0% /dev
tmpfs 5.9G 912K 5.9G 1% /dev/shm
tmpfs 5.9G 1.2M 5.9G 1% /run
tmpfs 5.9G 0 5.9G 0% /sys/fs/cgroup
/dev/sda3 46G 8.9G 35G 21% /
/dev/sda2 120M 24M 88M 22% /boot
/dev/mapper/vtsdb_vg-vtsdb 9.8G 67M 9.2G 1% /storage/vtsdb
/dev/mapper/archive_vg-archive 49G 19G 28G 40% /storage/archive
/dev/mapper/lifecycle_vg-lifecycle 98G 2.7G 91G 3% /storage/lifecycle
/dev/mapper/vtsdblog_vg-vtsdblog 4.9G 36M 4.6G 1% /storage/vtsdblog
/dev/mapper/updatemgr_vg-updatemgr 98G 420M 93G 1% /storage/updatemgr
/dev/mapper/imagebuilder_vg-imagebuilder 9.8G 37M 9.3G 1% /storage/imagebuilder
/dev/mapper/autodeploy_vg-autodeploy 9.8G 37M 9.3G 1% /storage/autodeploy
/dev/mapper/netdump_vg-netdump 985M 2.5M 915M 1% /storage/netdump
/dev/mapper/seat_vg-seat 9.8G 418M 8.9G 5% /storage/seat
/dev/mapper/dblog_vg-dblog 15G 105M 14G 1% /storage/dblog
/dev/mapper/db_vg-db 9.8G 293M 9.0G 4% /storage/db
/dev/mapper/log_vg-log 9.8G 5.2G 4.2G 56% /storage/log
/dev/mapper/core_vg-core 25G 180M 24G 1% /storage/core
tmpfs 5.9G 4.7M 5.9G 1% /tmp
削除後に再度DFコマンドを打つと、8.5GB→5.2GBへ削減されました。
使用率も90%超から50%台まで下がっています。
KBでは/storage/log/vmware/sso/tomcat/
以外にも/storage/log/vmware/eam/web/
や/storage/log/vmware/lookupsvc/tomcat/
も同様にログがあれば削除せよ記載があるのですが、見たところあまり容量を喰っているログが無かったので、今回は削除しませんでした。
vCenterのWebコンソールから確認
削除後、vCenterのWebコンソールを確認したところ、該当のアラームはなくなっており、イベントから確認すると、ステータスが[赤]→[緑]になったと表示されていたので、とりあえずは様子見してみます。
考察
今回は、久々にvCenterのWebコンソールにアクセスすることでアラームを確認しましたが、vCenterのイベントにSNMPトラップの発信イベントが残っていたのでvCenterのSNMPトラップをZabbixあたりで受信すれば早めに察知ができると思います。
また、それなりの大きさのログが構築当初から残っていたので、定期的に削除するか、該当のログをローテートする設定?があれば設定しておくことが必要だと思いました。
vCenterのログローテートの仕様はまだ調べられていないので、今後の課題として対応したいと思います。
おまけ
本ブログではVMwareやWindows、Linuxのインストール手順等も公開しております。
インフラエンジニアとして有益な記事や無益なコンテンツも作成しておりますので、通勤時間や休憩時間、休日のスキマ時間等に合わせて読んでいただけると幸いです。
また、Youtubeで解説動画も鋭意作成中です。本ブログで記事にしているものも動画にしようと思っておりますので、よろしくお願いいたします。
willserverのnoteも開設したのでフォローお願いします。
コメント