サーバーのルート容量が 97.8% になっていた

ビックリしました。サーバーがいつもと異なる挙動をして落ちてしまったので、見に行ったら、ルートの容量が 97.8 %になっていた。これはおかしい。調査を開始。

原因は RAID 5のアレイ

このサーバーには RAID 5のアレイが乗っかっていて、それを /mnt フォルダ以下にマウントしている。ところが、この RAID 5のアレイがエラーを起こし、マウントされない状態になってしまった。ところが、それを感知することなく、書き込みを行ってしまったため /mnt フォルダ以下に実データが書き込まれてしまったというのが原因。

RAID 5のエラーに関しては幸い小さなエラーで、復旧できた。 Data のロストがないことを確認して、アンマウント。本来空のはずの /mnt 以下を見てみると実データが存在していた。これが容量を食っていたものなので、サクッと削除。無事、ルートの容量を復旧できた。

RAID 5がエラーを起こしたときの対処

RAID 5だからと言って万能ではないわけで、今回のようなエラーを起こしたときの対処として、 /mn 以下マウント・ポジションを読み出し専用にする。

sudo umount /mnt/<マウント・ポジション>
sudo chattr +i /mnt/<マウント・ポジション>

ちゃんと NAS がマウントされた場合は、そちらの属性が優先されるので気にしなくていい。こうしておけば、エラーを起こしてマウントされないという状態でも書き込み禁止になるので、ログを見てすぐ分かるというわけ。

投稿者プロフィール

kaizawa
kaizawaブロガー
新潟県在住。1964年生まれ、東京オリンピックの年ですね。
突然燃え上がったり、鎮火したり興味の波が激しいので注意が必要です。

    Follow me!