So-net無料ブログ作成
検索選択

フェイルオーバー発生 [事例]

ずいぶん昔の話ですが。

第一報はフェイルオーバーが発生したので、業務継続の確認と原因調査を行えというもの。
こう言うと語弊がありますが、割とよくあるお話。

定番の調査方法はOSやクラスタのログ、データベースのログの採取、解析を行い、
原因を特定していきます。

動作している環境から定番の資料を送ってもらいましたがどうもちぐはぐな状態です。
必要なログがなかったり、動いているはずのモジュールが動いていなかったり。
多分資料を取ったサーバを間違ったのだろうと連絡しても、どうも間違いは無いらしい。

仕方ないのでまずもらった資料で該当すると思われる時間帯を調べる
OSのシャットダウンが発生していました。
その時間帯の状況をお聞きすると、まさにフェイルオーバーしているころだと。

よく考えました。どうもおかしいので。

引っ張っても仕方ないので結論だけ。
人力フェイルオーバーでした。

何でもOSを強制停止して、その後別筐体へストレージを結線しなおし、起動したと(!)
その後稼働しているサーバのログをもらいましたがどうやら業務自体は無事に動いているようでした。
フェイルオーバーとは言ったものの、クラスタウェアでの制御ではなく、コールドスタンバイだったようです。

このときは今でも仕方なかったと思ってはいます。
しかし、先入観に縛られず、何が起きているか環境の様子を聞くという基本を大事にする、
そんな教訓を忘れないようにする時々思い返すエピソードです。

nice!(0)  コメント(0)  トラックバック(0) 
共通テーマ:仕事

nice! 0

コメント 0

コメントを書く

お名前:[必須]
URL:[必須]
コメント:
画像認証:
下の画像に表示されている文字を入力してください。

トラックバック 0

この記事のトラックバックURL:
※言及リンクのないトラックバックは受信されません。

この広告は前回の更新から一定期間経過したブログに表示されています。更新すると自動で解除されます。

×

この広告は1年以上新しい記事の更新がないブログに表示されております。