抜けたケーブルを差し込んだら【とんでもない】事態に

昨日、会社での出来事です。

朝のミーティングで、フロアー全体でネットワーク障害が発生していると報告があった。別の部屋にある私のデスクでは、朝からメールもグループウェアも問題なく使えていたので寝耳に水という感じだった。

早速、障害が起きている部屋に行って状況を確認すると、どうやらフロアー全体で 100台近いパソコンにネットワーク障害が発生している模様だった。インターネット、社内イントラネット、ネットワークプリンタにも接続できない状態だ。

レベルマックスの緊急事態である。

すぐにでもこの障害が解消されなければ、全国レベルでの処理遅延に発展するのは時間の問題だった。

システム統合部門の調査では、社内イントラネットでは障害は起きていないということだった。また、同じフローの別部屋では障害が起きていないことから、社屋内での問題であることがわかった。

障害フロアーを子細に調べると、ごく一部だけ障害が起きていないＰＣがあった。正常なＰＣの IP address を調べたが、障害が起きているＰＣと同じセグメントであった。

サーバールームを開錠して、ルーターの状態を確認する。これだけ広範囲な障害はルーターの問題だと思ったのだが、同じセグメントでも障害が起きていないＰＣがあるのが不可思議だった。

ルーターのアクセスランプが一部消灯しているのを確認する。しかしルーター自体が死んでいる事はなかった。

この時点で、素人には手に負えないということで、システム管理部門に連絡して、出向いて貰おうと考えていた。そこで電話応対してもらったオペレータとの会話で、この障害解消のヒントが出たのだった。

障害が起きているＰＣがつながっているスイッチングハブ（机の島ごとにいくつもある）は、どれも『Link/Act』の LED が激しく点滅しているのだ。今までに遭遇したことのない現象だ。

そのことを説明すると、オペレータが話したのは「ループ」の可能性だった。ネットワーク信号が「ループ」すると、ハブの LED がこのような点滅を繰り返すことがあるという。しかもこういう場合、そのハブだけではなく、ネットワーク全体に信号の衝突が発生して、不安定になったり使用不可になったりするそうなのだ。

フロアーのリーダーを集めて、出勤してからＬＡＮケーブルの抜き差しを行った人間がいないかを調べるように指示を出す。しかし、ＬＡＮケーブルの抜き差しがあったとしても、間違ってループにする可能性は低いと思えた。いくらなんでも…。

しかし、障害が発生したと思われる９時の朝礼前にＬＡＮケーブルをハブにさしたという人間がいたのだ！

ためしにそのハブにつながっているケーブルをすべて抜いてみる。すると、フロー全体のネットワーク障害が見事に解消したのだった。

なんということだ。ケーブル１本を間違って刺しただけで、これだけ広範囲にネットワーク障害が起きるとは。

作業をした人間に経緯を聞く。

朝出勤して、ＰＣを立ち上げると勤怠システムのページが開かなかった。これまで、そういう不具合が起きた時は、足元のハブのＬＡＮケーブルがゆるくなって接続不良になっていた。コネクタを止めるツメが折れて、ケーブルに足をかけただけで、そうなってしまうのだ。

今朝も同じように机の下をのぞくと、外れているケーブルがあるのが分かった。これだと思い、空いているポートにさしこんだ。それでも勤怠システムには接続できなかった。そこでパソコン背面のＬＡＮケーブル差し込み口を見るとＬＥＤが点滅しているので、信号はきている、これはきっとネットワーク自体の不具合であると思い、そのままにした。

実際はこの瞬間にネットワーク信号がループを始め、フロアー全体を巻き込んでの障害に発展したのだ。

問題のハブの周りを整理すると、どのＰＣにもつながっていないＬＡＮケーブルが１本見付かった。考えるに、ＰＣを他の場所に移動させた時にＬＡＮケーブルをそのまま残してしまったのだろう。ハブに刺さったままのケーブルが床に放置され、たまたま今日、ＬＡＮケーブルの抜けを疑った人間の目にとまり、同じハブの別のポートに差し込まれてしまったのだ。

１時間半くらいの障害だったが、大きな影響は残らなかった。しかし対応を一つ間違えればと思うと、冷や汗が出る。オペレータの何気ない、かつ的確なアドバイスを参考にできたのは、とてもラッキーだった。

しかしケーブル１本をループさせただけで、こんなことが起きるとは、げにおそろしき…。