さくらのクラウドのストレージネットワーク障害が深刻そうです。

「さくらのクラウド」ストレージネットワーク障害に関するご報告（1月13日更新）

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　2011年12月26日掲載
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　2012年01月13日更新
お客様各位
　　　　　　　　　　　　　　　　　　　　　　　　　　さくらインターネット株式会社

　平素よりさくらインターネットに格別のご愛顧を賜り、誠にありがとうございます。

　今回の「さくらのクラウド」の障害により、お客様には多大なご迷惑をお掛けいたしま
したこと、謹んでお詫び申し上げます。

　本障害について、以下にて概要および対策、そして「さくらのクラウド」をご利用中の
お客様を対象とした料金のお支払いに関してご報告いたします。

　　　　　　　　　　　　　　　　　　＜記＞

【2012年1月13日更新内容】

■障害の内容
ホストサーバとストレージの間において、ディスクアクセスが増加した際に、
お客様サーバのレスポンス悪化やサーバダウンが発生しておりました。

■原因
さくらのクラウドではお客様サーバのデータを集中型のストレージに格納しております。
このストレージに対し大量のディスクアクセスが発生した際に、ホストサーバとスト
レージの通信が途絶する症状を確認いたしました。
また、この影響によりストレージネットワークの一時的な停止や、ホストサーバが
ダウンに至るケースを確認いたしました。
ホストサーバのダウンについては、カーネルダンプを解析した結果、当社で採用して
いる仮想化基盤(KVM)のバグであることを確認いたしました。

■現在の対策
障害に至る症状は、大量のディスクアクセスが影響を与えていることから、現在ホスト
サーバ毎にストレージへのアクセス上限の設定しております。
また、ストレージネットワークの停止を予防するために、定期的なネットワークの
リセットを行っております。
こちらの対策以降、意図しないストレージネットワークの停止は発生しておらず、
ホストサーバのダウンに至るケースについても大きく低下しております。

■現在の影響
上記のアクセス上限設定に伴い、サーバ上のディスクアクセスが極端に遅くなる事象を
確認しております。
その為、安定性を優先しながら、一部のサーバにおいて徐々に上限設定の緩和を行って
おります。
なお、現状でも一部のホストサーバダウンが発生している事から、根本的な解消に至る
までは、慎重に取り組みを行っております。

■問題解消に向けて
本日、テスト環境の拡張が完了し、本番環境と同様の負荷でテストを行えるように
なっております。
現在は、様々な対策によってストレージネットワークの停止は発生しておりませんが、
テスト環境においてストレージネットワークのダウンに関する根本的な原因の究明を
進めております。
また、ホストサーバのダウンの原因となっている、仮想化基盤(KVM)のバグ修正を
進めております。
これらの対策に加えて、現在のアクセス上限設定を緩和したうえでの安定性の確認を
進め、安定性面、性能面での根本的な解決を目指します。

■作業中のプログラムバグによるお客様データ損傷について
今回の不具合に関連し、解約されたお客様のデータの一部が正常に削除されない
事象が発生しておりました。
この不具合対処過程においてプログラムバグにより、お客様ご利用中ディスクデータの
一部が削除される事象が発生いたしております。
対象となった53件のお客様には個別にご連絡をいたしておりますが、削除等の重大な
影響を与える管理機能およびその操作については、バグによって影響が発生しないよう
手順等の変更を行っております。
また、データをバックアップするシステムは用意されているものの、今回の高負荷の
影響によってバックアップが行えない状況となっており、早期の問題解消を進め、
定期的なバックアップ実施を行います。

■ご利用中のお客様へ
今回の障害においては、原因となる個所が複数にわたるほか、検証環境と実環境で
一部異なる点などがあり、原因究明に時間がかかる事態となりました。
また、対処の過程においてデータ削除の不適切なオペレーションが発生することと
なりました。
さらに、お客様へのご説明が不足していることなど、多くの反省点があると認識
しており、問題解消に努めるとともに、ご案内の改善を進めてまいります。
本件の経過および対応状況につきましては引き続きご報告いたします。

================================================================================
【2012年1月5日追記内容】

　お伝えしておりましたサービス料金の無料対象期間につきまして、以下のように
　変更いたします。

　変更前：2011年12月1日（木）～2011年12月25日（日）
　　 ↓　　　　　↓　　　　　↓
　変更後：2011年12月1日（木）～2011年12月31日（土）　（12月ご利用分全額）

　なお、本件の対策により一部のお客様において快適にご利用いただけない事象が
　発生しており、現在システム設定の見直しと改善を継続して実施しております。
　http://www.sakura.ad.jp/news/sakurainfo/newsentry.php?id=604

================================================================================
■障害発生日時
　12月9日（金）～12月24日（土）

■障害内容説明
　12月9日以降、「さくらのクラウド」における複数回の障害発生につきまして、障害の
原因と実施いたしました障害対策についてご報告をいたします。

　この事象は、「さくらのクラウド」にて使用しておりますストレージシステムに関連す
るものであり、ご利用中のお客様におかれましては、ホストサーバがダウンし収容された
お客様のサーバにアクセスできなくなる現象や、ディスクに対する読み込み・書き込み処
理が不定期に失敗し、ご利用中にサーバのエラーログおよびコンソール画面にその症状が
出力される現象が発生いたしました。

　原因としては、特定パターンの通信がストレージネットワーク用のインターフェースに
影響し、通信障害が発生しておりました。

■障害対策
　ホストサーバとストレージシステム間の通信において悪影響を及ぼすパターンを
　特定し、以下の対策を講じました。

　・通信障害を起こすパターンを検出し、その発生を未然に防ぐ構成および設定の導入

　・関連するKernelパラメーターチューニングによるストレージシステムの耐障害性向上

　12月25日現在、上記の対策を完了し、ホストサーバとストレージへシステム間の通信
　障害の発生を防止しております。

■お客様への課金につきまして
　12月1日から12月25日までに「さくらのクラウド」をご利用いただいたお客様に対し
て、ご利用料金を無料にさせていただきます。

　この対応については弊社にて実施いたしますので、お客様によるお手続きはございませ
ん。

　今回の障害により、ご利用中のお客様には多大なご迷惑をお掛けいたしましたこと、
重ねてお詫び申し上げます。