20060310障害情報報告ブログ

第４報 3/13 10:00 通常運用状態へ戻しました。

3月9日より発生しております障害についてご連絡させていただきます。

第３報でご案内した通り、3月11日夜間、制限を一部緩和させていただ
きました。

引き続き土日の負荷状況の監視を行った結果、運用面での見通しがつい
たため、3月13日10時にココログベーシック／プラス／プロについて
通常状態へと戻しました。

なお、今週は夜間も含めましてココログの負荷状況を重点的に監視し、
再び問題が発生しないように注視いたします。

今回のメンテナンスはデータベースサーバ負荷軽減のためのレスポンス
改善を目的とし行いましたが、メンテナンス以降、負荷急増という問題
が断続的に発生しました。
緊急対策チームを結成し、原因の究明を行った結果、データベースの
最適化が正常に作動せずロックが多発していたことが判明いたしました。
その後、至急対処措置を行い3月10日16時に限定的に開始。3月13日10時
完全復旧となった次第です。

このたびは長らくご迷惑をおかけいたしまして大変申し訳ございません
でした。

なお、このたびの障害をふまえての対応と改善策につきましては
後日取りとりまとめ、通常の「お知らせココログ」にてみなさまにご案内いたします。
これからもココログを、どうぞよろしくお願い申し上げます。

第３報 3/11 02:30時点でのご報告をいたします。

3月9日より発生しております障害についてご連絡させていただきます。

第２報でご案内した通り、3月10日16:00より一部制限をかけてサービスを再開いたしました。

3月10日夜間におけるココログピーク時間帯の負荷状況の監視を継続し、
運用面での見通しがついたため、制限を一部緩和させていただきました。

引き続き負荷状況の監視を行い、問題が発生しないようであれば、
さらに制限の緩和及び完全復旧措置を実施する予定です。

ご不便をおかけいたしまして、申し訳ございません。

なお、本ブログはTypePadで運用されていますが、TypePadが、本日午前３時よりメンテナンスに入ります。
メンテナンス中は、閲覧やコメント、トラックバックの投稿に影響が出る可能性がございますので、ご注意ください。

TYPEPAD NEWS：サーバーメンテナンスのお知らせ（3月11日）

今後ともよろしくお願いいたします。

第２報 16:10時点でのご報告をいたします。

3/9 より発生しております障害につきまして、下記の通りご報告いたします。

擬似的に負荷をかけ状況のデータを解析しながら、併せてデータベースの最適化を行いました。
その結果、ココログをご利用いただける状態になったと判断したため、3/10 16：00 より、一部制限をかけて再開いたしました。

上記「一部制限」は管理ページへの同時ログイン数の制限です。
今後、負荷状況を監視しながら、徐々に通常のログイン数に戻していく予定です。

現在、レスポンスが遅くなる場合が発生する可能性があります。
また、負荷状況によっては再度メンテナンスを行う可能性がありますことを
ご了承いただきますようどうぞよろしくお願い申し上げます。

なお、「ココログのデータが消えないのか」というお問い合わせをいただいておりますが、データは消えることはございません。

引き続き完全復旧に向けて鋭意対応を実施しております。

ご利用のみなさまには大変ご迷惑をおかけいたしており、深くお詫び申し上げます。

第１報 13:40時点でのご報告をいたします。

現在発生している障害につきまして、ご説明と現状のご報告をいたします。

3月9日の10時より、サーバーメンテナンスを実行いたしました。
このメンテナンスは負荷軽減のためデータベースのチューニングを行うものでしたが、
メンテナンス以降、負荷が急増するという障害が発生しはじめました。

この障害のため、ココログベーシック／プラス／プロの管理画面へのアクセス並びにコメント／トラックバックができなくなっております。
ブログの閲覧やRSSの配信は可能です。

負荷が急増した原因は、データベースの「ロック」の件数が急増したためです。
「ロック」とは、複数ルートから同一箇所に向けて異なる内容の更新依頼が発生することによるデータ上の矛盾発生を防ぐために、更新中のデータは他ルートから更新依頼をかけられなくするという機能です。

ロック件数の急増したため、データの更新の処理が滞って負荷が高くなっていることまでは明らかになりました。
現在は、どのロックが負荷の原因となっているのかと、なぜ発生しているのかを調査しております。

障害発生より現在までの経緯は、以下の通りです。

• 3/09 21:00　メンテナンス完了。ココログサービス開始
• 3/09 21:15　管理画面のレスポンスが悪化する状況が発生。原因究明作業を開始
• 3/10 03:15　状況改善のため復旧作業を行うが、復旧の目処が立たず
• 3/10 05:15　サービスを停止し、メンテナンスを開始。シックスアパート社様も交えて緊急対策チーム結成し、再度原因の調査を始める
• 3/10 13:20　現在、ログやサーバー設定から推測できる点については全て検証を終わっておりますが、原因が特定できていないため、
  擬似的に負荷がかかる状況を再現し、負荷増大の原因となっている箇所を特定する作業を実行中です。

本ブログでは、状況に進捗があり次第、その都度報告させていただきます。

※文頭のメンテナンスの開始時間を、3/8 → 3/9 に変更しました。（3/15）

はじめに

2006年03月09日（木）21：15 頃より、ココログベーシック／プラス／プロにログインしづらい状況が発生しています。現在鋭意復旧に向けて作業をしておりますが、現時点で改善はされていません。
本障害の状況に進展があり次第、早急に本ブログにて報告させていただきます。ご利用のお客様に大変ご迷惑をおかけしておりますこと、深くお詫び申し上げます。

※障害の発生時間を、21：15 と変更させていただきました（3/15）