アリババクラウド、大規模障害に対応：運用・保守エラーを大幅に改善

6月28日朝のニュース：今朝早く、アリババクラウドの公式Weiboアカウントが、昨日発生した大規模な障害に対して公式な反応を示しました。声明によると、運用と保守における操作上の誤りにより、一部の顧客がAlibaba Cloud公式サイトコンソールにアクセスしたり、一部の製品機能を使用したりする上で問題が発生したという。

声明では障害の原因を検証し、エンジニアリングチームが新しい自動運用・保守機能の導入時に変更検証操作を実行したとしている。この機能は、テスト環境での検証中に問題は発生しませんでした。しかし、自動運用保守システムにオンライン化された後、未知のコードバグが発生しました。エラー コードにより一部の内部 IP アドレスが無効になり、一部の製品へのアクセス リンクが利用できなくなりました。

6月27日午後、多くのネットユーザーがWeibo上で、Alibaba Cloudコンソールへのアクセスに問題があり、画像サービスを含むバックエンドにログインできないと報告した。 Alibaba Cloud公式サイトの一部管理機能やMQ、NAS、OSSなどの製品の一部機能でもアクセス異常が発生しました。一部のユーザーからは、携帯電話からもPCからもアクセスできないという報告がありました。その後、アリババクラウドは公式サイトで、一部の管理・制御機能にアクセス異常が発生していたが、影響を受けた業務は徐々に正常に戻りつつあるとの発表を行った。

この事件に関するAlibaba Cloudからの公式回答は以下のとおりです。

6月27日のアリババクラウド障害

6月27日午後、当社側の操作ミスにより、一部のお客様がAlibaba Cloud公式サイトコンソールにアクセスできず、一部の製品機能を使用できないという問題が発生し、上級スタッフから苦情が寄せられました。障害は2018年6月27日北京時間16時21分頃に始まり、16時50分に復旧し始めた。

緊急技術検討の結果、障害の原因は以下のとおりです。

その日の午後、エンジニアリング チームは、新しい自動運用および保守機能を起動する際に変更検証操作を実行しました。この機能は、テスト環境での検証中に問題は発生しませんでした。しかし、自動運用保守システムにオンライン化された後、未知のコードバグが発生しました。エラー コードにより一部の内部 IP アドレスが無効になり、一部の製品へのアクセス リンクが利用できなくなりました。その後の手動介入により、エンジニアリング チームはすぐに問題を特定し、修復しました。

影響を受ける領域には、Alibaba Cloud の公式サイトコンソールのほか、MQ、NAS、OSS などの製品機能が含まれます。この失敗には言い訳の余地はない。私たちはそのような間違いを犯してはなりませんし、犯してはなりません。当社は、自動化された運用・保守技術とリリース検証プロセスを慎重に検討・改善し、すべてのコード行とすべての信頼を尊重します。

アリババクラウドコンピューティング株式会社

2018年6月27日