JDパブリッククラウド張思聡: JDクラウドオブジェクトストレージ製品の成長の軌跡

[51CTO.comからのオリジナル記事]中国電子技術標準化研究所が主催し、51CTOが主催する「第7回中国クラウドコンピューティング標準およびアプリケーション会議」が、2018年1月4日から1月5日まで北京で成功裏に開催されました。この会議では、中国の国家クラウドコンピューティング標準開発作業の成果を包括的に紹介し、国内のクラウドコンピューティング産業政策を解釈し、クラウドコンピューティング標準化作業の重要な進捗状況を報告しました。同時に、この会議では、国家オープンソース分野における主要な標準化製品も発表され、クラウドコンピューティングの最新の技術動向とアプリケーション革新の成果が共有され、クラウドコンピューティング製品とソリューションの第5回評価証明書が発行されました。さらに、第2回中国優秀クラウドコンピューティングオープンソース事例選定の結果も会議で発表されました。

モノのインターネットとデジタル変革が急成長する時代において、企業や業界全体に対するクラウドコンピューティングの需要はますます緊急なものになっています。クラウドコンピューティング業界に対する支援政策の実施により、クラウドコンピューティングはインターネット企業から伝統的な業界に徐々に浸透してきました。産業変革とイノベーションサブフォーラムでは、産業変革の問題点に直接取り組み、クラウドコンピューティングサービスの機能が従来の産業の変革とアップグレードをどのように加速できるかについて議論します。

[[216507]]
JD パブリッククラウドストレージの R&D ディレクター、張思聡氏

1 月 5 日のクラウドネットワークセキュリティおよびストレージフォーラムで、JD パブリッククラウドストレージの R&D ディレクターである張思聡氏が、JD クラウドストレージのオープンパスについて説明しました。同氏はスピーチの中で、JD.com で買い物をするときにユーザーが見る画像、ユーザーが使用する情報、Web リソース、注文情報はすべて JD.com 独自のプライベートクラウドストレージに保存されていると述べました。 JD Cloud Storage は現在、物流、ショッピングモール、金融、検索、広告、ビッグデータなど、グループ内の 1,200 を超える事業部門のデータストレージニーズをサポートしています。パブリッククラウド事業が徐々に発展する中、当社もプライベートクラウドをベースとした自社のJDオブジェクトストレージ製品をパブリッククラウドへ徐々に拡大しています。

以下はスピーチの記録です。

みなさんこんにちは。私はJD Public Cloudでクラウドストレージ、主にオブジェクトストレージとビデオクラウド製品ラインを担当しています。本日は主にJD Cloud Object Storage製品について紹介させていただきます。まず最初に、当社のオブジェクトストレージ製品の成長の軌跡について簡単にご紹介させていただきます。 JD には実際に膨大な量の非構造化データと構造化データが存在していることは誰もが知っています。 JD でショッピングするときに表示される写真、使用する一部の情報、Web リソース、注文情報はすべて、JD 独自のプライベートクラウドストレージに保存されます。そのため、当社の JD クラウドストレージは現在、物流、ショッピングモール、金融、検索、広告、ビッグデータ、当社の JD クラウドなど、グループ内の 1,200 を超える事業部門のデータストレージニーズをサポートしています。現在、パブリッククラウド事業が徐々に発展しており、当社ではプライベートクラウドをベースとした自社のJDオブジェクトストレージ製品をパブリッククラウドへ徐々に拡大しています。

当社の成長の軌跡は、2015 年末にプライベートクラウド製品から JD パブリッククラウド製品が誕生したときに始まりました。 2016年4月1日に初めて正式に発売しました。この一年は、製品誕生以来、急速な発展の時期でした。 2018年頃には開発を加速し、2018年末までにお客様の多様なニーズに応えるべく、当社グループ全体で推進する重点プロジェクトとなる予定です。

JD Cloudは中国国内の4つのリージョンと6つのアベイラビリティゾーンで利用可能

これまで、JD Cloud は主に中国国内の 4 つの地域にある 6 つのアベイラビリティゾーンで外部パブリッククラウドサービスを提供しています。北は北京、東は上海と宿遷、南は広州にあります。ストレージ製品として、当社のパブリッククラウドのストレージは実際にはプライベートクラウドから提供されます。製品のパフォーマンスに関して、考慮すべき最も重要な点は、信頼性の高い可用性と使いやすさの 2 つの側面です。まず、信頼性と可用性についてお話ししましょう。パブリッククラウド製品で高い信頼性と高可用性を実現するにはどうすればよいでしょうか?まず、3つの方向に分けます。まず、サービスの展開について説明します。サービス展開の観点から、JD のパブリッククラウドシステムは 3 つのレベルに分かれています。最も大きなレベルは左端のリージョン、中央はアベイラビリティーゾーン、右端はデータセンターです。可用性ゾーンは、特定の条件を満たす複数のデータセンターで構成でき、リージョンは複数の可用性ゾーンで構成できます。パブリッククラウド製品全体では、これら 3 つのレベルで物理的およびソフトウェアの災害復旧を実現します。

JD Cloudの階層型展開

階層的な展開の観点から見ると、オブジェクトサービス全体が、可用性ゾーン内の外部に完全なサービスユニットを提供します。この地域は2つの部分に分かれています。たとえば、アベイラビリティーゾーンが 2 つある場合、それらは左側と右側のアベイラビリティーゾーンにデプロイされます。 1 つのアベイラビリティゾーンに障害が発生してサービスを提供できなくなった場合でも、残りのアベイラビリティゾーンを使用して外部にサービスを提供できます。同時に、アベイラビリティゾーン内に複数のサブクラスターを展開し、アベイラビリティゾーンの一部が利用できなくなった場合でも、サービス全体が引き続き利用可能であることを保証します。同時に、サブクラスター内には意思決定とデータ保存のためのセンターが存在する必要があるため、サービス全体に対する中央ノードの重要な位置を弱め、中央ノードを確保するためにデータノードのマスターノードへの依存を弱めました。結局のところ、中央ノードはデータノード全体よりも小さく、中央ノードが信頼できない場合でもサービス全体が引き続き利用可能であることを保証します。

2 番目のレベルは、サービスの展開に加えて、データ配信における高信頼性と高可用性についても比較的包括的に考慮していることです。まず、オブジェクトストレージサービス全体がアベイラビリティゾーンとデータセンターに分散されます。 Li Xu が先ほど紹介したように、当社は各データの少なくとも 3 つのコピーを保証します。お客様のニーズに応じて、さまざまなパフォーマンス要件を満たすために、最大数十または数百のコピーをサポートできます。 3 つのレプリカに関しては、3 つのレプリカを構築するときに、すべてのレプリカが強力に一貫性があることを保証し、サービスが可用性ゾーンに統合されたサービスを提供するため、すべてのレプリカを複数の障害ドメインに分散します。可用性ゾーンの下には、異なるリージョンごとに異なるサービスプロバイダーがあり、1 つのリージョンの下には複数の可用性ゾーンがあります。当社は、障害率に対する多層的な災害復旧を顧客に提供するために、データをさまざまなコンピュータルームに分散するよう最善を尽くします。閲覧面では、イントラネット端末と外部公衆網端末の両方を備えています。イントラネットでは、イントラネット内の企業に対して、要求側の読み方が大多数の読み方と同じになるようにすることで、読み取り時の効率を高めています。パブリックネットワーク企業では、ユーザーがどの側面を好むかわからないため、利用可能なすべてのデータセンターに均等に分散されるようにします。イントラネットの読み取りに関しては、お客様に優れた読み取り時間と応答時間を提供するために、パブリックネットワークからのデータの読み取りを優先するようにしています。

データ損傷の自己修復

***、データ展開リソースの観点から見ると、サービスがどれだけ信頼できるか、地域や障害ゾーンにどれだけ分割されているかに関係なく、ハードディスクの損傷は必ず発生します。この領域内の一部の論理番号が反転すると、永続ストレージが使用できなくなります。データの損傷を自己修復するにはどうすればいいですか?基本的には2つの側面があります。まず、データに問題があることを発見する必要があります。どうやって発見するのでしょうか?永続的なストレージデータに関しては、当社の金融クラウドは基盤となるストレージ全体を 2 つの部分に分割します。 1 つは検証済みデータであり、もう 1 つは実際のユーザーデータです。データの破損を検出する方法は 2 つあります。 1 つの方法は同期検出です。非同期データ破損検出サービスを導入し、定期的に全データをスキャンし、保存されている検証コードと永続データを継続的に比較して、ユーザーの永続データが破損、破損、または失われていないかどうかを検出します。 ***ユーザーデータに対して少なくとも 11 の信頼性と少なくとも 4 つの可用性の保証を提供しているため、損傷を発見した後はデータの修復を開始する必要があります。損傷後、まずレプリカを修復する必要があります。たとえば、レプリカ 2 のデータの永続性に問題があることがわかった場合、まず 3 つのレプリカのアイコンを読み取り専用としてマークし、ユーザーが変更できないようにする必要があります。ユーザーが変更した場合は、ユーザーが変更できるように別のレプリカを作成します。同時に、中央ノードに報告し、このデータのコピーに問題があることを中央ノードに伝えます。ユーザーが読み取る場合、ユーザーデータグラフはスキップされます。同時に、たとえばデータが破損している場合、ユーザーはより高いアクセス要件を満たすためにレプリカの容量を拡張することを希望します。現時点では、データベースはすでに発見されているため、破損したデータをデータソースとして使用したり、移行処理を実行したりすることはありません。同時に、非同期修復戦略のトリガーを開始します。修復戦略では、まずコンピュータ室のデータソースを優先します。コンピューター室のレプリカが壊れています。修理の際は、まず良品のレプリカから出所をたどります。同時に、修復が一貫していると判断する前に、レプリケーショングループ内の複数のレプリカが一貫していることを確認する必要があります。すべてのレプリカが破損した場合、当社の修復体制は信頼できません。この時点で、さらに複雑な別の修復方法を実行します。

ハードウェアが破損した場合は、他の物理マシンに移行します。同時に、信頼性と可用性を確保した上で、Li Xu が先ほど紹介したように、ユーザーが当社のストレージサービスをより便利かつ簡単に利用できるようにしたいと考えています。使いやすさという点では、元々のパブリッククラウドサービスはJD.comのプライベートクラウド事業から派生したものなので、プライベートクラウド事業を展開していく中で、実は社内システムのニーズにかなり重点を置いていたんです。主に機能面を区別し、その他はコストを考慮した上で区別します。まず信頼性を確保する必要があるため、保管の際は基本的にコストを考慮せず、データのセキュリティ確保を優先します。システム全体において、JD.com には 2 つの内部ストレージシステムがあり、1 つはアクセス頻度の高い画像用のストレージシステム、もう 1 つはオブジェクトストレージシステムです。

パブリッククラウドについては、主に業務システムの統合を検討し、ユーザーが当社の製品 1 つだけですべてのストレージニーズを満たすことができるようにしたいと考えています。基盤レベルではコストも考慮し、信頼性の高い汎用ストレージシステムと低コストのアクセスシステムを開発しました。同時に、信頼性と可用性の面では、ユーザーに当社の製品をより安全、確実、便利に使用してもらいたいため、プライベートクラウドのJD Mallよりも高い信頼性と可用性を提供しています。ユーザーの基本的なニーズを満たすことに加え、よりコスト効率の高い考慮も行いました。

まず、モールのストレージシステムについて簡単に紹介します。基本的には、左側が画像ストレージシステム、右側がオブジェクトストレージシステムです。画像ストレージシステムでは、純粋に画像処理に最適化された小規模なファイルストレージシステムであり、オブジェクトストレージシステムでは、ストレージを中核としたシンプルなオブジェクトストレージシステムです。このシステムは、実際には JD.com の内部的な基本的なストレージニーズを満たすことができますが、外部での使用には適していません。この点に関して、私たちは 2 つのシステムを統合して、統一されたオブジェクトストレージシステムにしました。 2つ目に、ストレージベースの周辺サービスを水平展開し、ユーザーの利用とアクセスを充実させました。ユーザーのアクセス方法に関しては、コントロールパネル、SDK、API、さまざまなサードパーティツールからストレージを使用できるようになりました。 XSKY と同様に、当社もサードパーティのアクセスプロトコルを使用しており、独自のアクセスプロトコルも持っています。

ネットワーク伝送の面では、当社の JD Cloud ストレージシステムをユーザーが直接使用できる元のサイトとして使用することも、ユーザーが任意のサードパーティノードに接続してサービスを提供することもできます。同時に、JD には独自の CPN もあり、必要に応じてパッケージングコストの削減も検討します。

ビジネス面では、完全なオブジェクトストレージ製品を提供しています。製品内にはいくつかの基本的なファイル、権限、およびユーザーシステムがあります。この側面は、基本的にストレージ製品を中心としたサービスです。同時に、いくつかの追加の画像処理、ビデオ処理、主にビデオオンデマンドなどのメディア処理、および顔検出と認識の領域でのビッグデータ処理があります。同時に、JDは独自のライブ放送システムを持っており、ライブ放送システムの録画と持続性の内部最適化も検討します。基盤となる永続性の観点から、基盤となるストレージは、高信頼性ストレージと低頻度アクセスの 2 つのストレージシステムに分かれています。業界では、低頻度アクセスストレージシステムが一般的です。社内的には、ソースデータ管理、課金管理、イメージログ処理、ドメイン名解決、アクセス制御セキュリティポリシーの考慮など、内部の基盤となるサポートシステムを構築するためのいくつかの作業があります。

これらの完全なビジネスシステムとシステムアーキテクチャに基づいて、JD Cloud のオブジェクトストレージは、データ全体のクラウドバックアップ、一部のホットデータの高速配信、一部のクラウドマルチメディアデータ処理のニーズをユーザーに便利に提供できます。さらに、高いデータ可用性と災害復旧のニーズも保証できます。基本的に、JD Cloud はユーザーの一般的なストレージニーズと特殊なストレージニーズをすべて満たすことができます。

***JD Cloud ストレージサービスはどなたでもご利用いただけます。よろしくお願いいたします。