インテルとトランスワープが協力し、ビッグデータ時代のオールフラッシュ分散データベースを構築

デジタル時代では、私たちのあらゆる動きや言葉が膨大な量のデータに変換されています。

多くの人がこのような経験をしたことがあるでしょう。過去数か月または過去 1 年間の請求書は、いつでも銀行または通信事業者で確認できます。ただし、期間が 1 年を超えると、システム クエリにかかる時間が長くなり、断続的に数秒間待機する必要がある場合があります。これはシステムが「怠惰」になっているわけではなく、逆に、以前のデータベースからデータをフルスピードで取得するのに役立ちます。

これがオンラインビジネスとオフラインビジネスの違いです。検索頻度が高く、適用範囲が広いデータについては、その多くがオンラインデータベースに保存されており、ユーザーがいつでも検索するのに便利です。また、時間が長いデータや検索頻度が低いデータは、オフライン データベースに保存されることが多くなり、使用コストをさらに削減し、システム全体のリソース利用効率を向上させることができます。

しかし、この利点は普遍的なものではありません。データのクエリと取得は複雑なプロジェクトです。現在、中国では多くの企業が独自に開発したオープンソース版を除いて、60 種類以上のデータベースが商用目的で使用されていることを知っておく必要があります。つまり、異なるブランドのこれらのデータベースは、データ アプリケーションに障壁を作り出しやすく、アプリケーションの複雑さ、データ処理速度、システム スループット、プラットフォームの展開と調整など、データ アプリケーションの複数のレベルで問題に遭遇する原因となり、ユーザーの意思決定に影響を与え、業界の発展の鍵を制限します。この問題を解決するには、データ取得の効率を向上させること、つまりデータ処理性能とシステムスループットを向上させることが最も重要です。

安全性と安定性を最も重視する金融ビジネスを例に挙げてみましょう。私たちの多くは銀行を利用した経験があります。以前、銀行に行って業務を処理する場合、業務のほとんどはバックエンドの構造化データベースに対応していました。たとえば、私たちが行ったすべての取引はここに記録されました。しかし、銀行は現在、顔認識や口座開設の完全なビデオ録画など、非構造化データの応用も重視しています。これらの非構造化データもデータベースに保存する必要があり、これによりデータの適用の元の形式と方法も変化しました。

従来の環境では、データベースは主に構造化データ用に構築され、主に機械的なハードディスクが使用されます。多くの人がデータベースのパフォーマンスを認識していますが、スループット機能の制限により、ほとんどの人はデータベースのパフォーマンスに対して高い要件を持っておらず、安定性に対してさらに高い要件を持っています。しかし、ビッグデータと人工知能の時代の到来とともに、高効率、低レイテンシ、リアルタイム応答に対する要求が高まり、従来のデータベースではアプリケーションの要件を満たすことができなくなりました。極限のパフォーマンスを求めるユーザーの要求を満たすために、オールフラッシュメモリと組み合わせた新しいデータベース プラットフォームの開発を開始するサプライヤーが増えています。

分散データベースの出現により、データ利用の効率性やセキュリティなど多くの問題が解決されました。クラスター内の各サーバーには、DBMS の完全なコピーまたは部分的なコピーと独自のローカル データベースが存在する場合があります。さまざまな場所にある多数のコンピューターがネットワークを通じて相互接続され、完全でグローバルな、論理的に集中化され、物理的に分散された大規模なデータベースを形成します。これにより、データ取得の効率、データのセキュリティ、安定性などの側面が向上します。

StarRing Technology はその中でも最高のものの 1 つです。 TransRing Technologyは、企業レベルのビッグデータ基本ソフトウェアに注力する企業として、設立以来、数多くのビッグデータ基本ソフトウェアプラットフォームを立ち上げてきました。特に、同社の分散リレーショナル データベース製品である Transwarp ArgoDB は、業界で高い評価と支持を得ています。ほんの数年前から、TransRing Technologies は Transwarp ArgoDB によって Intel の選定ソリューションの 1 つになりました。最近のアップグレードにより、Transwarp ArgoDB は新しくリリースされた第 3 世代 Intel Xeon スケーラブル プロセッサも採用し、パフォーマンスが新たなレベルに到達しました。

「アルゴ」という言葉は、中心から複数のブレードが広がったソーラーセイルに由来しています。星座の名前でもあります。 TransRing Technology は、マルチモード データベースがさまざまなアプリケーション シナリオに対応できることを反映して、独自の分散フラッシュ データベース製品に Argo という名前を付けています。同時に、ソーラーセイルの螺旋構造は動きとスピード感があり、ArgoDB の高い性能を反映しています。また、アルゴソーラーセイルは、お客様がビッグデータの世界を歩き回り、全員で風や波に立ち向かい、あらゆる障害を克服するのに役立つことが期待されています。実際、オープンソースの現在のトレンドと相まって、分散データベースも多くの企業の選択肢となっています。 Transwarp ArgoDB は、完全な SQL サポート、分散トランザクション サポート、リアルタイムおよびバッチ データ アクセス、大規模データ OLAP およびオフライン分析、3 レベル ハイブリッド ストレージのサポートという 5 つの主要機能により、業界で高い評価を得ています。これら 5 つの特性のうち、最後の 3 つはオールフラッシュ ストレージのパフォーマンスに直接関係します。

たとえば、「リアルタイムおよびバッチデータアクセス」などです。 ArgoDB のこの機能は、リアルタイムとバッチの両方のデータ インポート方法をサポートしています。オンライン ビジネスでは、データの適時性を確保するためにリアルタイム データ アクセスを使用します。データ ウェアハウスなどのオフライン ビジネスでは、バッチ データ インポートを使用してスループットを高めます。明らかに、これにはシステムがリアルタイムの応答効果を持つことが求められます。 ArgoDB は、Intel のフラッシュ メモリ プラットフォームの利点を活かして、質と量の両方でデータ書き込みタスクを完了できるだけでなく、PB レベルのデータでオフライン分析や高同時実行のリアルタイム/準リアルタイム データ マート サービスもサポートし、システムのストレージ機能とコンピューティング機能を大幅に向上させ、パフォーマンス上の利点をさらに高めることができます。

さらに重要なのは、ArgoDB がメモリ/フラッシュ/ディスクの 3 レベルのハイブリッド ストレージをサポートしていることです。これにより、オールフラッシュ ストレージの利点が得られるだけでなく、従来のデータベース プラットフォームとの互換性も確保されます。たとえば、同じレポートの場合、DBA は、1 つのコピーをフラッシュ メモリに保存し、2 つのコピーをディスクに保存するなど、コピーの保存戦略を指定できます。このような複数のバックアップ方法により、システムのセキュリティと信頼性が大幅に向上します。マルチレベル ストレージにより、ユーザーはパフォーマンスとハードウェア予算のバランスをより適切にとることができます。

諺にあるように、列車の速度は機関車によって決まります。データ処理をより高いレベルに引き上げるには、ストレージ メディアの改善やアルゴリズムの最適化に加えて、より強力なコンピューティング プラットフォームを採用することがより重要かつ直接的な方法です。このため、StarRing は第 3 世代 Intel Xeon スケーラブル プロセッサーを使用し、ソフトウェアとハ​​ードウェアの組み合わせを通じて顧客にスーパー コンピューティング パワーを提供します。

この改善を検証するために、StarRing Technology と Intel はテストで TPC-H ベンチマークを選択しました。これは意思決定支援システムのベンチマークです。これは、ビジネス指向のアドホック クエリと同時データ変更のセットで構成され、データベースの日常的なアプリケーションをシミュレートします。大量のデータを取得し、非常に複雑なクエリを実行し、重要なビジネス上の質問に対する回答を提供できます。

(Transwarp ArgoDB2.0 ベース)

実際のテストでは、StarRing Technology は計算負荷の高い関連クエリ 1、4、5、9、10、16、18、20、21 を選択しました。テスト結果によると、前世代の CPU と比較して、第 3 世代 Intel Xeon スケーラブル プロセッサでは、Transwarp ArgoDB の 1 時間あたりに処理されるクエリ数 (QPH) が 40% 増加しました。これにより、従来のコンピューティング集約型操作における CPU パフォーマンス不足の効率ボトルネックが大幅に解決され、オフライン バッチ データ ウェアハウス、リアルタイム データ分析プラットフォーム、OLAP データベース、全文検索データベースなどの負荷のコンピューティング要件をより適切に満たし、全体的なパフォーマンスも向上します。

それだけでなく、Intel SSD DC P4510、Intel SSD D3 S4510、Intel ネットワーク カードなどの製品の助けにより、Intel Xeon スケーラブル ファミリー全体でパフォーマンスの向上も実現し、ユーザーのその後のアプリケーション上の困難を完全に解決します。ユーザーが最も重視するコスト管理の観点から見ると、新しいプラットフォームのパフォーマンス上の利点により、元の単一サーバー ノードの QPH パフォーマンスが大幅に向上しました。ユーザーは、インフラストラクチャに展開する必要があるサーバー ノードの規模を縮小し、それに伴う調達、エネルギー、運用と保守、スペースなどのコストを削減できます。これは、現在国家が重視している「カーボンピーク」と「カーボンニュートラル」のニーズにも合致しています。

TransRingの共同創設者兼副社長である朱俊塵氏は次のように強調しています。「近年、TransRingはIntelと広範かつ綿密な協力関係を築いてきました。Intelアーキテクチャ上でビッグデータ、クラウドコンピューティング、人工知能製品を継続的に最適化するだけでなく、第3世代Intel Xeonスケーラブルプロセッサの適用を加速するためにも協力してきました。今回のTransRingのTranswarp ArgoDBテストの例では、第3世代Intel Xeonスケーラブルプロセッサが前世代に比べて大幅なパフォーマンス上の優位性を持っていることが示されています。選択したソリューションの可用性とスケーラビリティの利点と組み合わせることで、ユーザーがデータ中心の変革を加速するのに役立ちます。」

今日、インターネットの急速な発展により、人間社会におけるデータの量は急速に増加しています。私たちが 1 年間に生成するデータは、近代化以前の人類の歴史全体の合計に相当します。多くのビジネスボリュームは、わずか 1 か月で突然数千倍に爆発的に増加し、対応するデータも元の数百 GB から数百 TB に急速に増加する可能性があります。これにより、あらゆる分野、特に安定性で知られてきた金融業界にとって、より包括的な変革とアップグレードを必要とする新たな課題が生じています。

このプロセスでは、迅速に応答し、ゼロレイテンシのサービスを提供できるデータ プラットフォームが必要です。第 3 世代 Intel Xeon スケーラブル プロセッサをベースにした分散データベースである Transwarp ArgoDB は、さらに重要な役割を果たします。これにより、銀行に代表される金融業界は、構造化データと非構造化データの両方に迅速に対応できるようになり、金融アプリケーションの実装も迅速化されるため、ビジネス自体の動作速度とユーザーエクスペリエンスが新たなレベルにアップグレードされ、将来のビッグデータやデジタルアプリケーションのニーズにより適したものになります。