ロケーション、パーティショニング: クラウドの成長に伴うレイテンシを克服する方法

データは、1 つの時間と 1 つの場所に存在します。タイムスタンプと位置情報タグが付けられたデータで実行されるアプリケーションがますます増えています。どちらのデータタイプも、モノのインターネット (IoT) デバイスの台頭により注目を集めるようになりました。

たまにしか接続されない風力タービンやその他の産業用土木ユニットによって記録されたデータを表示できるダッシュボード コンソールにログインする場合、特定のデータがいつ作成されたかを知ることが重要です。

位置認識データは、データ ウェアハウスが広範囲の地理的領域に広がる多数のタービン (または橋梁センサー、交通モニター、人が運ぶ頑丈な安全装置など) にまたがる場合に特に重要です。データ ソース自体は、データの重要性の点で追加の要素となります。

クラウドコンピューティング

クラウド コンピューティングが世界的に進化し、クラウド機能の「インスタンス」が地球上のさまざまなデータ センターに配置されるようになったことを考慮すると、これらの核心的な事実はさらに複雑になります。ここでも、時間と場所に関連するデータ分離の問題に直面します。これらの問題はすべて、データを要求したとき (または、多くの場合、アプリケーションとデータベースが要求したとき) から実際にデータを取得できるまでの間に遅延を生み出します。

では、現代のクラウドネイティブ ソフトウェア アプリケーション開発とデータ サイエンスの専門家は、この課題にどのように対処するのでしょうか?問題は、これらのソフトウェア エンジニアリングの専門家が、アプリケーションを新しい地域に拡張するために使用する手動の回避策を解決しようとすると、そのプロセスでパフォーマンスの問題が発生することが多いことです。

クラウド データ アーキテクトが現代のデータ アクセスと管理のジレンマに対処するために使用する重要な手法は、データ パーティショニングです。ここでの約束と中核となる技術提案は、場所ごとにデータを分割することで、グローバル組織が分散データによって発生する遅延の問題に対処できるようになるという提案を中心に展開されます。

データベース管理システム会社 Cockroach Labs の製品マーケティング担当副社長は Jim Walker です。ウォーカー氏は、IT レイテンシはエンドユーザーが製品やサービスを「体験」する方法に直接関係していることを念頭に置き、今日の企業は可能な限り最高のユーザー エクスペリエンスを提供するために、データをリアルタイムで受信、分析、対応できなければならないと述べました。

「100 ミリ秒ルールは、Gmail の開発者であるポール・ブックハイト氏が考案したもので、人間の遅延しきい値を指し、このしきい値を超えると、やり取りが瞬時に感じられるようになります。100 ミリ秒を超えると、人間は送信に時間遅れを感じ始めます。これをわかりやすく説明すると、地球の一方から他方へ情報が移動すると、約 250 ミリ秒の遅延が発生しますが、これは情報が最も直線的な経路に沿って移動する場合のみです。残念ながら、データは直線で移動しないため、サーバーとネットワーク ユーザー間の距離が問題となります」とウォーカー氏は述べました。

データは地球を飛び回る

しかし、課題は距離だけではありません。高速光はニューヨークからサンフランシスコまで 14 ミリ秒 (真空中) で移動できますが、真空中ではデータを送信できません。複数の異なるネットワーク デバイスを経由して送信されるため、これらの「ホップとホップ」によって待ち時間も長くなります。100 マイルを移動して 5 ホップするメッセージは、2,500 マイルを 2 ホップで移動する要求よりも待ち時間が長くなります。つまり、データの送信方法を最適化するには、場所も同様に重要です。

これらの事実から、Cockroach Labs の Walker 氏は、場所が現代のアプリケーションや開発者にとってデータベースをどのように考えるかという新たな原動力と決定的なベクトルになる必要があると主張しています。

「よりデジタル化され、瞬時に物事が進む世界へと向かうにつれ、論理データモデルの考え方から、物理的な要素、つまり事業を展開する場所やユーザーがいる場所の重要性も認識する考え方へと移行する必要があります。これは、データプライバシーの課題を考えると、さらに重要になります。データをユーザーの近くに置くことで、より早くユーザーに届け、100 ミリ秒ルールを満たすことができるようになります」とウォーカー氏は述べました。

Google は、世界規模で分散された環境におけるレイテンシ要件を満たすために、行レベルの分散データを地理的な場所に関連付ける機能（ジオパーティショニング）を開発しました。これにより、データ チームがデータを物理的に保存する場所を決定できるレベルの自動化が提供され、管理者には運用環境でこれらの要件を変更するオプションが提供されます。

クエリが発行される場所と、そのクエリを満たすデータが存在する場所の間の距離を最小限に抑えることで、レイテンシを削減できます。単に構成を変更するだけで、データベースはデータを必要な場所に物理的に移動しました。つまり、組織が新しい地理的場所に業務を拡大しても、必ずしもダウンタイムが発生するわけではありません。

レイテンシを削減するには、データがトラフィック パターンに自動的に適応する必要があり、また、1 つのデータ センターがオフラインになった場合でも、データがすぐに応答できる近くの 2 番目のデータ センターに保存されるため、サービスが遅れないように、高可用性も必要です。多くの場合、グローバル展開には距離が関係するため、開発者は常に可用性とレイテンシーの間でトレードオフを行う必要があります。ただし、データベース内の場所ごとにパーティション分割することで、開発者は可用性が高く、レイテンシが低いアプリケーションを構築できます。これは今は贅沢のように思えるかもしれませんが、アプリケーションが光速で実行され、自動化されることが期待されるときには必須のものになるでしょう。

5Gの道における遅延責任

重要なのは、エクスペリエンスを迅速に提供することは、自動化のスピードだけの問題ではないということです。自動化を管理および制御できることが目的です。

5G の速度が上がるにつれて、リアルタイム コンピューティングの意味に対する概念は、システム パフォーマンスの軽量版へと変化する可能性があります。データがアプリケーション層にアクセスできる速度、そして将来的にはアプリケーションがデータにアクセスできる速度が、今日よりもさらに重要になります。

ホテル、家、住宅の場合、それは確かに依然として場所ですが、慎重に構成されたデータ アーキテクチャによって世界中に分散した展開要件に対応できる世界では、場所やパーティション分割の問題がより重要になります。