ビッグデータ エコシステムの反復: コンテナーは仮想化に革命をもたらすでしょうか?

ビッグデータの時代は、エコシステムの継続的な更新と反復に直面しています。プログラマーとエンジニアは、ハードウェアのコストを削減し、あらゆることを可能にするシステムを開発するために知恵を絞った。

まず、システムクローン、つまり仮想マシンが登場し、ホストシステムと仮想イメージを柔軟に切り替えることができるようになりました。これは非常にすばらしいことです。 GO 言語の登場により、*** の王様、もう一人の「魔法の猿」が、クジラのようなかわいいツール、docker を作成しました。サーバーリソース共有はコンテナ時代に入りました。現在、多くの大手 IT 企業が Docker をベースに新規ビジネスを継続的に拡大しています。マイクロサービス アーキテクチャの出現により、Docker はすぐにそれに対応したチームを結成し、さらに誇りを持つようになりました。

近年、コンテナが「仮想化」に取って代わるだろうという話が広まっています。実際のところ、絶対的な技術は存在しません。ビッグデータ エコシステムは活発に活動しており、常に更新され、多方向に互換性があります。仮想化とコンテナは必然的に短期的な共存プロセスを経験することになり、その最終的な存続は「エコシステム」の独立した選択に委ねられるしかありません。

コンテナは現在、仮想マシンよりも俊敏性と高速性が高く、ハイブリッドおよびマルチクラウドの導入をサポートしています。最も重要な点は、コンテナの適応性が非常に高く、既存の IT プラクティスに簡単に統合できることです。同時に、コンテナ化されたアプリケーションは、柔軟な共有特性により、VM の CPU 使用率を大幅に向上させ、ハードウェア コストを削減します。一方、各仮想マシンには独自のオペレーティング システム、ドライバー、アプリケーションがあり、より強力な分離を実現します。

VM の場合

20 年前、VMware というスタートアップ企業が、非物理マシン (Linux、Windows など) の仮想化を実現するプラットフォームを提供することでこのビジネスに参入しました。

サーバーの処理能力が増加すると、基本的なアプリケーションでは、豊富な新しいリソースをすべて十分に活用できなくなります。仮想マシン (VM) の登場により、物理サーバー上でソフトウェアを実行し、特定のハードウェア システムをシミュレートすることが可能になりました。ハイパーバイザーは、仮想マシンを作成して実行できるソフトウェアまたはハードウェアです。

異なるオペレーティング システムを使用する仮想マシンを同じサーバー上で実行できます。たとえば、Linux 仮想マシンを実行できるサーバー上で Unix 仮想マシンも実行できます。各仮想マシンには独自のアプリケーション、バイナリ、ライブラリがあります。その結果、企業は Unix ソフトウェアを実行できる新しいコンピュータを購入することなく、古いコンピュータを保持し、新しいソフトウェアを追加することができます。これは、組織の変化するニーズに対する、よりシンプルで安価なソリューションです。

サーバー仮想化は、仮想化ソフトウェアを利用して物理サーバーを複数の小さな仮想サーバーに分割する技術です。このシステムでは、各仮想サーバーが複数の操作を同時に実行します。 Wikibon のトップアナリスト、James Kobielus 氏は、最近の Dataversity® のインタビューで次のように述べています。

サーバー仮想化の大きな利点は、投資したハードウェア リソースをより有効に活用できることです。問題は、異なるプラットフォーム上の異なる仮想マシン内の異なるマシン イメージを管理するのが非常に複雑であり、それに応じた管理負担が発生する可能性があることです。

[[264099]]

コンテナ

ツールが利用可能であっても、仮想マシン テクノロジの使用は難しい場合があります。たとえば、仮想世界では、リソースを大量に消費する特定のアプリケーションを分離することは困難です。マイクロサービスとコンテナ化は、よりシンプルな代替手段を提供します。特定のアプリケーション コード (クエリ プロセッサのバックエンド データやデータベース インデックス作成ロジックなど) は、マイクロサービス コンテナー内のさまざまなワークロードに分割できます。

コンテナは仮想マシンに似ており、他のシステムのソフトウェアも異なるサーバー上で実行できます。コンテナを使用すると、アプリケーションをそのライブラリや依存関係とともに実行することもできます。つまり、仮想マシンはハードウェア システムをエミュレートしますが、コンテナーはコア オペレーティング システムに基づいて独自のソフトウェア システムを転送できます。

仮想マシンと比較すると、コンテナは占有するスペースが少なくなります。 「VM は、ネットワーク入力、出力、メモリ、ディスクなどのリソースのオーバーヘッドを大幅に必要とする場合があります。これは、個々の VM が独自のオペレーティング システムを実行するのに対し、コンテナーは実行しないためです」と Kobielus 氏は述べています。コンテナーは、オペレーティング システム (OS) カーネルと呼ばれるものを共有します。これにより、オペレーティング システムのコアへのアクセスが提供されます。さらに、コンテナをサポートするオペレーティング システムは、仮想マシンのオペレーティング システムよりも小さく、機能も少なくなります。コンテナは起動が速く、オペレーティング システム全体の起動に使用されるメモリのほんの一部しか使用しません。明らかに、コンテナは次の進化のステップです。コビエルス氏は次のようにコメントした。

コンテナ化は過去 5 年間で普及してきました。これは、マイクロサービスを実行し、プラットフォームに依存しない仮想サーバー環境を配布する方法であり、機能します。コンテナはサーバーだけでなく、クライアントデバイスなどでも実行できます。コンテナ化は、実際にはクラウドコンピューティングとして一般的に知られているものの中核です。

コンテナ化テクノロジーは長い間 Linux の一部となってきました。 Kobielus 氏は、現在 Docker が最も人気のあるコンテナの 1 つであり、他のコンテナ化テクノロジも Linux に組み込まれていると述べました。基本的に、Linux はオペレーティング システムであり、Linux コンテナーは Docker、Mesos、およびその他のさまざまな手段を通じて実装できます。 「Docker コンテナ内でアプリケーション ロジックを実行し、個別にスケーリングできます。」

Docker サポートはほとんどの Linux プラットフォームで利用できるため、これらのコンテナーとそのアプリケーションを簡単に実行できます。基本的にあらゆる Linux プラットフォームだけでなく、他の非 Linux プラットフォームでも実行できます。コンテナを使用することで、マイクロサービスをオペレーティング システムと基盤となるハードウェア プラットフォーム間で柔軟に移動できます。

クベネフィット

Kubernetes は、コンテナ化されたアプリケーションを自動的にスケーリング、デプロイ、管理するように設計されたオープンソースのコンテナ オーケストレーション システムです。コンテナ オーケストレーション システムはもともと Google によって開発されましたが、現在は Cloud Native Computing Foundation によって保存および保守されています。 NetApp は現在、自社の環境に組み込まれた Kubernetes ディストリビューションを使用して、分散クラウド アーキテクチャ全体でストレージ リソースとストレージ コンテナ化を調整しています。

StackPointCloud は、フェデレーションされた信頼できるストレージ クラスターを管理し、パブリック クラウド サービス プロバイダー間で永続ストレージ コンテナーを同期するための Kubernetes ベースのコントロール プレーンを開発しました。その後、大手データ ストレージ ベンダーの NetApp がこの技術を採用し、NetApp Kubernetes Service を開発しました。これにより、顧客はわずか 3 回のクリックで Kubernetes クラスターまたはストレージ クラスターを起動できるようになりました。

「数百人のユーザーが使用できるように拡張でき、顧客は単一のユーザー インターフェースから拡張可能なコンテナーを展開できます」と Kobielus 氏はコメントしています。これはストレージのコンテナ化です。コンテナ化プロセスの多くは、アプリケーションとミドルウェア機能で発生します。

Kobielus 氏によると、「Kubernetes や Docker、Linux コンテナの従来の弱点の 1 つは、ストレージや永続性に適していないことです。しかし、Wikibon は、Kubernetes やコンテナ、Docker などのツールを活用してクラウド環境でデータの永続性を実現するという点で、ストレージ領域に多くの革新をもたらします。」

ストレージをコンテナ化する例はすでにいくつかあります (ストレージはビッグ データ分析の中心となると言われることもあります)。 NetApps は、新しい Kubernetes サービスでは、AWS、Google Compute Platform、Microsoft Azure で StackPoint Engine を実行できると述べています。 (DigitalOcean、Packetclouds などもサポートしています) さらに、Cloud Native Computing Foundation には、非構造化データのストレージ コンテナ化とバックプレーン オーケストレーションに使用される Rook があります。

Hadoop ストレージ

ビッグデータ分析プラットフォームがトレンドになりつつあります。これは、ストレージに Hadoop が使用されていることに関連しています。データの保存、データのアーカイブ、データの変換に使用されます。データガバナンスにも使用されます。 Hadoop は、多くの企業がさまざまな目的でビッグデータに使用するオープンソースのコア プラットフォームです。そのため、Hadoop 分散ファイル ストレージが非常に人気になりました。 Hadoop は現在、オンプレミス クラウド、パブリック クラウド、ハイブリッド クラウドで使用されています。 Hadoop エコシステムは現在、コンテナ化の過程にあります。 Red Hat は、クラウドにおける Kubernetes の主要実装企業の 1 つです。コビエルス氏はこう語った。

イノベーターは基本的に、Hadoop エコシステムのすべてのコンポーネントを計画に組み込み、それらをコンテナ化して、個別に展開、拡張、管理できるようにします。これらは、Kubernetes を使用してさまざまな組み合わせでオーケストレーションされます。

現在、多くの企業がこれらのデータ分析にオープンソース プラットフォーム テクノロジーを適用しています。 「彼らは、独立系オープンソースプロジェクトの元々の開発者の多くが完全には予想していなかったさまざまな方法でそれらを組み合わせている」とコビエルス氏はコメントした。これらすべてのプラットフォームはコンテナ化されており、この傾向は今後も続くものであり、すぐに変わることはないでしょう。