AdMaster TechnologyのLiu Zhe氏：クラウドを使用するかどうかは需要次第

中国電子技術標準化研究所が主催し、51CTOが主催する「第7回中国クラウドコンピューティング標準および応用会議」が、2018年1月4日から1月5日まで北京で成功裏に開催されました。この会議では、中国の国家クラウドコンピューティング標準開発作業の成果を包括的に紹介し、国内のクラウドコンピューティング産業政策を解釈し、クラウドコンピューティング標準化作業の重要な進捗状況を報告しました。同時に、この会議では、国家オープンソース分野における主要な標準化製品も発表され、クラウドコンピューティングの最新の技術動向とアプリケーション革新の成果が共有され、クラウドコンピューティング製品とソリューションの第5回評価証明書が発行されました。さらに、第2回中国優秀クラウドコンピューティングオープンソース事例選定の結果も会議で発表されました。

[[216313]]

カンファレンスのクラウド コンピューティング インフラストラクチャおよび実践フォーラムでは、AdMaster Technology のシニア アーキテクトである Liu Zhe 氏が「クラウドか否か?」と題した基調講演を行いました。まずは自身の業務実践から始め、クラウドのメリットや今後の開発動向について語り、具体的にどの業務をクラウドに移行すべきか、どの業務をクラウドに移行すべきでないかなどを全員で共有しました。劉氏の演説は比較的遅い時間であったにもかかわらず、彼の生き生きとした演説は、多くの聴衆を惹きつけ、熱心に聞き入らせた。

以下はスピーチの記録です。

皆さんこんにちは！

ここで皆さんと私が話すのを聞いてくれるリスナーがまだこんなにたくさんいるのを見て、本当に嬉しく思います。ここに座っている人たちは皆、真のファンです。私はその会議でスピーチをするよう招待されました。いくつかのテクノロジー、詳細、実装、最適化について話し続けることは不必要に思えます。なぜなら、これらのことはインターネットで確認でき、周囲の人々とコミュニケーションできるからです。私はそれについて考え、そのような共有を行う準備をしましたが、それはクラウドかどうかです。私の名前は劉哲です。私を知らない人はここにいますか？誰も手を挙げませんでした。みんな私を知っています。私はアドマスターテクノロジーの社員です。弊社が日々処理するデータ量は膨大で、1日あたり100億以上のデータが増加しており、クラウドやビッグデータと関係があります。

すべてのビジネスがクラウドコンピューティングに適しているわけではない

クラウドと AI に関わるすべてのものにビッグデータが関わってきます。テンセントの馬化騰氏はこう語った。深センの高速鉄道駅にはもっと大きな写真があります。その写真はもう見つかりませんが、この写真は見つかりました。馬化騰氏はこう語った。「将来的には、ビッグデータはクラウドで人工知能の処理に利用されるようになるだろう。」この文は特にうまく表現されている、あるいは特に高尚で完成度が高い。私がこの写真をここに置き、「クラウド」と書いて疑問符を付けた理由は、本当にすべてをクラウド上に置きたいのかということです。技術的なことを皆さんと共有することに加えて、クラウドを超えて、昇進や昇給に役立つ方法についてもここで皆さんと共有したいと思っています。誰もがこのことに非常に懸念を抱いていると思います。誰もが昇進や昇給を望んでいますが、どうすればそれが実現できるのでしょうか?当社の CEO は、昇進や昇給を望むなら、上司に何もさせることなく放っておかなければならないとよく言います。上司からよく「これをクラウドに置くべきでしょうか？」と聞かれます。まず彼のことを考えなければなりません。その時が来たら、彼に 12345 を渡せば、上司は非常に喜ぶでしょう。昇進も昇給もなかったらおかしいでしょう。

クラウドコンピューティングには多くの利点があります。皆さんも聞いたことがあると思います。いくつか挙げてみましょう。まず、オンデマンドで支払い、コストを節約します。 2つ目は、リソースを最大限に活用するための混合配置です。 3つ目は、多くのマシンを占有し、十分に活用されていないため、クラウドに配置する方が適切であるということです。

「コスト、リソース、クラウドへの配置」は、私たちがよく考える言葉です。クラウドは本当にコストを節約できるのでしょうか?以前に計算をしました。データ量を 500 台のサーバーに配置できる場合、クラウド上に置く場合とクラウド外に置く場合のコストは実際にはほぼ同じです。この番号を覚えておいてください。将来、誰かが決断を下したい場合には、この番号を参照することができます。

クラウドにリソースを置くことで、本当にリソースを最大限に活用できるのでしょうか?しかし必ずしもそうとは限りません。このリソースの問題について、後ほど 2 つの事例をお話ししたいと思います。ビッグデータを扱う学生なら誰でも、ビッグデータが大量のマシンを占有していることを知っているでしょうが、それらは十分に活用されているでしょうか?必ずしもそうではありません。以前、ある会社の社内研修をしていたとき、その会社のサーバーが当社のサーバーよりも数世代先を行く超高性能なものであることを知りました。たとえば、1 台のハード ドライブは 8 TB、1 台のマシンには 12 台のハード ドライブがあり、最小のメモリは 256 GB でした。私は尋ねました、「あなたの機械には問題は起きませんか？」そうでなければ、どうしてできるのでしょうか?機械は何台ありますか？ 1000以上ですよね？このようなマシンが 1,000 台以上あると、どうして問題が発生するのでしょうか?私たちがよく遭遇する問題は何でしょうか?ボス、ハードディスクがほぼいっぱいになったらどうすればいいですか?急いでマシンを追加してください。もっと追加する必要はないのですか？と私は尋ねました。これ以上追加する必要はありません。当社のハードディスクの使用率は約15%です。彼とコミュニケーションが取れないことに気づきました。十分に活用されていなかったので、クラウドに置くのがちょうどよかったです。うん？

当社のビジネスの一部はクラウド上にありますが、ある顧客から次のような質問を受けました。「AWS のファイルは Amazon 上にありますが、ビジネスの一部は Alibaba Cloud 上にあるため、Alibaba Cloud のビッグデータ フレームワークを使用して AWS のファイルを処理したいと考えています。」 Alibaba Cloudのビッグデータプラットフォームの方が使いやすいので、AWSで処理したいとのことでした。私たちは非常にイライラしていましたが、私には全く分かりませんでした。いいえ、そうではありません。では、AWS 上のデータはどうすればいいのでしょうか?それでもできませんでした。データの取得が難しかったので、自分でやって別のコピーをアップロードしました。さらに、さまざまな理由により、Alibaba Cloud は価格を値上げしました。上司はAlibaba Cloudは高すぎると言っていました。別のプラットフォームに切り替えたいのですが、まだできません。他に方法はありません。プライベートクラウドしか使えません。彼らにそれを煩わせる必要はありません。価格上昇は彼らの責任であり、私の会社はプライベートクラウドを持っているので、自分で行うことができます。しかし、私たちはエンタープライズユーザーをターゲットにしています。顧客から、「データをあなたのクラウドに置くことはできないが、Alibaba Cloud には置けるので、最初に戻らなければならない」と言われ、非常に困っています。まだそのような問題に遭遇したことがないかもしれませんが、いつかは遭遇するでしょう。私たちはそのような人にたくさん遭遇しました。彼らはどのように互いにコミュニケーションをとるのでしょうか?これは常に問題です。考えたことがなければ、私のように上司から Alibaba Cloud で AWS をどう扱うかと聞かれたときに唖然とするでしょう。おそらく、あなたは最初から彼にこれをやるように勧めなかったのでしょう。どうやって遊ぶの？外部のものは制御不能であり、いかなるプラットフォームにも乗っ取られたくないため、プライベート クラウドを使用します。

先ほど申し上げたのは、500 ユニットという数字です。私がこれまでにコミュニケーションをとってきた多くの企業、特にスタートアップ企業は、データの量が非常に少ないです。ビッグデータにも取り組んでいます。それを聞いたとき、私は「ははは...。500台以上のマシンを持っていないのなら、ビッグデータの話をしないでください。私たちは1日に2、3GBのデータを持っています。私たちはこの問題を考慮しません。なぜなら、Alibaba Cloudで楽しい時間を過ごすなら、そこで遊ぶことができるからです。データ量が少ない場合は、パブリッククラウドに放り込むことができます。そこで遊ぶことができます。KV、ストレージ、コンピューティング、ビッグデータコンピューティング、人工知能コンピューティング、音声、ビデオなど、必要なものはすべて揃っています。ボリュームが大きい場合は、これらすべてをパブリッククラウドに放り込みます。遅かれ早かれ、それはあなたを殺すでしょう。」と言いました。

私たちはリソースの最適化という目標を掲げています。もちろん、すべてのプログラマーがこのことについて考えるわけではありません。上司が仕事を依頼してきたので、早く終わらせなければならないと考えるかもしれません。しかし、後で考えなければ、どうやって昇進や昇給を得ることができるでしょうか?最適化の前提は、測定、測定、そして測定です。重要なことなので3回言わなければなりません。当社は計測を行う会社です。私たちは、他のことについて話す前に、まずすべてを測定します。もちろん、他の企業ではこのことは「データで語る」という別の方法で表現されるかもしれません。 「データ自体が語らせましょう」というこの一文は、誰もが覚えているでしょう。クラウドにたくさんのものを放り込んだから、こういうことが起こるのだと言う人もいます。まずはデータをいくつかください。データがない場合、ここで最適化について話さないでください。プライベート クラウドで何を最適化しましたか?データはどこですか?関連するデータのサポートがない場合は、テストすることができます。これが良いことかどうかは分かりませんが、テストすればデータから良いか悪いかが分かります。測定を行うことで、後でいわゆる最適化を行う可能性が高くなります。

非クラスタ要件はクラウド上に存在しない

最終的な結論は、非クラスター要件をクラウドに配置するべきではないということです。たとえば、誰かがフロントエンド マシンでページにアクセスした場合、問題はありません。たとえば、MySQL データベースがある場合、パブリック クラウド上のセキュリティを心配する必要がなければ、そこに配置すれば済みます。すべてのクラスター関連要件については、クラウドに配置しないという決定を下します。たとえば、Hadoop をクラウド上に置きたい場合、それは問題ありませんが、推奨されません。なぜ？すべての統合アプリケーションを設計する際には、障害をどのように許容するか、またどのように拡張するかについて考えます。すべての統合は何らかの仮定に基づいており、物事が壊れているため、いつか拡張したいと考えています。これは、クラウドが最初に設計されたときと同じ考え方です。昨日、クラスメートが私にとても興味深いことを尋ねました。 Alibaba Cloud 上に Hadoop を構築しました。レプリカを3つに増やすことはできますか?レプリカが 1 つある場合は、破棄されないため、問題はありません。しかし、ここで問題が発生します。 Hadoop が最初に設計されたとき、最下層の 3 つのバックアップは考慮されていませんでした。私の意見では、それは一つだけです。 3 つのバックアップを作成したかどうかはわかりませんが、3 つのバックアップに対してすべての最適化を使用することはできません。バックアップは 1 つだけであり、どのラックにあるのかがわかります。したがって、すべての統合タイプをクラウドに移行することはお勧めしません。

もう一つは測定です。データのサポートがあって初めて適切な決定を下すことができます。そうでなければ、単なる盲目的な推測になってしまいます。今、あなたは私がただ推測しているだけだと言うかもしれませんし、データがないのでただ推測しているだけだと言う人も歓迎します。私たちは測定から始めました。何を測定するのでしょうか?広告。広告主のために、ここに広告を掲載すると効果的かどうかを測定します。作業終了後に評価させていただきます。今日、あなたの広告をここで見る人は誰もいません。 Youku で広告を掲載したところ、今日 200 万人がそれを見ました。 Sohuに載せるとその数は500万に増えます。ここには 2 つのデータ ポイントがあります。どちらがより効果的でしょうか?あなたに言う必要はありません。プログラムの最適化は時間分析、プロファイラーに依存します。

リソースを最適化し、無駄の最大の原因を見つけ出します。たとえば、プログラムの CPU がほとんどの時間非常にビジー状態であることがわかった場合は、それを分割して実行することができます。メモリを大量に消費し、実行中にクラッシュする場合があります。問題がどこにあるのかがわかります。

どのような非クラスター要件がクラウドに適用されますか?フロントエンド、開発マシン。どの会社にも開発マシンはあると思います。アプリケーション担当者はアプリケーションを作成する必要があります。開発マシンのテストをすべてクラウドに投入すれば、負荷が高くなく、クラッシュしても問題がなく、セキュリティ要件もそれほど高くないため、問題はありません。クラッシュしたらクラッシュします。

データベースについては、重要でないデータベースであれば、そこにそのまま配置することができます。使用率は高くありません。特に今、クラウドに放り込むことが特に推奨されているものが一つあります。それはフロントエンドです。私たちのフロントエンドはコンテナを使用してクラウドに投入されます。一度それを取り除こうとしましたが、さまざまな落とし穴が見つかりました。なぜなら、JS はあまりにも多くのものに依存しており、時にはこれに依存し、時にはあれに依存するからです。それがなければ、マシンがクラッシュし、再展開する必要があります。

クラスター要件のためにクラウドを利用しない場合はどうすればよいでしょうか?当社では、Hive/MR/Storm/Spark/Flink などの統合ビッグデータ アプリケーションをすべて Yarn を使用して管理しています。 ESさん、事例を一つお話ししましょう。もともと、これは Docker 上にデプロイされていました。実行中に頻繁にハングアップするため、最適化する方法を尋ねられました。測定がなければ最適化はあり得ません。なぜこれが常にハングするのか見てみましょう。どの部分のシェアが高いのでしょうか?分析の結果、何もないことがわかりました。 CPU またはメモリの使用率が非常に高いという明らかな兆候はなく、ただハングアップしただけです。 docker 上で実行されているものを見つけたので、それを取り出して、他の人が OpenJdk を実行していることを確認しました。あなたはこれを知っているだろうか？ docker の初期の頃は、すべての Jdk は openJdk でした。問題が見つかりました。場合によっては、openJdk を使用してこれらの JAVA ビッグ データ アプリケーションを実行できますが、問題が発生することもあります。実行中にクラッシュしましたが、原因は調査しませんでした。これらすべてを統合して JDK に組み込んだところ、すべて正常に動作しました。ここで、H をテスト クラスターに投入してみます。私たちの上司はテクノロジーに興味がありません。環境を展開するのに何日も無駄になります。 200台のマシンはいつ準備できますか? 2日間と言いましたが、それは遅すぎます。それを docker に投入すると、すぐに完了しました。その後、プログラムの実行速度が非常に遅いことがわかりましたが、それほど遅くなったわけではありません。中間にレイヤーを追加すると、必ず遅くなります。誰もがそれほど遅くはないと思うでしょうが、常に遅くなります。この場合、「わずかな間違いが大きな間違いにつながる可能性がある」のです。 0.01 秒遅いと、1 日に多数の計算を実行した場合にどのような結果になるかは想像に難くありません。

ビッグデータをクラウドに置くことは必ずしもリソースを節約するわけではない

問題は、ビッグデータをクラウドに置くことでリソースも節約できるのではないかということです。実際、クラウドが最初に解決したい問題は、時々ピークと谷が発生することです。これを排除することができます。必要なときには与え、必要のないときには減らします。最初にこの問題を解決してください。最初に解決すれば、彼は毎日忙しくなります。どうすれば資源を節約できるでしょうか?次の質問は、ビッグデータ計算で最もコストが高いものは何だと思いますか。 Google は毎年会議を開催しています。その会議の内容は一般的には注目されていませんが、その名前は非常に興味深いもので、IO 会議と呼ばれています。

実際、ビッグデータで最も遅いのは、ネットワークであれハードディスクであれ、IO です。仮想化技術において、パフォーマンスを向上させたい場合、最も簡単な方法はすべてをローカライズすることです。ネットワークにアクセスしたり、ハードディスクにアクセスしたり、他の人の CPU やハードドライブにアクセスしたりしないでください。

たとえば、あるデータを読み取りたい場合、クラウド上でローカルに読み取っていると思うかもしれませんが、本当にそうでしょうか?必ずしもそうではありません。物理マシン上でローカルにデータを読み取る場合は高速になります。読む内容がネットワークを経由する必要がある場合、それは間違いなくネットワークによって制限されます。昨日、同僚が私のところに来て、クラスターから何かを取得したいのですが、取得できないと言いました。どうしたの？監視を見ると、クラスター コンピューティングを実行しているすべてのスイッチがいっぱいで、ネットワークがいっぱいになっていることがわかります。最大のボトルネックは、他の人のデータを読み取りたいときに行き詰まってしまうことです。逃げ道はない。ローカルデータのみを読み取る場合は、ハードディスクに依存します。最も速い方法は、CPU がケースを読み取ることであり、ケースがハードディスクを読み取る最も速い方法は、ハードディスクからデータを読み取ることです。

Google のカンファレンスは IO カンファレンスと呼ばれます。 IO とシャッフルは、ほぼすべてのビッグデータ コンピューティング フレームワークが最も懸念するパフォーマンスの問題です。最適化したい場合、実際には最適化はローカリゼーションであり、独自のデータを読み取ってみてください。解決策は、localzine を作成して、その内容を自分自身にコピーすることです。たとえば、Mem ページを事前読み取りに設定した場合、メモリは設定よりも 1000 倍高速になるため、事前に読み取ることができます。 MR が現在のビッグ データ コンピューティングの波の前に登場した理由は、MR が構築されたときに、「リソースがあれば何をするか」という仮定に基づいていたためです。私は一番近くにいる人のところまで走って行きました。ネットワークの読み取りは非常に遅かったので、ネットワークの読み取りを求められることはありませんでした。プログラミングには実はもっと多くのことがあります。論理的判断には短絡と呼ばれるものがあることはわかっています。ビッグデータをクラウドに置くとどのような問題が生じますか?ビッグデータ プラットフォームはすべて物理マシンに基づいて設計されています。現在、Hadup、Sparkなどを稼働させていますが、クラウドをベースに設計されているというプラットフォームはありません。現在、彼らはクラウド プラットフォーム上でこの機能を自ら提供しています。彼らは独自の EMR を持っており、独自のクラウドに基づいてビッグデータ コンピューティング フレームワークを設計している可能性があります。しかし、ネイティブを使用している場合は、クラウド上で使用する必要があります。クラウド向けに設計されていません。

ハード ドライブは、拡張や災害復旧のために複製する必要があるため、信頼性が低くなります。しかし実際には、先ほど述べた例のように、クラウドはすでにコピーを作成しています。これら 2 つのコピーをどうすればよいでしょうか?それは無駄か非効率のどちらかです。以下の2つが議論されました。ネットワーク上での読み取りと書き込みは比較的低速です。データが突然破損するのを防ぐために、データを別の場所に置く必要があります。ビッグデータ フレームワークでは、一般的に、データが破損する可能性があるという点を考慮します。破損した場合はどうすればいいですか?全ての卵を一つのカゴに入れないでください。別々の場所に置いてください。さあ、これをクラウドに投げましょう。問題は、いわゆる異なる場所が一緒であるかどうかをどうやって知るかということです。アプリケーション フレームワークは、「心配しないでください。別の場所に配置しました」と言いました。その結果、2つはクラウド内で一緒になります。その結果、機械はクラッシュし、彼は「私はそれらを組み立てなかった」と言った。次のコメントは「あなたはそれらを一緒にしましたね。」このプロセスはひどいです。

皆さんに覚えておいていただきたいのは、上司のことを考えている場合にのみ昇進や昇給が得られるということです。なぜなら、上記の質問は私の上司が毎日私に尋ねる質問だからです。ありがとう！