サーバーレスアーキテクチャ変革の実践: 遺伝子サンプルの比較

サーバーレスアーキテクチャ変革の実践: 遺伝子サンプルの比較

Serverless は、新たに登場したサーバーレス アーキテクチャです。これにより、開発者は操作、リソースの配信、デプロイメントについて心配することなく、コードに集中できるようになります。

この記事では、Python アプリケーションを変換して、アプリケーションがサーバーレス アーキテクチャの利点を継承できるようにすることで、コードの観点からサーバーレスを理解できるようにします。

[[230487]]

既存のリソース:

  • 成熟した遺伝子比較アルゴリズム(Python で実装、1 回の実行に 2 秒かかります)
  • 2020 遺伝子サンプル ファイル (各ファイルのサイズは 2 MB で、アルゴリズムの入力として直接使用できます)
  • 8コアのクラウドサーバー

遺伝子検査サービス

上記のリソースを使用して、2人の遺伝子サンプルを比較し、比較結果(直接の血縁関係の確率など)を出力します。

ディレクトリ構造は次のように構築します。

  1. ├── リレーション.py
  2. └── サンプル
  3. ├── 1.サンプル
  4. └── 2.サンプル

relationships.py コードは次のとおりです。

  1. インポートシステム
  2.  
  3. 定義関係アルゴリズム(人間のサンプル1、人間のサンプル2):
  4. #それは秘密です
  5. 結果を返す
  6.  
  7. __name__ == "__main__" の場合:
  8. 長さ = len(sys.argv)
  9. # sys.argv はリストであり最初の要素は常にスクリプトの名前になります 
  10. 長さ!= 3の場合:
  11. sys.stderr.write("2 つのサンプルが必要です")
  12. それ以外
  13. #最初サンプルを読む
  14.   open (sys.argv[1], "r")をsample_oneとして開きます:
  15. sample_one_list = sample_one.readlines()
  16. # 2番目のサンプル読む
  17.   open (sys.argv[2], "r")をsample_twoとして開きます:
  18. sample_two_list = sample_two.readlines()
  19. # アルゴリズムを実行する
  20. relationship_algirithm(sample_one_list, sample_two_list) を印刷します

使い方は次のとおりです:

  1. ➜ Python relationship.py ./samples/one.sample ./samples/two.sample
  2. ➜ 0.054

プロセスは比較的簡単です。遺伝子配列を表す 2 つのファイルがローカル ディスクから読み取られ、アルゴリズムが計算された後に結果が返されます。

私たちは以下のビジネス要件を受け取りました

2,000 人が子供を探していて、20 人が父親を探しているとします。

まず、唾液サンプルを採取し、専門機器で分析します。次にサンプル ファイルを生成し、ホストにアップロードします。サンプルファイルは全部で2020個あります。 ***上記のアルゴリズムを実行する必要があります

  • 2000 * 20 = 40000(回)

要件を完了するには、費やした合計時間を計算しましょう。

  • 40000 (回) * 2 (秒) = 80000 (秒)
  • 80000 (秒) / 60.0 / 60.0 ≈ 22.2 (時間)

一連の計算を完了するには 22 時間かかり、これは遅すぎます。ただし、マシンには 8 つのコアがあるため、8 つのプロセスを実行して一緒に計算することができます。

  • 22.2 / 8 ≈ 2.76 (時間)

完了するまでに 3 時間かかりますが、それでもまだ遅すぎます。 8 コアの計算能力が限界に達したと仮定した場合、どのように最適化できるでしょうか?

1.1.1 サーバーレス製品の紹介: UGC

UCloud 一般的なコンピューティング

AWS Lambda とは異なり、UGC では計算集約型のアルゴリズムを Docker イメージ (以下、「アルゴリズム イメージ」と呼びます) としてカプセル化できます。指定されたアルゴリズム リポジトリにアルゴリズム イメージをプッシュするだけで、UGC はアルゴリズム イメージをコンピューティング ノードの一部に事前にプルします。次の 2 つの形式を使用する場合:

  • アルゴリズム イメージの名前と、クエリ文字列形式の検証情報 (例: http://api.ugc.service.ucloud.cn?ImageName=relation&Token=!Q@W#E)
  • アルゴリズムミラーに必要なデータは、HTTP ボディの形式で送信されます。

特別に構築された HTTP リクエストが UGC API サービスに送信されると、「タスク スケジューラ」が、アルゴリズム イメージを正常に取得できたノードを選択し、そのノードへのリクエストをスケジュールするのに役立ちます。次に、アルゴリズム イメージ「コンテナ」を起動し、リクエストの HTTP 本文を標準入力 stdin の形式でコンテナに渡します。アルゴリズムが計算された後、アルゴリズムの標準出力 stdout と標準エラー stderr が tar パッケージにパッケージ化され、HTTP 本文の形式で返されます。このアルゴリズムの実行結果を取得するには、返された本体を tar パッケージとして解凍するだけです。

とはいえ、この製品を使用すると、数万個のコアを備えた小型の 8 コア マシンではなく、数万個のコンピューティング ノードに集中的な計算を実行できます。では、このような大量のコンピューティング リソースをどのように使用すればよいのでしょうか?プログラムには少し修正が必要です。

1.1.2 サーバーレスアーキテクチャの変換

2つの部分:

  • 変更されたアルゴリズムのメタデータは「ファイル入力」から「標準入力」に変更され、出力は「標準出力」に変更されました。
  • HTTPリクエストを構築し、同時実行性を向上させるクライアントを開発する

1. 変換アルゴリズムの入力と出力

① 入力をstdinに変換する

  1. cat ./samples/one.sample ./samples/two.sample | python リレーション.py

これは、コンテンツを relationship.py の stdin にパイプし、次のように relationship.py で取得します。

  1. インポートシステム
  2.  
  3. mystdin = sys.stdin.read ()関数
  4. # ここで、mystdin には、区切り文字なしの ./samples/one.sample ./samples/two.sample の内容全体が含まれます。実際に分割するには、独自の区切り文字を設定できます。

②アルゴリズムの出力データをstdoutに書き込む

  1. # 標準入力を2つのサンプルに分割する
  2. sample_one、sample_two = 別々の(mystdin)
  3.  
  4. # アルゴリズムの出力をSTDOUTに変換する
  5. 定義関係アルゴリズム(サンプル1、サンプル2)
  6. # 変身前
  7. 結果を返す
  8. # 変身後
  9. sys.stdout.write(結果)

変換が完了しました。それは早いでしょう。

2. クライアントと同時実行

アルゴリズムミラー(タスク実行)のロジックを変更しました。それでは、タスクの送信を見てみましょう。

HTTPリクエストを構築し、返された結果を読み取る

  1. イメージ名 = "cn-bj2.ugchub.service.ucloud.cn/testbucket/relationship:0.1"
  2. token = tokenManager.getToken() # SDKには既製のものが用意されています
  3.  
  4. # SummitTask はHTTPリクエストを構築し、イメージのSTDOUTをtarballにパッケージ化して返します。
  5. レスポンス = submitTask(イメージ名、トークン、データ)

非同期リクエストもサポートしています

前述したように、この Serverless 製品はアルゴリズムの標準出力を tarball にパッケージ化し、それを HTTP 本文に入れてクライアントに返すので、次の解凍関数を用意します。

  1. tarファイルをインポートする
  2. インポートio
  3.  
  4. def untar(データ):
  5. tar = tarfile.open (fileobj=io.BytesIO(データ))
  6. tar.getmembers()内のメンバーの場合:
  7. f = tar.extractfile(メンバー)
  8.   ('result.txt','a') をresultfとして開きます:
  9. strs = f.read ()文字列
  10. resultf.write(文字列)

tarballを解凍し、結果をresult.txtファイルに書き込みます。

2200個のサンプルファイルの絶対パスリストはget_sample_listメソッドで取得できると仮定します。

sample_2000_list、sample_20_list = get_sample_list()

2000サンプルと20サンプルの直積を計算するには、itertools.productを直接使用できます。

  1. itertoolsをインポートする 
  2. すべて= リスト(itertools.product(sample_2000_list, sample_20_list))  
  3. 長さ(すべて) == 40000 であるとアサートする

上記のコード スニペットを組み合わせて、メソッドをカプセル化します。

  1. defワーカー(2つのファイルタプル):
  2. sample_one_dir、sample_two_dir = two_file_tuple
  3.  
  4.   (sample_one_dir)を onefとして開きます:
  5. one_data = onef.read ()です。
  6.   (sample_two_dir)を twofとして開きます:
  7. two_data = twof.read () です
  8.      
  9. データ = 1 つのデータ + 2 つのデータ
  10. レスポンス = SummitTask(イメージ名、トークン、データ)
  11. untar(応答)

HTTP リクエスト送信の構築は計算集約的ではなく I/O 集約的であるため、コルーチン プールを使用して非常に効率的に処理します。

  1. gevent.pool をインポートする
  2. gevent.monkeyをインポートする
  3. gevent.monkey.patch_all() # モンキーパッチ
  4.  
  5. プール = gevent.pool.Pool(200)
  6. pool.map(ワーカー、すべて)

タスク200を送信するだけで、同時に実行するのは簡単です

すべての変換が完了したので、簡単に分析してみましょう。

以前は、8 つのプロセスが計算集約型のアルゴリズムを実行していました。現在、私たちは計算集約型のアルゴリズムをサーバーレス製品に組み込んでいます。クライアントは I/O を集中的に行うため、コルーチンを使用して単一のマシンで非常に高い同時実行性を実現できます。欲張らず、200 の同時実行に基づいて計算します。

詳細な読み物:上記の場合、帯域幅がボトルネックになる可能性があります。 gzip を使用して HTTP 本文を圧縮できます。これは計算集約的な操作です。 8 つのコアの計算能力を効率的に活用するために、サンプル データを 8 つの部分に分割し、8 つのプロセスを開始し、コルーチンを使用してプロセス内でタスクを送信します。

  • 40000 * 2 = 80000 (秒)
  • 80000 / 200 = 400 (秒)

つまり

一連のテストにはわずか 400 秒しかかかりません。これは、前の 7 日間と比べて改善された結果です。結果は驚くべきもので、グラフはより直感的になりました。

さらに、コンピューティング能力のボトルネックにはまだ達していません。同時実行タスクの数を増やすことができます。タスクを送信するマシンをもう 1 台追加すると、時間は 200 秒に短縮され、マシンが 4 台の場合は 100 秒、マシンが 8 台の場合は 50 秒になります...

最も重要なことは、変換されたアーキテクチャがサーバーレス アーキテクチャの利点も継承していることです。

  • 無料の運用とメンテナンス
  • 高可用性
  • 使った分だけ支払う
  • シンプルな公開

1. サーバーがないので、運用・保守が無料です

2. 高可用性- サーバーレス サービスは通常、クラウド コンピューティングの強力なインフラストラクチャに依存します。どのモジュールにも単一のポイントはなく、すべてのモジュールは可能な限りクロスアベイラビリティゾーンまたはクロススイッチの災害復旧です。また、今回使用したサービスには、一度同じタスクを送信すると、複数のノードでそのタスクが実行されるという興味深い仕組みがあります。コンピューティング ノードに障害が発生した場合でも、他のノードは正常に復帰できます。先に終わった人が先に戻ります。

3. 従量課金制 - 記事によると、各アルゴリズムの実行にはコアごとに 2 秒の CPU 時間がかかります。コストを直接計算してみましょう。

  • 2000 * 20 * 2 = 80000 (秒)
  • 80000 / 60 / 60 = 22.22 (時間)
  • 22.22 (時間) * 0.09 (元) * 1 (コア) ~= 2 (元)
  • 1コア時間あたり0.09元(つまり、シングルコアCPU時間あたり9セント)

4. 公開が簡単- Docker をキャリアとして使用するため、言語に依存せず、迅速に公開できます。コードが記述されたら、画像をアップロードするだけです。グレースケールの場合、クライアントの imageName は異なるコードを区別するために異なるバージョンを指定します。

サーバーレス製品によって変換方法が異なる場合があります。エンジニアとしては、変換コストが低く柔軟性が高いため、この方法を好みます。どう思いますか?サーバーレス アーキテクチャや UGC に興味がある場合は、u_nknow WeChat を追加してディスカッション グループに参加できます。

<<:  マルチメディア シングス プレーヤーが、より適切なオーディオおよびビデオ プレーヤーの選び方について語ります

>>:  アジャイルテストとその実践的応用の簡単な分析

推薦する

モバイルインターネットチャネルのプロモーション方法

今月はたくさんお金を使ったのに効果がなかったと友人からよく聞かれます。それで、広告費はどこへ行ったの...

過剰な最適化が降格につながる理由は何ですか?

ショートビデオ、セルフメディア、インフルエンサーのためのワンストップサービスウェブサイトが降格される...

ウェブサイトを最適化するにはどうすればいいですか?見出しを飾る人にならないでください

ショートビデオ、セルフメディア、インフルエンサーのためのワンストップサービスインターネットとスマート...

クラウド変革戦略を成功させる方法

IT企業ユニシスの調査によると、組織の大部分はまだクラウド移行から大きな利益を得ていない。クラウドへ...

2コア8Gクラウドホストから、4大クラウドベンダーのオープニングプロモーションのうちどれが一番お手頃か見てみましょう!

2021年2月25日、JD Cloudが先陣を切って「新年ショッピングシーズン」プロモーションを開始...

エンタープライズSEOで良い仕事をしたいなら、製品について深く理解する必要があります。

今日は、営業を必要とする仕事であるエンタープライズ SEO についてお話します。私たち SEO 担当...

Bigrock は .pw ドメイン名を年間 5.49 ドルで提供しています

BigRock は、優れた資格を持つ ICANN 認定のドメイン名登録機関です。Directi (h...

DT時代の変化についての考察

DT という言葉はデータ テクノロジーを意味します。これは新しい用語ではないと言えますが、私が本当に...

派手な仮面を脱ぎ捨て、ウェブサイトの信頼性と人気の秘密を明らかにします

Baidu Kステーション事件は終わってからかなり経っているが、多くのウェブマスターは事件のことを考...

Google の新しいアルゴリズム アップデートに対処するための 8 つの原則

検索エンジン業界における Google の地位は明らかです。中国のような特殊な環境でも、ウェブマスタ...

ユーザーエクスペリエンスにおける「不明瞭なセンシティブな言葉」についての簡単な議論

「不明瞭なセンシティブワード」の出現は、ウェブサイトにとって珍しいことではないと思います。多くのウェ...

ITを近代化するための3つの主要戦略

アメリカ技術評議会 (ATC) の最近の IT 近代化レポートでは、米国の機関や組織の IT チーム...

どのような外部リンクが効果的でしょうか?

今日は、どのような外部リンクが効果的か、またスパムリンクを避ける方法について議論する記事を皆さんと共...

5分間のK8s実践 - ローリングアップデートと正常なシャットダウン

アプリケーションを本番環境にリリースする場合は、現在のシステムやそれを使用しているユーザーを考慮する...

10月26日の百度のKステーションはあなたが思っているものとは違う

2012年10月26日夜22時15分、老狗の目の前で百度がKされ、私はそれを現場で捕まえた。「天津s...