手工芸品オークションサイト Etsy を動かしているハードウェア構成は何ですか?

概要: Etsy.com は手工芸品のオークション サイトです。CEO の Chad Dickerson 氏によると、今年これまでに同社が処理した取引総額は 5 億ドルを超えています。現在、従業員数は 300 名を超え、アクティブな加盟店数は 80 万店、月間訪問者数は 4,000 万人を超えています。では、このような大規模なウェブサイトのハードウェア構成はどうなっているのでしょうか。Etsy の公式技術ブログに紹介記事があり、@忘美流星 さんが以下にまとめました。

一般的に、大規模な Web サイトを運営するために必要なハードウェア構成に関する議論は、非公開のサークル内で行われ、通常は、特定のブランドの品質がいかに悪いか、または特定のブランドのハードウェア サポートがいかに悪いかといった内容になります。

「クラウド時代」の到来により、この状況は少し変化しました。突然、特定のブランドのインスタンスの大きさや数について話題になっていますが、これはデータセンター内の物理サーバーを理解するための良い練習になると思います。結局のところ、これは競争ではなく、私たちが陥っていたのと同じ苦境から抜け出す手助けをすること、そして私がこのブログで公開しているような、まだ一部の人が知らない解決策を広めることなのです。

37signals の友人たちもこのトレンドに従い、最近、Velocity カンファレンス (ハードウェアの噂話を議論できる場所) に参加した後、ハードウェアの仕様を公開しました。

そこで、この傾向に注目して、7 月の売上高 6,950 万ドルを牽引したハードウェア セグメントをご紹介します。

データベースクラス

すでにご存知かと思いますが、当社ではデータを保存するために多数の MySQL マシンを使用しており、パフォーマンスと (程度は低いものの) 信頼性はそれらに依存しています。

大容量のストレージ、高い処理能力、優れた冗長性を備えた総合的なパフォーマンスのボックスを必要とするジョブを実行するために、HP DL380 サーバーを使用します。サーバーには、2U ラック スペース、2 つの 8 コア Intel E5630 CPU (2.53 Ghz)、96G の RAM (重要な MySQL キャッシュ用)、および 16 台の 15,000 rpm 146GB ハード ドライブが搭載されています。この構成では、ユーザー データを格納するためのディスク領域が適切にバランスされると同時に、スピンドル/RAM がそのデータにすばやくアクセスできるようになります。サーバーには 1GB イーサネット ポートが 4 つありますが、そのうち 1 つだけを使用しました。

ソリッドステートドライブ (SSD) を使用しないのはなぜですか?

データベースに SSD を使用した最初のテストを開始したところです。従来は、ユーザー データの量 (マシンで使用されるディスク領域の量など) と CPU およびメモリのバランスをとるなど、最初に解決しなければならない他の問題がありました。ただし、他の構成情報に示されているように、インフラストラクチャ全体に多数の SSD が分散されているため、データベースに対しても十分にテストする必要があります。

写真にはさまざまなハードウェアが示されており、左と中央にHP、右にネットワーク/ユーティリティボックスがあります。

Web/Gearman ワーカー/Memcache/ユーティリティ/ジョブ

これはかなり広い範囲ですが、一般的には、できるだけ少ないマシン カテゴリで合意するように努めています。したがって、大量の通信や冗長性を実行するタスクを処理する場合、ネットワーク通信 (Apache/PHP) タスクのほとんどは、1 台のマシン上のアプリケーション層でのみ処理されます。これにより、ハードウェアの再利用性が向上し、機械部品の迅速かつ簡単な交換が可能になります。そうは言っても、メモリやディスクの量など、コンポーネント タイプの構成には若干の違いが残っています。

私たちは、4 つのノードをサポートし、シャーシ前面で 2 つの電源と 12 個の 3.5 インチ ディスクを共有できるこの 2U Supermicro シャーシを非常に気に入っています。

簡単に利用できる4つのノードを備えたSupermicroシャーシ

このマシンの標準構成は、8 コアの Intel E5620 CPU (2.40GHz) 2 基、12 GB ～ 96 GB の RAM、600 GB 7200 rpm ハード ドライブまたは Intel 160 GB ソリッド ステート ドライブのいずれかです。

これらの構成には RAID (Redundant Array of Independent Disks) がなく、Cobbler と Chef に大きく依存しているため、システムを最初から再構築するのにかかる時間はわずか 10 分であることに注意してください。私たちの意見では、データ センターのスタッフが 20 分でドライブを交換し、システムを再構築して本番環境に戻ることができるのに、なぜ 2 つのドライブを使用するのでしょうか。明らかに、これは適切な状況でのみ機能します。つまり、マシン クラスター内の各独立したマシン上のデータは重要ではありません。たとえば、ログが集中ログホストに継続的に送信され、ネットワーク コードがローカル マシンに簡単に展開される場合、ネットワーク サーバーには重要なデータがないと考えられます。

私たちは、ファイルシステムが書き込み不能になったタイミングを把握し、マシンに新しいディスクが必要かどうかを知るために、Nagios チェック (SMART チェックも同様に機能します) を使用します。

各マシンには 1GB イーサネット ポートが 2 つありますが、この場合はそのうちの 1 つだけを使用しました。

分散コンピューティング (Hadoop)

過去 12 か月間、私たちは分散コンピューティング クラスターの構築に取り組んでおり、最終的に上記のシャーシ設計に似たいくつかのハードウェア構成を評価してきました。ただし、前述の 12 個の 3.5 インチ設計ではなく、前面に 24 個の 2.5 インチ フロッピー ディスク スロットを備えたシャーシを使用します。

分散ノードと多数のディスクライト

各ノード (各 2U シャーシに 4 つのノード) には、2 つの 12 コア Intel E5646 CPU (2.40GHz)、96 GB の RAM、および 6 つの 1 TB 2.5 インチ 7200 rpm ディスクが搭載されています。つまり、各ストレージ シェルフには 96 個のコア、384 GB の RAM、24 TB のディスク容量があります。

当社の分散コンピューティング ジョブは CPU を大量に消費しますが、各ノードのディスク領域は少量であるため、ストレージとディスクのスループットは大きな問題にはなりません。 I/O とストレージの要件がさらに高くなった場合は、ノードあたり 12 個の 3.5 インチ ディスクを搭載した 2U Supermicro サーバーへの移行を検討します。

上記のシャーシと同様に、各ノードには 2 つの 1GB イーサネット ポートがありますが、1 分間に使用されるのはそのうちの 1 つだけです。

この図は、分散操作が実行されているときの一連のマシン間の電力供給の違いを示しています。

検索/Solr

わずか 1 か月前には、これは上記の一般的なボックスには分類されませんでしたが、検索の山の中に多くの新しい魅力的なコンテンツが見つかりました。一般的な例と同じシャーシを使用しますが、今回は Intel CPU の素晴らしい新しい Sandy Bridge シリーズを使用します。各ノードに 16 コアの Intel E5-2690 CPU (2.90GHz) を 2 つ使用することで、同じ密度を維持しながら、消費電力をそれほど増やさずに、マシンが前の一般的な例のノードの 4 倍のワークロードを処理できるようになりました。 2.9GHzでシャーシあたり128コア（ハイパースレッディングを含む）

これは良い結果です。検索は実際には CPU の問題であり、これらのマシンの I/O 問題を回避するために、長年にわたって SSD が一般的に使用されてきたからです。各ノードには 96 GB の RAM とシングルパス 800 GB のインデックス SSD が搭載されています。これは、RAID を気にしないという同じパターンに従います。SSD 自体は十分に高速であり、BitTorrent インデックス配布によってマシン インデックスの取得が非常に高速になります。

マシンが減れば、管理も減り、消費電力も減り、スペースも節約できます。

32 コアの Sandy Bridge アーキテクチャでの「top」コマンドの出力

バックアップ

AMD もこの競争に勝利しています。私たちは、キャッチーな名前の 6047R-E1R36N を使用しました。モデル番号の 36 は重要な部分で、36 個の 3.5 インチ ディスクを搭載した 4U シャーシを意味します。これらのボックスには、2TB の 7200rpm ドライブと、1GB のバッテリ バックアップ ライトバック キャッシュを備えた LSI RAID コントローラが搭載され、驚異的な 1.2GB/秒のシーケンシャル書き込みスループットと、合計 60TB (RAID6 の 2 倍) の使用可能ディスク容量を実現しました。

36 ディスク Ultramicro シャーシ。注意: シャーシの前面と背面にはディスクがいっぱい詰まっています。

なぜ RAID 6 の 2 倍のスペースが必要なのでしょうか? 無駄は少し増えますが (2 台ではなく 4 台の同一ドライブ)、その結果、失われたドライブの数に対する耐性が少し高まり、失われたドライブが 1 台だけであれば再構築時間が半分に短縮されます。明らかに、RAID の監視は重要であり、SMART (個々のディスク マシン) をチェックするか、Nagios を使用して他のすべてのマシンのさまざまな RAID 使用状況をチェックする必要があります。

この場合、スイッチで結合された 2 つの 1GB イーサネット接続を利用し、必要な冗長性と追加の帯域幅を実現しました。将来的には、これらのマシンでファイバー チャネルを使用してディスクを最大限に活用できるようになるかもしれませんが、現時点ではバックアップで 1 GB/秒を超える速度を達成することはできません。

特別セクション

もちろん、ルールには常に例外があります。唯一のハードウェア例外は、HP DL360 サーバー (1U、4 x 2.5 インチ 15K 146GB SAS ドライブ) です。この役割ではそれほど多くの処理能力は必要ありませんが、RAID を備えるほど重要であると考えています。たとえば、DNS (ドメイン ネーム システム) サーバー、LDAP (Lightweight Directory Access Protocol) サーバー、および分散コンピューティング ネーム ノードは、多くのディスク領域を必要としないマシンですが、追加のデータ セキュリティのために RAID サポート (一般的な単一ディスク構成と比較して) が必要です。

ネットワーク

この記事では、ネットワークの側面については詳しく説明しませんでした。このブログにご注目ください。今後数日間でこの部分が考慮され、当社のネットワーク グルがパケット シャッフル インフラストラクチャについてご案内します。

その後の動向

あなたも私たちと同じなら、ここがあなたのハードウェアへの情熱にとって良い場所となることを願っています。何かクールなものはありますか？

この投稿は Laurie Denness (@lozzd) によって投稿されました。このハードウェアをより良く使用するために、皆様のご協力をいただければ幸いです。ぜひご参加ください。

（翻訳者注：私はこの分野の専門家ではないので、専門用語の翻訳には偏りがあるかもしれません。特定の単語がぎこちないと感じる場合は、原文と照らし合わせて確認してください）

原文: Etsy 翻訳者: Bole Online @忘美流星

原文: http://blog.jobbole.com/26356/

元のタイトル: 手工芸品オークション Web サイト Etsy はどのようなハードウェア構成で動作していますか?

キーワード: どのような、ハードウェア、構成、ドライバー、手作り、アートオークション、販売ウェブサイト、Etsy、ウェブマスター、ウェブサイト、ウェブサイトのプロモーション、収益化