テンセントのオープンソースアプローチ：Apacheアプローチに基づくオープンソースの実践と探求

8月6日、テンセントオープンソースアライアンス会長兼テンセントクラウドオープンソースエコシステムゼネラルマネージャーのShan Zhihao氏が、2021 ApacheCon AsiaでテンセントのApache Wayの考え方、探求、実践について語りました。

オープンソース コミュニティで最も注目されるカンファレンスの 1 つである今年の ApacheCon Asia は 3 日間開催され、ビッグ データから検索、メッセージ キューまで、数十の異なるカテゴリをカバーする 14 を超えるサブフォーラムが開催されます。

1999 年に設立された Apache Software Foundation は、2 億 2,700 万行を超えるコードを管理し、206 のプロジェクト管理委員会を持ち、実力主義で 350 を超える Apache プロジェクトとプログラムを主導し、8,100 人を超えるコミッターを擁しています。

Apache は、当初の「Apache グループ」から今日の世界最大のオープン ソース ファウンデーションの 1 つに成長し、リーダーシップ、健全なコミュニティ、エリート主義的な考え方を通じて有名な「Apache Way」を作り上げ、オープン ソース コミュニティの持続可能な開発を促進し、オープン ソース プロジェクトの実践を導くための一連の方法論を形成しました。

テンセントのオープンソースへの取り組みは、2010年に正式に始まりました。過去11年間、多くのテンセントのエンジニアが参加、応募、貢献を通じてApacheコミュニティと深くつながり、Apacheアプローチに基づいたテンセントのオープンソースアプローチを実践してきました。

テンセントは、Apacheオープンソースコミュニティとの協力も深め続け、複数のApacheプロジェクトに積極的に貢献し、中国初のApacheプラチナメンバーとなり、Apache Foundationのオープンソース分野におけるイノベーションを推進しています。現在、テンセントの社内チームは、Hadoop や Spark など多くのプロジェクトでコミッターを務めているほか、InLong、Ozone、Pulsar などの Apache プロジェクトに基づくビジネスのサポートと実現も行っており、一連のベストプラクティスを形成しています。

Apache Wayはコミュニティにとって重要なガイドです

Apache Way を定義するのは困難です。 Apache Way は長年にわたってその内容の一部を変更してきましたが、「高い透明性」という当初の意図は常に変わっていません。 Shan Zhihao 氏の意見では、Tencent が Apache から学んだ経験は次の 5 つの点に要約できます。

1. すべての個人が参加する機会を持ち、権威者になることができます。誰もが、コミュニティへの貢献、そして公的に獲得した功績と権威を通じて、影響力と個人的な成長を得ることができます。

2. Apache Foundation はフラットな構造になっています。これは、どの役割も平等であり、投票権も同じであり、貢献はボラ​​ンティアベースで行われることを意味します。 Tencent は社内のエンジニアが Apache Foundation への貢献に積極的に参加することを奨励しています。

3. オープンなコミュニケーションの重要性を理解し、実践する。オープンソースは世界的に分散したコミュニティのコラボレーションであるため、Tencent のエンジニアはメーリング リストの非同期コラボレーション メカニズムを通じて Apache オープンソース プロジェクトに参加しており、コードや意思決定に関するコミュニケーションはオープンかつ透明です。

4. 合意につながる意思決定メカニズムを奨励する。合意によりプロジェクトが前進し、新たな生産性が生まれます。しかし、完全な合意が得られない場合もあり、拘束力のある決定を解除するには投票やその他の調整が必要になります。

5. 最も重要なことは、「コードよりもコミュニティ」というモットーが Apache コミュニティで頻繁に強化されていることです。健全なコミュニティは良いコードよりも重要だからです。強力で健全なコミュニティは常にコードの問題を修正できますが、不健全なコミュニティはコードベースを持続可能な方法で維持するのに苦労する可能性があります。さらに、柔軟性の重要性も、Apache の継​​続的なオープンソースの成功に不可欠な要素です。

Apacheが主導するTencentのオープンソースアプローチ

Apache プロジェクトとそのコミュニティはユニークかつ多様です。コミュニティ主導の開発プロセスにおいて、Apache メンバーは経験を要約し、それを Apache Way に凝縮します。

実際、Tencent のオープンソースの実践と成果の多くは、Apache Way のガイダンスに従って実行されています。テンセントは、オープンソースの文化遺伝子の長期にわたる蓄積を通じて、「オープンコラボレーションと善のためのオープンソース」を原動力とするオープンソースアプローチを形成してきました。これはテンセントの価値観と使命ビジョンでもあり、同社のオープンソースの実践に継続的に影響を与えています。

オープンソースプロジェクトを主導し、寄付することで、テンセントはApache Wayを実践し始めた。

ビッグデータ ストリーム コンピューティングとミドルウェアの分野では、テンセントのエンジニアが Apache Foundation の複数のオープン ソース プロジェクトを主導し、貢献しており、その貢献が同財団から認められています。

1) ビッグデータ

たとえば、Tencent は 4 年前から、Apache Hadoop 2.8.4/2.8.5 のリリースと、Hadoop コミュニティにおける Apache Ozone 1.0.0 の公式リリースを主導してきました。後者は、Apache Foundation のトップレベル プロジェクトになりました。また、Apache Spark 2.3.2 のリリースを主導し、コミュニティで Hadoop および Spark リリースをリリースした最初の中国企業となりました。

Tencent がリリースした Hadoop の複数のバージョンには、20 を超える機能と最適化が含まれています。 Tencent は、Spark、Flink、HBase、Hive、MXNet、Parquet など、複数のコンピューティングおよび AI フレームワークの主要なコア コントリビューターです。

さらに、テンセントビッグデータはApache Ozoneのバージョン1.0.0の主導にも参加し、追加、切り捨て操作、コンテナバランサー機能などのサポート面でOzoneの成熟度の向上に継続的に投資し、貢献しました。

2) ミドルウェア分野

テンセントは2019年に、自社開発した兆レベルのビッグデータコンポーネント「TubeMQ」プロジェクトをApache Foundationに寄贈しました。これは、Tencent が Apache Foundation に寄贈した最初のオープンソース プロジェクトでもありました。今年、正式に Apache InLong に改名され、現在は Apache Foundation で育成されています。

l Apacheの優れた成熟したオープンソースプロジェクトに基づいた詳細なアプリケーション

テンセントは、オープンソースおよび寄付プロジェクトを主導するだけでなく、Apache Foundation のオープンソース プロジェクトを複数の社内ビジネス システムにも適用しています。たとえば、WeChat、QQ、Tencent Cloud などのビジネス セグメントでは、Apache のオープン ソース プロジェクトが広く使用されており、データ転送、ストレージ、コンピューティング、分析などのビッグ データ エコシステムやその他の需要シナリオ、および API ゲートウェイや可観測性などのサービス ガバナンスの技術分野をカバーしています。

特に、ビッグデータ、API ゲートウェイ、可観測性の 3 つの分野において、テンセントは Apache Foundation のオープンソース プロジェクトに深く関与し、貢献してきました。

1) 代表的なビッグデータプロジェクト - OzoneとPulsarアプリケーション

テンセントビッグデータは1日あたり55兆件以上のメッセージを受信し、リアルタイムの計算能力は65兆件を超えています。プラットフォーム全体の計算能力は 500 万コアを超え、毎日の分析タスクの数は 1,500 万に達します。

1 日のリアルタイム コンピューティング量が最大規模の企業の 1 つである Tencent は、ビジネス開発をサポートするために強力なビッグ データ プラットフォームを必要としており、その機能は継続的に更新されています。 Tencent は自社開発ツールに加え、Apache Ozone や Apache Pulsar などの高品質で成熟した外部オープンソース プロジェクトをフル活用して、大量のデータとトラフィックを必要とする Tencent のビジネス シナリオをサポートしています。

Ozone は、現在の Apache Hadoop エコシステムにおける新世代の分散ファイル オブジェクト ストレージ システムです。昨年、Apache Foundation を卒業し、正式に Apache のトップ オープン ソース プロジェクトとなりました。 Hadoop 分散ファイルシステム HDFS のスケーラビリティの限界を解決し、数千億の小さなファイルのストレージ ニーズを満たすことができます。

Ozone の早期導入者として、Tencent Big Data Platform は、ビッグデータ アプリケーションのバックエンド ストレージとして 1,000 を超えるノードの Ozone クラスターを導入しました。さらに、Tencent は、いくつかのプライベート データ ウェアハウス プロジェクトのメイン ストレージ ソリューションとして Ozone を使用しています。

現在、Tencent は、データ ウェアハウス、機械学習プラットフォーム、K8S クラスター マウント ディスクなど、ますます多くのビジネスを Ozone に接続しています。長期間にわたる検証と改良を重ねた結果、内部オゾンは、手動操作やメンテナンス介入を必要とせず、1,000 台を超える規模でも長期間安定して稼働できるようになりました。検証と改善のプロセスにおいて、Tencent はパフォーマンスを改善し、安定性を強化するために多くの最適化作業を行いました。

次世代のクラウドネイティブ分散メッセージストリーミングプラットフォームである Pulsar は、メッセージング、ストレージ、機能コンピューティングを統合し、ストレージとコンピューティングを分離するアーキテクチャを採用しています。 Pulsar は、Tencent Cloud 内で多数のデータおよびトラフィック ビジネス シナリオを正常にサポートしており、急速な動的拡張と縮小の解決、クラスター リソースの使用率の向上、クラスターの形態など、クラウド ネイティブ環境における実践的な経験を持っています。

2) API Gatewayプロジェクトの代表であるAPISIXの応募と貢献

サービスの数と複雑さが増すにつれて、マイクロサービスを採用する企業が増えており、API ゲートウェイは、統合されたトラフィック管理とスケジューリングを完了するために不可欠な要素となっています。

APISIX は、Apache によって昨年追加されたトップレベルの API ゲートウェイ オープン ソース プロジェクトです。 2019 年に Apache Foundation に参加してからわずか 1 年で卒業しました。これは、Apache がアクティブで健全であり、急速な反復で開発されていることを示しています。
Kong と比較して、APISIX は高性能、開発者にとって使いやすいエクスペリエンス、豊富なプラグイン機能などの特徴を備えているため、Tencent の社内ビジネスでは APISIX が選択されました。

TencentはAPISIXを基盤として、自社開発のクラウドシステムコンポーネントに基づくサポートを社内で共有し、ビジネス上の課題を解決し、効率的なAPIゲートウェイサービスを提供します。また、Apache APISIX オープンソース コミュニティに外部的に貢献し、影響力を拡大してオープンソース コミュニティの発展をリードしています。

3) 観測可能なプロジェクトの代表例：テンセントの社内観測プラットフォームにおけるSkywalkingの応用

マイクロサービス アーキテクチャの普及に伴い、フルリンク パフォーマンス監視はサービス ガバナンスで解決する必要がある大きな問題となっています。マイクロサービス、クラウドネイティブ アーキテクチャ、コンテナベース (Docker、K8S、Mesos) アーキテクチャ向けに設計された可観測性ツールが第一の選択肢となっています。

Skywalking は、分散システム向けのアプリケーション パフォーマンス監視ツールです。マイクロサービス、クラウドネイティブ アーキテクチャ、コンテナベースのアーキテクチャ (Docker、K8S、Mesos) 向けに設計されています。さまざまな監視方法、言語プローブ、およびサービス メッシュの多言語自動プローブを備えています。軽量かつ効率的で、アラームをサポートし、優れた視覚化ソリューションを備えています。

Apache Skywalking は Wu Sheng によって設立された個人プロジェクトです。プロジェクトは現在非常に活発に行われており、プロジェクト開発の全体像とマイルストーンが完成しています。メインリポジトリには 17,000 個のスターと 350 人の貢献者がいます。

Tencent の内部可観測性プラットフォームは、Apache Skywalking、Zipkin、Jaeger クライアント レポートと完全に互換性があり、マイクロサービス システムのクライアント トレース レポートの選択に非常に便利です。コンピューティングとストレージの分離、および多層クエリ メカニズムの使用により、優れたパフォーマンス出力が得られます。

さらに、可観測性の分野では、Tencent は最近、CNCF で非常に人気のある OpenTelemetry プロジェクトも使用しています。

テンセントのオープンソースエコシステム構築を支援する3つの主要プロジェクト

もちろん、テンセントは現在、Apache Foundation以外にも、世界10以上の財団でトップレベルのメンバーとして活動しています。この財団は、知的財産管理フレームワーク、コードリポジトリ、問題追跡、技術指導、プロジェクトガバナンス、財務および広報管理などのサービスを提供しており、テンセントのエンジニアと世界中の開発者が協力しています。

テンセントは、Linux Foundationや世界最大のクラウドネイティブオープンソース組織であるCNCF Foundationなど、複数の財団での実践と貢献を通じて、比較的成熟したオープンソース組織のガバナンスモデルと経験を吸収し、それらを使用して社内プロジェクトの外部オープンソースを導いてきました。

現在、テンセントは130以上の独立プロジェクトをオープンソース化し、37万以上のスターを獲得し、貢献者の数は2,000人を超えています。プロジェクトは、クラウドネイティブ、ビッグデータ、人工知能、データベースなど、複数の技術分野をカバーしています。人工知能分野に焦点を当てた Angel オープンソース プロジェクトや、マイクロサービス分野の TARS オープンソース プロジェクトがあります。 KVM と OpenJDK では、Tencent は世界的な貢献者リストのトップにランクされています。 Tencent は、Kubernetes、Spring Cloud、MariaDB などのオープンソース コミュニティでも、オープンソース プロジェクト、製品、ソリューションの実装を積極的に推進しています。

社内のオープンソース プロジェクト、活発なオープンソース コミュニティでの経験、オープンソース人材の育成プロジェクトに基づいて、Tencent のオープンソース エコシステムは徐々に確立され、継続的に改善されてきました。

今後、テンセントクラウドは、以下の3つの主要プロジェクトを通じて、テンセントのオープンソースエコシステムの構築をさらに強化することに注力していきます。

1) 「騰源会」コミュニティを設立する。 Tencent Cloud は、オープンソース プロジェクト、オープンソース愛好家、オープンソース リーダーを結集するオープン コミュニティである Tencent Source Club を設立しました。オープンソース プロジェクトの健全な成長を支援し、オープンソース愛好家がコミュニケーションと支援を行えるようにし、オープンソース リーダーがリーダーシップの価値を発揮できるようにすることで、グローバルなオープンソース エコシステムをさらに繁栄させることに取り組んでいます。

テンセントは今後、中立的な組織「Tencent Source Club」を通じてオープンソースのコミュニケーションとプロジェクトインキュベーションのプラットフォームを構築したいと考えています。オープンソース インキュベーター、共創コミュニティ、オープンソース セミナー、実践的なアクティビティを主催することで、より多くのオープンソース プロジェクト、オープンソース愛好家、実践者、リーダー、さらには世界的なオープンソース財団とオープンソース文化を結び付けます。

2) 業界オープンソース共同研究所を設立する。オープンソース ラボは、プロジェクトが実装される場所です。今後、テンセントクラウドは、国内の多くの著名な大学やオープンソース企業と共同で業界オープンソースラボを設立し、学生、科学研究者、企業内の開発者に、業界におけるオープンソースプロジェクトの実装のための実用的なコード貢献プラットフォームとシナリオを提供する予定です。

さらに、テンセントは今年、「Rhino-Birdオープンソース人材育成プログラム」も正式に開始した。大学生向けのオープンソースコースやオープンソース実践トレーニングプログラムを作成することで、オープンソース人材を育成し、オープンソース文化を普及させ、オープンソース人材エコシステムの発展を促進します。

3) 「クラウドネイティブオープンソースホワイトペーパー」を公開します。今年5月の「クラウドネイティブ業界カンファレンス」において、テンセントクラウドと中国情報通信研究院は「クラウドネイティブオープンソースホワイトペーパー」の執筆を正式に開始すると発表しました。ホワイトペーパーは現在執筆中であり、年末に正式に発表される予定です。

オープンソースの実践者や企業は、上記のプラットフォームやプロジェクトの構築に参加できます。

結論

Apache Foundation は 22 年間運営されており、組織構造と柔軟性のバランスが取れたオープンな組織を構築するベスト プラクティスの 1 つであることが証明されています。 Tencent は、Apache Way を自社のオープンソース哲学、オープンソース方法論、オープンソース エコシステム構築に継続的に取り入れています。

将来的には、テンセントが構築するオープンコミュニティに、さらに多くの大学、企業、組織が参加できるようになるかもしれません。これは遠い旅ではありません。