Sogou オープンソースフレームワークが自社開発の C++ Kafka クライアントをリリース

Sogou は今年 7 月に C++ 非同期スケジューリング サーバー エンジンである Workflow をリリースしました。コンピューティングと通信を統合する高性能特性に加えて、Http、Redis、MySQL など、一般的に使用されるさまざまなネットワーク プロトコルも統合されています。すべてのプロトコルは、サードパーティのライブラリに依存せず、完全に自社開発および自社分析されています。特定のプロトコルに対応するリソースの再利用とスレッドのスケジューリングは、Workflow によって統一的に管理され、ますます多くの開発者の支持と認知を得ています。最近、Workflow は複雑なユニバーサル ネットワーク プロトコルである Kafka をサポートし、リリースしました。これにより、Workflow とそのエコシステム プロジェクトを使用するすべての開発者が、統一された簡単な方法で Kafka と対話できるようになります。これは業界で唯一 C++ で実装された Kafka クライアントでもあり、オープンソース コミュニティの開発者の注目に値します。

1. 開発の背景

Workflow が Kafka クライアントをリリースする前は、業界では librdkafka が広く使用されていました。ただし、この純粋な C Kafka クライアントには多くの欠点があります。使用中に発生した問題の一部を以下に示します。

1. スレッドリソースとネットワークリソースの消費量が増える

2. インターフェースのデザインが複雑で肥大化しており、使用コストが比較的高い

3. Kafka バージョンの互換性はあまり良くない

4. リソース消費は多いがパフォーマンスは低い

5. ブローカーのマスター/スレーブ切り替えにより、下位バージョンを使用するとサービスがハングし、上位バージョンではデータが失われることがある

6. 非同期同期中に時々データが失われる

これらの問題に対するより良い代替手段は、Workflow の Kafka クライアントです: https://github.com/sogou/workflow

Workflow ベースで実装されているため、Kafka クライアントとしては、超高性能、超大容量のスループット、極めて低いリソース使用量という特徴を持っています。他のプロトコルのインターフェースと同様に、この Kafka クライアントにも、明確なインターフェースと強力なコード可読性という利点があります。機械コストを節約できるだけでなく、人的メンテナンスコストも節約できます。試してみる価値はあります。

2. 新世代の高性能 C++ Kafka クライアント

Workflow の Kafka クライアント インターフェースは非常にシンプルです。まず、クライアント オブジェクトを作成する必要があります。

その他の使用方法は、フレームワーク内の他のタスクと変わりません。ワークフローを使用する学生はすぐに始めることができます。

Workflow の Kafka クライアントに上記の利点があるのはなぜでしょうか?主な理由は次の 3 つです。

1. ワークフローに基づく内部タスクフローの実装。ワークフローの中心的な設計概念は、タスクを「タスク フロー」の概念に抽象化することです。これにより、任意の複雑なタスクを複数の並列タスク フローとシリアル タスク フローに分割し、それらを直列または並列に接続して 1 つ以上のシリアル パラレル グラフを形成し、ワークフロー内のエンジンによって効率的かつ非同期的に実行できます。

Kafka プロトコルのフェッチ メッセージを例にとると、次の図は実行プロセス中のタスク フローのシリアルおよび並列図です。

メッセージのフェッチ タスクは、Kafka ブローカーを取得するメタ タスク、一連のコンシューマー グループ関連のタスク、オフセットを取得するタスク、実際にメッセージをプルするタスクなど、一連のタスクで構成されます。前の複数のタスクは、依存関係によりシリアル タスクを形成します。メッセージをプルする最終タスクはブローカーの数に関連しているため、同じ数のブローカーを持つ並列タスクに変換できます。そうすることでロジックが明確になり、効率的な実行が保証されます。

2. 接続の多重化。従来のネットワーク通信では、プログラムの初期化時にネットワーク スループットを向上させるために、大規模な接続プールが作成されることがよくあります。この方法の欠点は、システム リソースを大量に消費し、プログラムの堅牢性が低下することです。現在、Kafka クライアントはワークフロー フレームワークに基づいており、接続管理に対して多くの最適化が行われています。高効率、高スループットを確保しながら、合理的な範囲内でリソースを制御できます。

3. メモリ管理。ユーザーの利便性のため、すべての内部オブジェクトはカウントに基づいて実装されています。ファクトリ メソッドを通じてタスクを作成した後、処理ロジックをコールバック関数に実装できます。メモリの割り当てと解放はフレームワークによって自動的に完了します。プロセス全体を通じてタスクレベルのメモリを手動で操作する必要がないため、非常に便利です。同時に、そのロジックは完全かつ自己一貫性があり、高い効率性と信頼性を保証します。

3.プラグインの公開、ワークフローとの完全な統合

ワークフローの洗練された階層構造に基づいて、Kafka プロトコルはプラグイン形式でリリースされます。つまり、Kafka をインストールする必要のないユーザーは、Kafka 関連のコードをコンパイルする必要はありません。これは、ワークフロー自体のアーキテクチャの分離とモジュールの対称性が優れていることを示しています。

Kafka プロトコルでは複数のインタラクションが必要であり、ワークフロー複合タスクは内部インタラクションの非表示を自然にサポートするため、全体的な使用は非常にシンプルで、ユーザーにとって透過的です。 2 レベル ファクトリー モデルに基づいて、大量のグローバル情報もメモリ内で統一的に管理できます。これもエンジニアリング統合のハイライトです。

Kafka プロトコルとワークフローの統合は非常に完璧であり、Sogou で広く使用されており、産業グレードの検索システムの大規模なリクエストの実際のテストに耐えることができると言えます。必要とする業界の開発者の皆様は、ぜひ積極的にお試しいただき、弊社の熱心な開発チームと技術交流を行っていただければ幸いです。