UCloud Elasticsearch Service UES アプリケーションシナリオ分析

システム内のビジネス データの量が数百億に達すると、通常、次のような問題が発生します。

1. データはどのように、どこに保存されますか?

2. データのセキュリティを確保する方法と安全なストレージ戦略は何ですか?

3. データを取得する方法と迅速な応答を実現する方法

4. データのリアルタイム統計分析を行う方法

オープンソースの全文検索エンジン サービスとして、Elasticsearch はこれらの問題に対するより効率的なソリューションとなる可能性があります。では、Elasticsearch はどこで使用でき、どのような役割を果たすことができるのでしょうか? Elasticsearch の特徴と利点は何ですか?一般的に、Es は検索を伴うあらゆるビジネス シナリオで役立ちます。以下では、Es の一般的なビジネス シナリオをいくつか紹介します。

[[230457]]

• ログ分析

問題の概要: 複雑なコンピュータ システムでは、システムが数百台のサーバーで構成されている場合があります。多くのシステムは同じ地域のコンピュータ ルームに配置されておらず、国境を越えた配置になっているものもあります。同じリージョン内のシステムであっても、オペレーティング システム、アプリケーション サービス、ビジネス ロジックなどのソースが異なる場合があります。常に新しいさまざまなログ データが生成されます。

さまざまなサーバーに分散されている膨大な量のログ データに直面して、重要な情報を確認する必要がある場合、従来の方法で各マシンにログインして表示するだけでは明らかに不十分です。したがって、さまざまなソースからのログ データを 1 か所に統合​​して分析するための集中ログ管理システムを確立することが特に重要です。

完全な集中ログ管理システムには、主に次の機能が含まれます。

• 収集 - 異なる地域の複数のソースからログデータを収集する機能
• 伝送 - ログデータを中央システムに安定的に伝送する機能
• ストレージ - ログデータを安全に保存する機能
• 分析 - 効率的なログデータ分析を提供し、UI表示をサポートします。
• アラーム - 監視メカニズムと異常情報アラームを提供できます

解決策: ELK

ELK は、ElasticSearch + Logstash + Kibana の 3 つのオープンソース ソフトウェアで構成される集中型ログ管理ソリューションです。 UES は ElasticSearch と Kibana に基づいて開発されています。 UES サービスを使用する ELK プロトコル スタックを次の図に示します。

Logstash Agent は、さまざまなソースのサーバーによって生成されたログを収集して Elasticsearch クラスターに保存します。一方、Kibana は ES クラスターからデータを照会してグラフを生成し、Nginx を構成して簡単なユーザー認証を実装し、ブラウザーに返します。

Elasticsearch は、全文検索、構造化検索、分析に使用できるリアルタイム分散検索および分析エンジンです。これは、全文検索エンジン Apache Lucene をベースにした Java で書かれた検索エンジンです。

Elasticsearch の主な機能:

• 分散型リアルタイム文書保存システム
• 分散型リアルタイム分析検索エンジン
• 複数のデータソース、ドキュメント指向、すべてのオブジェクトがドキュメント
• 高可用性、拡張性、クラスター（クラスター）、シャード、レプリケーション（シャードとレプリカ）をサポート
• プラグインメカニズムのサポート
• RESTful スタイルのインターフェース、Json をサポート

Logstash は、リアルタイム パイプライン機能を備えたデータ収集エンジンです。これは、後で使用するためにログを収集、フィルタリング、保存できる完全にオープンソースのツールです。

Logstash の主な機能:

• ほぼすべてのデータにアクセス
• さまざまな外部アプリケーションと組み合わせることができます
• 弾性拡張をサポート

Logstash は 3 つの主要部分で構成されています。

• 発送者 - ログデータの送信
• ブローカー - デフォルトでRedisが組み込まれており、データを収集します
• インデクサー - データ書き込み

Kibana は、JavaScript で記述された Apache オープンソース プロトコルに基づく Web プラットフォームであり、Elasticsearch の分析と視覚化を提供します。 Elasticsearch インデックス内のデータを検索および操作し、さまざまなディメンションのテーブルとグラフを生成できます。

ログ分析管理として UES を使用するケース分析を図に示します。

この事例から、ログ管理に ELK テクノロジーを使用する場合と従来の方法を使用する場合の比較がわかります。結果は明らかです。 ELK テクノロジーを使用すると、最短時間で問題を解決でき、ログ管理がより便利かつ効率的になります。

• 全文検索

現在、インターネット上の情報と企業内で日々生成される情報はともに飛躍的に増加しています。企業にとって、日々生成される大量のデータ、特に非構造化データの中から、企業内で有用な情報をいかに迅速に見つけるかが、ほぼすべての企業の焦点となっています。

Elasticsearch で全文検索を実装するプロセスでは、まず単語セグメンターを決定する必要があります。 Es にはデフォルトで多くの単語セグメンターがあります。一般的に、中国語の単語セグメンテーションでは、サードパーティの ik 単語セグメンテーション、mmsegf 単語セグメンテーション、および paoding 単語セグメンテーションが使用されます。これらはもともと lucene 上に構築され、後に Es に移植されました。現在、ik 単語セグメンテーションは Es の最新バージョンで使用されています。 UES には ik 単語セグメンテーション機能が組み込まれており、カスタム単語セグメンテーション シソーラスをサポートしています。

ユーザーが大量のテキスト データを生成すると、Es はそれをセグメント化し、これらの単語をインデックスに保存します。検索するにはキーワードを入力するだけで、インデックスが対応する同一のクエリワードを見つけるように機能し、全文検索を実現します。全文検索のアーキテクチャ設計は次のとおりです。

このうち、Elasticsearch サーバーはデータ インデックスの保存を実行し、サーバーは検索インターフェイスを提供し、ブラウザーはデータのレンダリングとインターフェイスの表示を担当します。

• 従来のデータベースの置き換え

Elasticsearch テクノロジーの発展により、Elasticsearch は純粋な検索エンジンとしての本来の役割を超え、データ集約分析や視覚化などの新しい機能が追加されました。キーワードで検索する必要があるドキュメントが大量にある場合は、間違いなく Es が最適な選択です。もちろん、ドキュメント形式が Json の場合、Es を NoSQL データベースとして使用して、データの多次元分析を実行することもできます。

Elasticsearch は、永続的なストレージや統計などの複数の機能をサポートする最新の検索エンジンです。この機能により、一部のシナリオでは Es をメインのバックエンド サービス ストレージとして使用できることも決定されます。 Es が従来の DB に取って代わる前提は、業務のトランザクションの性質に関してビジネスに特別な要件がないことです。 Es の権限管理は特に完璧ではないため、従来のデータベースを置き換えることができるのは、内部ストレージとして Es を使用することだけです。

もう 1 つのシナリオは、長期間稼働している複雑なシステムに検索サービスを追加するというものです。非常にリスクの高いアプローチは、Es の使用をサポートするためにシステムをリファクタリングすることですが、比較的安全なアプローチは、既存のシステムに新しいコンポーネントとして Es を追加することです。

図に示すように、MySQL データベースと Es クラスター ストレージの場合、logstash-input-jdbc プラグインなど、2 つのストレージをリアルタイムで同期する方法を見つける必要があります。

実際、Elasticsearch の適用シナリオはこれらよりもはるかに多岐にわたります。継続的な実験と新しいアプリケーション シナリオへの露出によってのみ、より優れたソリューションに関する経験を積む機会が得られます。 UES は、次のような幅広い顧客ビジネス シナリオに適用できるように設計されたプラットフォーム製品としてリリースされました。

データ分析シナリオ: ウェブサイト、モバイル デバイス、サーバーなどの非構造化ログと半構造化ログを分析し、エラーのトラブルシューティング、アプリケーションの監視、不正行為の検出、ゲーム、広告などのために従来のデータベース内のデータを分析します。

全文検索シナリオ: 電子商取引、O2O、企業、その他の業界向けの検索およびナビゲーション サービス。

リアルタイム統計分析シナリオ: アプリケーション、ユーザークリックなどのリアルタイム統計分析。

分散ドキュメント処理シナリオ: Json に適しており、地理的位置クエリをサポートします。

UES は迅速なクラスター展開を実現し、人的運用および保守コストを大幅に削減します。多様なノードタイプ、柔軟な課金方法を提供し、動的なビジネス拡張をサポートします。さらに、クラスターには、ユーザーのクラスター使用機能とデータ セキュリティを保護するための、豊富なプラグインと監視インジケーターがプリインストールされています。