Alibaba Cloud クラウド監視リアルタイムデータを自社構築の Prometheus に接続

すでにクラウド内に完全なエンタープライズ IT 管理システムを導入しているお客様もおり、統合監視のためにクラウド データをリアルタイムでオフラインにエクスポートしたいと考えています。このシナリオに基づいて、CloudMonitor はデータを監視するためのリアルタイム エクスポート ツールをリリースしました。このツールは、顧客の敷地内でオフラインで実行し、構成に応じて CloudMonitor から監視データをリアルタイムで取得し、ローカルの Prometheus に継続的に書き込むことができます。

ソリューションの利点

• Cloud Monitoring ですべてのクラウド サービスをサポートします。
• エンタープライズ クラウド監視に基づくリアルタイム データ エクスポート機能は、より高速かつリアルタイムです。監視データはストリーミング方式でエクスポートされるため、異常なデータ損失、API 呼び出し制限、フロー制御の問題を心配する必要はありません。
• ローカライズされた展開とシンプルな操作。
• エクスポートされた監視データには豊富なディメンションがあり、インスタンスの IP アドレス、インスタンス名、リージョン、リソース グループ、タグなどの情報が自動的に入力されるため、PromQL を通じてデータの多次元統計分析を簡単に実行できます。

背景情報

Enterprise Cloud Monitoring の有効化には料金はかかりません。その後の請求は実際の使用量に基づいて行われます。リアルタイム データ エクスポートの料金の詳細については、「リアルタイム データ エクスポート」を参照してください。

前提条件

Enterprise Cloud Monitoring が有効になっていることを確認してください。詳細な操作については、「Enterprise Cloud Monitoring のアクティブ化」を参照してください。 Prometheus はクラウド監視ネットワークと通信する必要があります。

1. サービス減圧

[root@prometheus opt]# unzip exporter_local-2023_04_23_18-24-53.zip [root@prometheus opt]# mv exporter_local-2023_04_23_18-24-53 alyun_exporter

2. 設定ファイルを変更する

[root@prometheus opt]# vim /opt/alyun_exporter/configs/product.yml # 服务端接入点，配置文件位置、日志等级等serverconf: service_endpoint: cms-export.cn-shanghai.aliyuncs.com # export服务地址（公网地址） page_size: 300 # 查询数据的分页大小log_dest: 1 # 1 stdout; 2 file log_dir: # 日志文件位置log_level: Warning # 日志等级http_proxy: # http代理https_proxy: # https代理no_proxy: # noproxy代理no_meta: true # 是否补充meta信息的功能no_savepoint: true # 是否记录进度no_tag_prefix: true # 是否为标签增加'tag_'前缀# 远端Prometheus 的写入地址和鉴权remote_prom: endpoint: http://172.30.71.5:9090/api/v1/write # Prometheus服务地址（本地自建,需开启远程写入） basic_auth: username: name # basic auth 的username password: bb # basic auth 的password # 用户账号的信息，tag，desc等信息的查询credential: user_id: 14554***** # 用户的userid access_key: L*****o9 # 用户的ak access_secret: O*****S # 用户的sk # 配置用户想要写入数据的label，如果不需要可以直接删除这一项配置#datatag: # - {key: customKey1, val: val1} # - {key: customKey2, val: val2} # 配置需要导出的产品类型和指标products: - namespace: acs_rds_dashboard ##名字是固定死的metric_info: - metric_list: [ConnectionUsage,CpuUsage,DataDelay,DiskUsage,IOPSUsage,MemoryUsage,MySQL_ActiveSessions,MySQL_ComDelete,MySQL_ComInsert,MySQL_ComInsertSelect,MySQL_ComReplace,MySQL_ComReplaceSelect,MySQL_ComSelect,MySQL_ComUpdate,MySQL_DataDiskSize,MySQL_IbufDirtyRatio,MySQL_IbufReadHit,MySQL_IbufRequestR,MySQL_IbufRequestW,MySQL_IbufUseRatio,MySQL_InnoDBDataRead,MySQL_InnoDBDataWritten,MySQL_InnoDBLogFsync,MySQL_InnoDBLogWriteRequests,MySQL_InnoDBLogWrites,MySQL_InnoDBRowDelete,MySQL_InnoDBRowInsert,MySQL_InnoDBRowRead,MySQL_InnoDBRowUpdate,MySQL_InstanceDiskSize,MySQL_LogDiskSize,MySQL_NetworkInNew,MySQL_NetworkOutNew,MySQL_OtherDiskSize,MySQL_ProxyCpuUsage,MySQL_QPS,MySQL_SlaveIORunning,MySQL_SlaveSQLRunning,MySQL_SlowQueries,MySQL_TPS,MySQL_TempDiskTableCreates,MySQL_ThreadsConnected,MySQL_TmpDiskSize,MySQL_ibufPoolReads] period: 60 - namespace: acs_mongodb ##名字是固定死的metric_info: - metric_list: [ShardingCPUUtilization,ShardingConnectionAmount,ShardingConnectionUtilization,ShardingDataDiskAmount,ShardingDataDiskAmountOriginal,ShardingDiskUtilization,ShardingIOPSUtilization,ShardingInstanceDiskAmount,ShardingIntranetIn,ShardingIntranetOut,ShardingLogDiskAmount,ShardingMemoryUtilization,ShardingNumberRequests,ShardingOpCommand,ShardingOpDelete,ShardingOpGetmore,ShardingOpInsert,ShardingOpQuery,ShardingOpUpdate,ShardingQPS,ShardingReplicationLag] period: 60

3. 開始

[root@prometheus-20230428 alyun_exporter]# ./exporter_local &

4. プロメテウスでインジケーターを取得する

AliyunMongodb_ShardingConnectionAmount AliyunRds_MySQL_IbufDirtyRatio

インジケーターのプレフィックスに注意してください:

エンタープライズ クラウド監視サービスは、もともと Aliyun+{製品名} + "_" というプレフィックスを使用して設計されていました。例:

• ecsインジケーターにはAliyunEcs_というプレフィックスが付きます。
• slbインジケータにはAliyunSlb_というプレフィックスが付きます。
• eipインデックスにはAliyunVpceip_というプレフィックスが付きます。
• fcのインジケータにはAliyunFc_がプレフィックスとして付きます

#エクスポートする必要がある製品タイプと指標を構成する

5.Prometheusページ表示

このコンポーネントはクラウド監視データを Prometheus に書き込むため、Prometheus では構成は必要ありません。リモート書き込みを有効にするだけです。 Prometheus は監視対象のインスタンスをアクティブに表示しませんが、インスタンスをパッシブにクエリすることはできます。

次のように：

6. Grafanaページ表示

https://help.aliyun.com/zh/cms/use-cases/export-monitoring-data-to-a-self-managed-prometheus-instance?spm=a2c4g.11186623.0.0.44203f3eAvA1tC

コンポーネントのインストール パッケージと Grafana Alibaba Cloud テンプレートが必要な場合は、私の公式アカウントをフォローして、プライベートにチャットしてください。

著者について

51CTO コミュニティ エディターの Wu Shouyang は、8 年間の DBA 業務経験を持ち、MySQL、Redis、MongoDB などのオープン ソース データベースの管理に精通しています。パフォーマンスの最適化、バックアップとリカバリ、高可用性アーキテクチャ設計に精通しています。システムの安定性と信頼性を確保するためのトラブルシューティングと自動化された操作および保守に優れています。優れたチームワークとコミュニケーションスキルを持ち、効率的で信頼性の高いデータベース ソリューションを企業に提供することに尽力します。