CentOS は、kafka にログを収集するために filebeat をインストールします

導入

Filebeat は、logstash を置き換えてログを収集できる、導入が簡単なログ データ コレクターです。

通常、ログのボリュームは大きいため、まず Kafka に収集されてから消費されます。

インストール

yum -y インストール https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/yum/7.14.0/filebeat-7.14.0-x86_64.rpm

ファイルビートを設定する

vim /etc/filebeat/filebeat.yml

ファイルビート入力:
 - タイプ: ログ
  パス:
    - /var/log/*.log
    - /var/log/メッセージ
  フィールド:
    タイプ: "システムログ"  
    log_topic: "システムログ"  
  ルート下のフィールド: true  
  除外行: [ "^DBG" ]
  除外ファイル: [ ".gz$" ]
名前: 192.168.122.100
出力.kafka:
  有効: true  
  ホスト: [ "192.168.122.200:9092" ]
  トピック: "%{[log_topic]}"  
  パーティション.ラウンドロビン:
    到達可能のみ: true  
  労働者: 2
  必要なACK: 1
  圧縮: gzip
  最大メッセージバイト数: 10000000

サービス管理

systemctl でファイルビートを有効にする
systemctl スタートファイルビート

要約する

Filebeat は Go で記述されているため、デプロイが容易で、依存関係が少なく、バッチでのデプロイも簡単です。