こんにちは!
fluentdを使って、ApacheのアクセスログをS3のバケットにためる手順です。
fluentdの設定が難しくて、なかなか苦労しました。
次回苦労しないように、ここに書き留めておきます。
TreasureDataリポジトリを追加します。
vi /etc/yum.repos.d/treasuredata.repo で次を記述します
[treasuredata]
name=TreasureData
baseurl=http://packages.treasure-data.com/redhat/$basearch
enabled=1
gpgcheck=0
fluentdをインストールします。
yum install -y td-agent
fluentdの実行ユーザでaccess_logを読めるように権限を設定します。
chgrp td-agent /var/log/httpd/
chmod g+rx /var/log/httpd/
設定ファイルを作成します※赤字の部分は修正してください。
vi /etc/td-agent/td-agent.conf
<source>
type tail
format apache2
path /var/log/httpd/access_log
pos_file /var/log/td-agent/httpd.access_log.pos
tag s3.apache.access
</source>
<match s3.*.*>
type copy
<store>
type s3
aws_key_id AWS-ACCESS-KEY
aws_sec_key AWS-SECRET-KEY
s3_bucket apache-accesslog
s3_endpoint s3-ap-southeast-1.amazonaws.com
path access_log_
buffer_path /var/log/td-agent/s3
time_slice_format %Y%m%d_%H%M
time_slice_wait 1m
utc
buffer_chunk_limit 256m
</store>
</match>
起動します。
/etc/init.d/td-agent start
Apacheにアクセスして、ログがS3のバケット内に作成されればOKです!
投稿者プロフィール
最新の投稿
- AWS2021年12月2日AWS Graviton3 プロセッサを搭載した EC2 C7g インスタンスが発表されました。
- セキュリティ2021年7月14日ゼロデイ攻撃とは
- セキュリティ2021年7月14日マルウェアとは
- WAF2021年7月13日クロスサイトスクリプティングとは?