うちの会社には事業の一つとして、レンタルサーバー事業のインフラ周りの運用や構築があります。 運用は私が率先として実施しているので、よくこんなお問い合わせを受けることがあります。 – ユーザーさんからある宛先にメールしたけど、届いていないようだから調査してほしい。 – メールがエラーで返ってきてしまった。 – 迷惑メールが大量に送信されている可能性がある。 – メーリングリスト宛に送ったら、一部の宛先にとどかない。 などなど、今回はメールだけ書きましたが所謂レンタルサーバーにありがちなお問い合わせが多数上がってきます。 調査するときはとってもアナログでそれぞれのサーバーにログインして、シェルのワンライナーをコピペしまくるわけです。 とっても非効率なので、なんとかならないものかと調べてたところfluentdにたどり着きました。 そこで、まずはログを集約して、perlなりシェルスクリプトで調査を楽にすることを目的として検証することに。 これがとても便利で、かなる簡単に導入することができるのがわかり、本番サーバーの幾つか限定して導入してみました。 容量に余裕ありまくるバックアップサーバーを受け口として、ログを転送させてみてます。 fluentdはリアルタイム性が低い代わりに、サーバー負荷を減らし、ある程度バッファにためてログを転送してくれます。 これはインフラエンジニア的にはすっごい助かりますね。iowaitで死んだとかたまにあるので、ログ集約で負荷とかかけたくないですし。 実際に動作みてもイイ感じです。 バッファためるので本当に取れてるか不安になりますが、ちゃんと取れてます。 はい、その通り。 できたらmongodbにつっこんだり、elastic searchに渡してkibanaで表示させたりしたいですが、まずは集約して使ってみることですね。 細かい話しはいずれ。 以上です。

fluentdを使いはじめたのですが、apacheログを別のサーバーへ転送させてみてる場合、apacheログがローテーションされてもちゃんとローテーションされるのか検証してみました。（とっても初心者なのでこんな検証からやりはじめてます。。。） 環境 Vagrantで稼働しているCentOS6のサーバー2台 送信元が192.168.33.10、受信側が192.168.33.11 送信元のtd-agent.conf type tail path /var/log/httpd/*access_log pos\_file /var/log/td-agent/access\_log.pos tag httpd.access format apache2 type forward host 192.168.33.11 受信側のtd-agent.conf type forward type copy type file path /var/log/td-agent/web01/httpd_access.log 検証 送信元のapacheログを強制的にローテーション。 # logrotate -f /etc/logrotate.d/httpd するとtd-agent.logには下記のようなinfoログが吐かれます。 2015-11-07 18:47:42 +0900 [info]: detected rotation of /var/log/httpd/stage.example.com-access_log; waiting 5 seconds 2015-11-07 18:47:42 +0900 [info]: ected rotation of /var/log/httpd/www.example.com-access_log; waiting 5 seconds 2015-11-07 18:47:43 +0900 [info]: following tail of /var/log/httpd/www.