うちの会社には事業の一つとして、レンタルサーバー事業のインフラ周りの運用や構築があります。 運用は私が率先として実施しているので、よくこんなお問い合わせを受けることがあります。 – ユーザーさんからある宛先にメールしたけど、届いていないようだから調査してほしい。 – メールがエラーで返ってきてしまった。 – 迷惑メールが大量に送信されている可能性がある。 – メーリングリスト宛に送ったら、一部の宛先にとどかない。 などなど、今回はメールだけ書きましたが所謂レンタルサーバーにありがちなお問い合わせが多数上がってきます。 調査するときはとってもアナログでそれぞれのサーバーにログインして、シェルのワンライナーをコピペしまくるわけです。 とっても非効率なので、なんとかならないものかと調べてたところfluentdにたどり着きました。 そこで、まずはログを集約して、perlなりシェルスクリプトで調査を楽にすることを目的として検証することに。 これがとても便利で、かなる簡単に導入することができるのがわかり、本番サーバーの幾つか限定して導入してみました。 容量に余裕ありまくるバックアップサーバーを受け口として、ログを転送させてみてます。 fluentdはリアルタイム性が低い代わりに、サーバー負荷を減らし、ある程度バッファにためてログを転送してくれます。 これはインフラエンジニア的にはすっごい助かりますね。iowaitで死んだとかたまにあるので、ログ集約で負荷とかかけたくないですし。 実際に動作みてもイイ感じです。 バッファためるので本当に取れてるか不安になりますが、ちゃんと取れてます。 はい、その通り。 できたらmongodbにつっこんだり、elastic searchに渡してkibanaで表示させたりしたいですが、まずは集約して使ってみることですね。 細かい話しはいずれ。 以上です。