【障害内容】 https://inamuu.com/, https://wiki.inamuu.com/ にアクセスすると、504 Gateway Timeoutが表示されて、サイトへアクセスできない。 【障害日時】 2018.10.23.火 20:30 ~ 22:13 【復旧方法】　 電源投入により、通常起動を確認。 【障害原因】 子供がサーバーの電源を誤って押したため。 【時系列】 20:30 WordPressのプラグインであるJetpackによるサイトの監視で、サイトへアクセスできないメールを受け取る。ただし、仕事により気が付かず。 21:00 メールにてサイトへアクセスできないことが判明。対象サイトへアクセスするも、2サイトとも504 Gateway Timeoutであることを確認。なお、サイトの前段にはリバースプロキシとしてnginxのコンテナを稼働させているが、エラー画面がnginxのエラーではなかったので、Dockerプロセス自体が停止していると推測。 21:30 奥さんへLINEにて、本日停電がなかったか確認するも、特に無いとの報告をうける。 22:10 帰宅後、サーバーの電源LEDが点灯していないことを確認。電源ボタンを押下し、起動を確認。 22:13 サイトが閲覧できること、およびJetpackモニターより復旧のメールを受信。 22:15 サーバーへSSHできることを確認し、調査を開始したところ、子供より誤ってサーバーの電源を押下したことを聞き、原因と判断。messagesやsar,dfでも特に問題が見受けられないことから、調査を終了した。 【実施済みの対策】 子供への注意喚起と報告があったことについて褒めた。 奥さんへのサーバーの電源の位置、およびLEDの点灯がサーバー起動状態であることを共有。 【今後の対策】 サーバーの電源ボタンカバーを検討。 サーバーの配置変更を検討。 RaspberryPiによるk8s化を検討。 Jetpack通知をSlack化、または監視をMackerel移行。 なんかそれっぽくポストモーテムを雑に書いた。というか単なる障害報告だな、これは笑 息子から緑に光るから気になって電源を押してしまったという報告を受けたのは流石に吹いてしまった笑 今の家は宅内配線がなく、リビングのテレビ台の脇に光の配線がきているので、必然的に一番家族がいる場所にサーバーやらネットワーク機器をおいている。 今回はそのせいで発生してしまっと言っても過言ではない。 しかし、息子がちゃんと報告してくれたのでモヤモヤせずに済んだし、注意喚起はしたが、報告してくれたことは褒めた。 間違ったことをしてしまった場合にはちゃんと謝らなければいけないということをわかってくれているので、それはとても安心した。※ちなみに息子は3歳。 自宅にサーバーなんて置くなよとも思うかもしれないが、非エンジニアだった頃、インフラエンジニアになりたくてノートPCで自学習のために自宅サーバーを運用しはじめたのもあり、筐体の世代は交代はしつつも思いが深いのもあってまぁユルリと運用できれば良いかなと思っている。（ノートPCは連続稼働に向かないことを知り、タワー型へ移行した） Twitterだったかどこかで見たけど、自宅サーバーは盆栽だなんて言うし、多分そうなんだと思う。盆栽知らんけど。 今の筐体は小型で、1コアだけどメモリ8GBで十分だし、何も問題が無い。筐体のサイトから調べて、月々の電気代も900円くらいというのがわかっているので、同じスペックのVPSを同じ値段で探すのは難しいと思っている。 RaspberryPi複数台でk8s構築して運用しても面白いかなと思いつつ、またいずれかな、と。 いつ筐体が死んでも大丈夫なようにバックアップも日次7世代取得しているので、筐体死んだらどこかに移す予定。 それまではなんとか頑張りたい。 新人エンジニアのためのインフラ入門 (Think IT Books) SRE サイトリライアビリティエンジニアリング ―Googleの信頼性を支えるエンジニアリングチーム <p style='padding: 5px;'>

自宅サーバーを稼働させていると、音って結構気になりますよね？ 私はFujitsuのPRIMERGY MX130 S2を自宅サーバーとして稼働させているのですが（このサイトも自宅サーバーです）、静音化してみようと調べてみたところ、こんなブログに行き当たりました。 [blogcard url=”http://running-dog.net/2012/07/post_332.html”][/blogcard] 同じMX130 S2を使用されていて、フィンに直接アルミの洗濯バサミを挟むことで静音化をはかれるとのこと。 物は試しで、実際に買ってみました。 ダイソーに行ってみたところ、まさにドンピシャの商品がありましたので１セットのみ購入。 実際にサーバーのフィンに取り付けしてみました。 こんな感じで羽が生えたように挟んでみました。  で、効果のほどなのですが、残念ながら今は冬でアクセスもそんなにないので、そもそもファンの回転数は低く、わかりませんでした笑 きっと夏には効果を発揮してくれるだろうことを祈ります。  以上、自宅サーバーの静音化パート１でした。 次回はパート２でNASの静音化についてです。

自宅にサーバーを立てている場合に、ふとしたときに自宅サーバーへアクセスできず困ることがあります。 せめてアクセスできないのが事前にわかればと思い、簡易的な監視スクリプトを作ってみました。 要件としては、 ping監視 複数サーバーを監視できる 実行の都度アラートを飛ばすのではなく、すでにアラートが飛んでいれば新たに発砲しない。 こういった簡易的な監視スクリプトで結構重要なのが3つ目だったりします。 都度都度メールが送られてくるのはウザイので、監視間隔を延ばすという対応はよくあるかと思いますが、下記スクリプトのように、一度メールを飛ばしたらtmpディレクトリへtmpファイルを作ることで、次回チェック時はそのtmpファイルがある場合はスルーするようにしてあります。 その後で、復活時にtmpファイルを削除することで、再度障害が発生した場合に対応できるようにしております。 #!/bin/bash NUM01=3 IPLIST="ここに対象サーバーのIPアドレスをスペース区切りで記述する"; MAILTO="メールの通知先アドレスを記述する"; ### PING check for IPL in ${IPLIST} do ping ${IPL} -c ${NUM01} if [ $? -eq 1 ];then if [ -e /tmp/pingfile${IPL}.tmp ];then echo "TMP file already exsists"; else touch /tmp/pingfile${IPL}.tmp cat /root/maildata.txt | mail -s"[ALERT]Network is unreachnable to ${IPLIST}" ${MAILTO} fi else rm -f /tmp/pingfile${IPL}.tmp fi done exit 0 /root直下にmaildata.txtというファイル名で、メール本文へ記述するアラートの内容を作っておけばあとは */30 8-23 * * * /root/kanshi.