こんにちは、いなむーです。
業後に、DMM主催のインフラエンジニア交流会に参加してきました。
その時にメモをしてきたので残しておきます。
概要#
- 場所 DMM本社（恵比寿ガーデンプレイス）
- 時間 19:30 – 21:00
- 人数 50人くらい??
DMM.com Labo#
- インフラ統括本部はLabo
- DMMアダルト/一般の比率 5:5
- インフラ統括本部に50人くらいいる
事業#
- 動画配信
- オンラインゲーム
- FX/証券
- DMM.make
- 電子書籍
- etc…
テクノロジー#
- エンジニア 500人!!
2016インフラ取り組み#
- 海外進出
- アプリ系エンジニアの募集が多そう
DMMにおける動画ダウンロードシステムの変遷#
配信インフラ構築運用部 渡辺さん#
- 動画、電子書籍、ライブ配信を担当
- 今日は「ダウンロード」に特化
初期の配信サーバー#
- スケールアウト型NASからはじまった（WindowsサーバーでCIFSマウント）
- 最終的に100ノードくらいだった
- コストが高かった。。
- リプレイスした
中期のサーバー#
- Windowsサーバー 2TBSATAx10Bay Hostsparre 2Bay
- キャッシュサーバーを設置
- 低いディスク性能をカバー
- CDN道入
- 1Gbpsで構成されるNWの限界
- 200台近くのオリジンサーバー
- RAIDの不具合で定期的に再起動（128日ごと）
現在の配信サーバー#
2015/7/15 WMDRM終了
Win2003 サポート終了
4PBくらいあった、、
マイグレーションできるの？
オリジンサーバー→Glusterfs
キャッシュサーバーでSSD道入
Linuxサーバーになった！！！！
6TB SATAx12Bay
GlusterfsはReplicaでSPOF対策 ＆10Gbps
配信サーバーはPCIeSSD
マルチCDN
事前にキャッシュさせることで、リリース時のアクセス負荷対策した
平均16Gbps out, In 5.8Gbps
平日10:00 10Gbpsが頭打ちになったリリースがあった!
新作リリース 32Gbpsまで10分で到達
今年のInteropで面白かったもの（小川さん）#
- geekなページの人
Interop#
Interopは世界中でやってる
Interop Tokyoは1994年開始
ShowNet（5年先くらいの取り組み）
IPv4 /8 を使い切るイベントだった。※今は返却してる
7年前に100Gbpsインターフェースのネットワーク構築
ボランティアメンバーがNW構築
BGP Flowspec
EVPN(Ethernet VPN)
セキュリティオーケストレーション
SDN/NFV
NetFPGA
読書会のススメ#
- 課題図書 Team Geek
- 事前準備 課題図書を経費で買った
- 自己紹介したらアイスブレイクになった
- レジュメをもとに発表
- 情報共有 confluence
- 月一回
個人的には、ストレージというかNASが全てWindowsServerだったことに驚きでした。
また、それをLinux、Glusterfsに移行したというのも凄い話だなと思いました。
あと、リリース時に10Gbpsイーサネットが詰まったという話は笑いましたねｗ さすがだな、と。
聞いていた感じだと、サーバー屋さんというよりはネットワーク屋さんの色が強く、やはり大規模配信にめっぽう強い印象がありました。
そして、その後の交流会ではDMMのDC事業部の方や、サイバーエージェントの方、Gloopsの方などそうそうたるエンジニアの皆さんと話ができたので良かったです。
DMMの方のケーブルデザインの話は面白かったですね笑
もっと色々な方とお話ができたら良かったです。
また、参加したいですね。
以上。