こんにちは、いなむーです。

業後に、DMM主催のインフラエンジニア交流会に参加してきました。
その時にメモをしてきたので残しておきます。

概要

  • 場所 DMM本社(恵比寿ガーデンプレイス)
  • 時間 19:30 – 21:00
  • 人数 50人くらい??

DMM.com Labo

  • インフラ統括本部はLabo
  • DMMアダルト/一般の比率 5:5
  • インフラ統括本部に50人くらいいる

事業

  • 動画配信
  • オンラインゲーム
  • FX/証券
  • DMM.make
  • 電子書籍
  • etc…

テクノロジー

  • エンジニア 500人!!

2016インフラ取り組み

  • 海外進出
  • アプリ系エンジニアの募集が多そう

DMMにおける動画ダウンロードシステムの変遷

配信インフラ構築運用部 渡辺さん

  • 動画、電子書籍、ライブ配信を担当
  • 今日は「ダウンロード」に特化

初期の配信サーバー

  • スケールアウト型NASからはじまった(WindowsサーバーでCIFSマウント)
  • 最終的に100ノードくらいだった
  • コストが高かった。。
  • リプレイスした

中期のサーバー

  • Windowsサーバー 2TBSATAx10Bay Hostsparre 2Bay
  • キャッシュサーバーを設置
  • 低いディスク性能をカバー
  • CDN道入
  • 1Gbpsで構成されるNWの限界
  • 200台近くのオリジンサーバー
  • RAIDの不具合で定期的に再起動(128日ごと)

現在の配信サーバー

  • 2015/7/15 WMDRM終了
  • Win2003 サポート終了
  • 4PBくらいあった、、
  • マイグレーションできるの?
  • オリジンサーバー→Glusterfs
  • キャッシュサーバーでSSD道入
  • Linuxサーバーになった!!!!
  • 6TB SATAx12Bay
  • GlusterfsはReplicaでSPOF対策 &10Gbps
  • 配信サーバーはPCIeSSD
  • マルチCDN
  • 事前にキャッシュさせることで、リリース時のアクセス負荷対策した
  • 平均16Gbps out, In 5.8Gbps

  • 平日10:00 10Gbpsが頭打ちになったリリースがあった!

  • 新作リリース 32Gbpsまで10分で到達


今年のInteropで面白かったもの(小川さん)

  • geekなページの人

Interop

  • Interopは世界中でやってる
  • Interop Tokyoは1994年開始
  • ShowNet(5年先くらいの取り組み)
  • IPv4 /8 を使い切るイベントだった。※今は返却してる
  • 7年前に100Gbpsインターフェースのネットワーク構築
  • ボランティアメンバーがNW構築

  • BGP Flowspec

  • EVPN(Ethernet VPN)

  • セキュリティオーケストレーション

  • SDN/NFV

  • NetFPGA


読書会のススメ

  • 課題図書 Team Geek
  • 事前準備 課題図書を経費で買った
  • 自己紹介したらアイスブレイクになった
  • レジュメをもとに発表
  • 情報共有 confluence
  • 月一回

個人的には、ストレージというかNASが全てWindowsServerだったことに驚きでした。
また、それをLinux、Glusterfsに移行したというのも凄い話だなと思いました。
あと、リリース時に10Gbpsイーサネットが詰まったという話は笑いましたねw さすがだな、と。
聞いていた感じだと、サーバー屋さんというよりはネットワーク屋さんの色が強く、やはり大規模配信にめっぽう強い印象がありました。

そして、その後の交流会ではDMMのDC事業部の方や、サイバーエージェントの方、Gloopsの方などそうそうたるエンジニアの皆さんと話ができたので良かったです。
DMMの方のケーブルデザインの話は面白かったですね笑

もっと色々な方とお話ができたら良かったです。
また、参加したいですね。

以上。

カテゴリー: Tech