国内売上高No.1のインターネット広告事業を支える ファーウェイの高密度サーバーとデータセンター・スイッチ

『Ameba（アメーバ）』をはじめ、幅広いインターネット・サービスを提供する株式会 社サイバーエージェント。その売上の50％以上を占めるインターネット広告事業 は、国内シェア No.1の規模を誇ります。同事業を支えるアドテクノロジーを部門横 断で開発するアドテク本部では、ファーウェイの『FusionServer X6800』シリーズ 高密度サーバーと『CloudEngine 7800』シリーズ 40GEスイッチを導入してインフ ラを構築しています。インフラ構築の責任者である技術戦略室の長谷川誠氏と山本 孔明氏に、導入の経緯とメリットをうかがいました。

シンプルな構成で多種多様な マルチテナントを収容

インターネット広告の配信や分析には、配信の最適化や収益の最大化のためにさまざまなツールが活用されています。サイバーエージェントはインターネット広告サービスを提供するプロダクトを 20以上擁しており、以前は各プロダクトがそれぞれこうしたアドテクノロジー（アドテク）の開発を手がけていましたが、機能を集約して効率化を図るべく、全サービスを横断して開発を行うアドテク本部を2013年に設立しました。

メディア向け、広告主向けの配信プ ラットフォームから効果計測ツールまで、アドテクの用途は多岐にわたり、データ量も膨大になるため、データの分析には強固なインフラが必要となります。アドテク本部設立当初は各サービスの既存資産で運用していましたが、半年後、スピードとシナジーをより高めるため、プライベート・クラウドによるインフラの共通化に着手しました。

「目指したのは、急速な成長を続けるビジネスのスピードをさまたげないインフラを構築するということでした。多種多様なシステムをマルチテナントで収容し、それぞれのニーズの変化にすばやく対応しなければならないので、構成 はできるだけシンプルにし、OpenStack で仮想化することによって、コストを抑えつつ迅速で柔軟な変更が可能なインフラを実現しています」と長谷川氏は語ります。

省スペース・省ケーブルを実現する高密度サーバー

「広告データの分析には大量のCPUとメモリが必要ですが、内蔵ディスクは一時的な処理ファイルを置くだけなので それほど大きな容量は求められず、高密度のサーバー構成が可能です。これによ り、少ないラック・スペースで高い処理 能力と速度を確保することができます」 （長谷川氏）

そこで、サイバーエージェント・アドテク本部ではHadoopによるビッグデータ解析基盤用にファーウェイの『Fusion Server X6800』を導入し、4Uシャーシに同シリーズの『XH620 V3』サーバー・ノードを8つ収納して50％の省スペース化を実現しました。また、ケーブルの配線がシンプルになり、管理用のLANケーブルを従来の8分の1、電源ケーブルを4分の1の本数に減らすことができ、コストの低減にもつながりました。

無停止更新が可能な40GEスイッチ

大量のデータ処理においては、ネットワークがボトルネックにならないことも重要です。複数のプラットフォームを活用するサイバーエージェントでは、分析時に別のオンプレミス環境から大量のデータをロードするため、急激なトラフィックが発生します。このようなデータ伝送に対してこれまでは10GEネットワークを運用していましたが、今後の需要拡大についてシミュレーションしたところ帯域不足が予測され、この対策としてビッグデータ解析基盤用データウェアハウス （DWH）に40GEネットワークの導入を決定しました。

40GEスイッチには『 CloudEngine 7850』を採用。同製品は 1Uのサイズに 32ポートの40GE QSFP+ポートを備えています。また「iStack」によるシャーシのスタッキングによりシンプルなネットワーク管理を実現します。「スタック構成でありながら1台ずつのアップデートが可能な点も、採用の決め手のひとつでした。アドテクのように常時稼働するサービスでは、システムを止めることなく管理できることが非常に重要です。現在は6台のスイッチを統合管理しています」（山本氏)

アップデートのしやすさに加え、キャリア・グレードの機能もポイントだったと山本氏は言います。「ルーティング・プロトコルに関する細かな機能も十分で、通信事業者向けネットワークの実績に裏付けられた技術力を感じます」

広告データ分析プラットフォームシステム構成

FusionServerX6800
●4UのシャーシにUIラック・サーバー相当のノードを8台ラック・サーバー相当のノードを4台収容可能
●コンピュード・ノード、ストレージ、ノード、GPUアクセラレーション・ノードの3種類を提供
●バッシブ・バックブレーンの採用により、単一障害を解消
●1つのネットワーク接続で全ての管理インターフェースにアクセスが可能

CloudEngie 7850
●32×40（QSFP＋）
●2.56bps1.440Mpps
●最大16台でスタック対応
●ISSU対応

R&Dとの密接な連携で迅速に対応

ハードウェアの調達にあたっては、性能、コスト、納期などの諸条件を考慮し、 需要に合わせて最適なものを選定しているとのこと。こうした条件に対するファーウェイの柔軟な対応も評価のポイントだったようです。「こちらからの要望に全力で応えてくれる姿勢がたいへんありがたかったです。機能の追加や管理面での要望、検証で見つかった不具合などを伝えると、即座に本社のR&D担当者とやりとりして迅速に対応してくださり、開発チームとの連携の密接さに驚きました」と山本氏。

長谷川氏も、「われわれも技術が好きな会社なので、ファーウェイの細部までこだわった製品づくりには共感します。これからもハードウェアへのこだわりを追求し続けながら、優れた製品を提供していってほしいですね」と期待を寄せてくださいました。