• Twitter
  • Facebook
  • Google+
  • RSS

はてなCTOが根掘り葉掘り! さくらインターネットのクラウドや仮想化に


本パネルディスカッションのタイトルは「はてなが気になる、さくらの石狩IDCやクラウドや仮想化や・・・」。その名の通りテーマは、さくらのクラウドサービスや、仮想化技術、石狩データセンターについてである。はてなからの出席者は、田中慎司氏(はてな 執行役員 最高技術責任者CTO、id:stanaka)と倉井龍太郎氏(はてな アプリケーションエンジニア、id:r_kurain)の2人。さくらインターネットからは鷲北賢氏(さくらインターネット研究所所長)が登壇、「ぜひ突っ込んでください」といいながら司会進行を務めた。

なお、はてなはさくらインターネットの古くからのユーザーである。さくらインターネットは、石狩データセンターの設立発表や、新サービス「さくらのクラウド」の発表と、意欲的な展開を次々と打ち出している。パネルの様子を以下で紹介する。

■さくらのクラウド、APIの公開とオートスケール

鷲北 さくらインターネット研究所所長の鷲北です。もともと、「さくら」と「はてな」は、長い付き合いです。石狩データセンターや、クラウドサービスについて、お聞きになりたいことがあれば、ぜひ突っ込んでください。

田中 はてなの田中です。「はてな」では、「さくら」のサービスは早い段階から使わせていただいていました。エンジニアどうしの勉強会も開催しています。

倉井 はてなの倉井です。はてなブックマークの開発や運用をしています。よろしくお願いいたします。

鷲北 まず、さくらインターネット田中社長のセッションで発表した「さくらのクラウド」の印象を教えてください。

さくらのクラウドとは

このパネルディスカッションが開かれた2010年11月11日、さくらインターネットはIaaSのクラウドサービス「さくらのクラウド」を発表した。2010年12月ごろから、ユーザーを限定して、α版のサービスを開始する予定。

利用するCPUやメモリは複数のプランを用意し、そのプランに対して必要なディスクの容量を追加して、1日単位で利用できる。発生したトラフィックによるネットワークの従量課金は設けない。

詳細なさくらのクラウドについての情報は、さくらインターネット田中邦裕社長による2010年11月11日の講演をチェックしてほしい。


田中 予想より早く動いているんだ、という印象です。2010年内にαリリースということですね。石狩データセンターができてから動くと思っていたのですが。

鷲北 石狩データセンター完成前の「さくらのクラウド」のリリースを目指しています。裏方の話になりますが、確かにパブリッククラウドサービスの提供には十分なサーバスペースが重要です。私達は5つのデータセンターを持っていますが、そのうち大阪が増床直後で、ちょうど「さくらのクラウド」を収容できる状態でした。

倉井 発表を見ていて興味深かったのは、APIの機能です。APIからサーバを立ち上げるというのは、いろいろ使い道がありそうです。一方で、オートスケール(負荷が高いときに自動的にサーバリソースを追加する機能)はまだ実装されていないのですが、これはユーザー側がオートスケールのサービスを提供してもいいよ、ということでしょうか?

鷲北 その通りです。課金を除いて、コントロールパネルでできることは全部APIで提供しました。オートスケールについては、正直いって現状では私達のノウハウが不足しているので、ここはお客様に自由に使ってもらえるという形です。ご要望があれば将来は可能になるかもしれません。

■LAN間接続と、その帯域が気になる

田中 「はてな」は、さくらのハウジングサービスを使っています。そこで気になるのが、さくらのクラウドとハウジングサービスにあるサーバとのLAN間接続です。その提供時期はいつ頃になりますか。

鷲北 なかなか厳しいご質問ですが(笑)、来年度に実施する予定です。LAN間接続でお客様に要求されているのは、お客様ご自身のプライベートなネットワークの構築です。専用サーバの場合はオーダーをしてもらってそれを配線するという手順ですが、さくらのクラウドの場合は、あらかじめ配線しておいて、セルフオーダーですぐに使えるという形になります。すると、事前にどうつなぐかというコンフィギュレーションが難しいという問題があります。今はエンジニアが汗をかいている段階です。リリースの時期については未定というのが正直なところです。

田中 なるほど、LAN間接続の帯域はどうですか。とくにピーク時間帯でどの程度が確保されるかが気になります。

鷲北 当然、十分な帯域を考えています。LAN間接続では要求スペックが高いことは理解しています。「はてな」の場合、内部ではどれぐらいトラフィックがありますか?

田中 帯域は、あるだけ使ってしまいます(笑)。同じデータセンター内で気にせずに使うと、1Gbpsぐらい、あるいはそれ以上のトラフィックが発生してしまいます。

鷲北 1Gbpsを越えているんですか?

田中 サーバとスイッチのコネクションは1Gbpsでやっています。スイッチの内部のトラフィックは1Gbpsを越えています。特にトラフィックが多いのは画像配信系です。画像を持っているサーバと、キャッシュサーバ、リバースプロキシのあたりのトラフィックが一番多く、そこは1Gbpsを越えています。

鷲北 現状のサーバ間の接続、特に内部の接続はEthernetが中心です。これとは別の選択肢としてInfiniBand(光ファイバーによるI/Oやネットワークの接続規格)を調査中です。スーパーコンピュータの研究などで使われていて、最近は安くなっています。Ethernetも10Gbps、40Gbps、100Gbpsの製品が来年は使えると思いますが、InfiniBandは早い時期に使えて、10Gbps、40Gbpsといった結構太い線(帯域)も簡単に作れて、安い。

■サーバの配置を意識して内部トラフィックを減らす

田中 サーバ間の帯域が太くなると嬉しいですね。あとは、トポロジを意識することで、内部トラフィックを押さえることができる場合があります。例えばHadoopのような並列計算ミドルウェアだと、ラックの配置を意識して、ネットワーク的に近い位置にジョブを配信することで、トラフィックを減らせます。一方、クラウドの場合、ラックの配置は意識しないですよね。そうはいっても意識しながら内部トラフィックを減らしたいと思う場合もあります。そういう制御はどのくらいできるのかなあ、と。

鷲北 難しい問題だと思います。仮想化は、そういう所は見たくない、隠したい、という技術ですが、一方でそうはいってもエンジニアは物理的な距離を見たいって要望があるのですね。

田中 そうですね。できれば同じラックのサーバを予約して、同じラックから優先して使ってほしい(笑)。

鷲北 ロケーションも指定してってことですね。面白いです……やってみたいですが、大変難しいですね(笑)。共有のブロックがあって、そこに空いているサーバが残っているかどうかが、お客様に出せるかどうかの判断です。がんばって取り組んでみたいネタではあります。
 他はいかがでしょうか。

倉井 1台の物理サーバの上で、仮想マシン(VM)が何台かあると思うのですが、「はてな」の場合は、メモリを多く使うVMとCPUを多く使うVMを1台の物理サーバ上でまとめて、効率を上げています。そういうことができるといいなと思います。

鷲北 あるお客様と別のお客様を合わせると相性がいい、ということはあるのかもしれませんね。ただ、お客様の情報を覗いてもいいのかな?という懸念もありますし、現実としては実装が難しいと思います。仮想マシンを動かしたままサーバを移動するLiveMigrationという技術が最近注目されています。すばらしいと思いますが、今はまだどこまで信用していいのか用心している段階です。実際に動いているサーバをリアルタイムに転送していると、経路で何かの間違いがあると落ちてしまう。

田中 Amazon EC2では、インスタンスを起動する度に別のサーバで起動するので、素性のいいサーバになるまで繰り返し起動し続けるという裏技、バッドノウハウがあります(笑)。そういう裏技なしに、同じようなことができるといいと思います。

鷲北 お客様の手をわずらわせることなく制御できればいいですね。

■ストレージとのI/O性能も

田中 もう一つ気になるのが、「さくらのVPS」のスケールアップしたバージョンです。CPUスペック、メモリ容量とは別に、ストレージのI/O性能も何パターンか選べるといいと思います。I/O性能を要求するところはSSD、高価だけど速いFusion-ioを使えるといい。

鷲北 ストレージは通常はHDDで用意するのですが、そこをSSDにしたいというニーズがある訳ですね。Fusion-ioとは?

田中 Fusion-ioは、中身はSSDと同様の半導体メモリなのですが、I/OにPCIExpressを使っていて、一段上のI/O速度が出ます。HDDとはケタが2つぐらい違う。

鷲北 クラウドだと、ストレージとCPUはネットワークで分離されています。そこでI/Oが速いディスクを用意しても、ネットワークがボトルネックになってしまう。そこでInfiniBandを使おうか、ということもあります。100倍速いストレージだと、広い帯域でつながないと。

田中 そうですね。Fusion-ioを使う場合、ネットワークの帯域もさらに必要になります。

鷲北 例えばLAN間接続を活用して、ディスクI/Oが高速のものが必要な場合はハウジングや専用サーバを使って、LAN間接続でクラウドと接続するというやり方はどうでしょうか。

田中 するとLAN間接続の帯域が気になります。

鷲北 なるほど。バックエンドには大きな帯域が必要なんだ、という強いメッセージとして受け止めさせていただきます。

■寒冷な気候を冷却に活かす

石狩データセンターの完成イメージ(1期棟の外観図:500ラック)

倉井 私は北海道に7年いました。石狩にデータセンターができると聞いて喜んでいます。寒冷な気候を冷却に活かす、ということですが、直接外気を入れるとホコリなどがありますね。どういう試みをするのですか?

鷲北 取り込んだ外気をきれいにするノウハウは、実は半導体工場などで必要なクリーンルームのためのノウハウが蓄積されています。外気を取り込む口にはフィルターを入れて、温度、湿度もコントロールした上で取り込む形になります。データセンターでは、半導体工場ほどのクリーン度は必要ありません。サーバにとって適切な環境であればいい。クリーンルームよりは簡単に作れます。
 もちろん、石狩でも冷房が必要な場合はあります。今年の夏は特に猛暑で、石狩でも27度を越える日がありました。そういう日は冷房を動かします。ただ、石狩のような寒冷地だとエアコンを動かす日数が少なく、電力消費が少ない、ということです。

倉井 外気からゴミ、ホコリを除去すると、空調と同じぐらいコストがかかるという話を聞いたのですが?

鷲北 クリーンルームと比べると厳しくありません。全部エアコンで冷却するのに比べれば、小さいコストで済みます。

■石狩のレイテンシとネットワーク

田中 北海道のデータセンターは、レイテンシ(遅延)が気になります。主なユーザーがいる東京、関西からのレイテンシはどうですか?

鷲北 東京-石狩は、大阪-東京の2倍ぐらいです。東京-大阪の遅延が8~9msですから、その倍ぐらいでしょうか。

(ここで飛び入りで、さくらインターネットの田中邦裕社長が登場)

田中社長 実測で15~20msです。

(田中社長は一言発言すると、再び去っていく)

田中 それくらいならほとんど影響はないですね(笑)

倉井 レイテンシの話の続きですが、IX(インターネットエクスチェンジ)は北海道にはなく、東京を経由しているのですか。

鷲北 まず、東京から石狩までのネットワークは、10Gbps以上の帯域を用意します。最低でも10Gbpsです。このトラフィックを外部にどうさばくか、ですが、おっしゃるとおり北海道にはメジャーなIXはありません。ただ通信事業者のトランジット・サービスの適用は可能です。東京までの回線とは別に、札幌トランジットは予定しています。将来については、もしIXがなければ、私達がノウハウを提供してIXを開くのもいいんじゃないかと思います。

田中 海外とのトラフィックについてはどうですか。

鷲北 石狩データセンター予定地のすぐ近くに、海底ケーブルの陸揚げ局があります。なんでもロシアにつながっているとか。シベリアを横断してヨーロッパまで伸びているという話でした。もうひとつ、日本を取り囲んでいる海底ケーブルもある。そういうケーブルを使いやすい位置にある、ということはいえます。

田中 「はてな」では、ニンテンドーDSi/LLを対象にしたサービス「うごメモはてな」を提供しています。日本のほかに欧米でユーザーがいて、ユーザーの半分以上は海外にいます。今はアメリカ、ヨーロッパがメインだけど、将来的には東南アジア方面にもトラフィックが発生するかもしれません。

鷲北 AWS(Amazon Web Services)はシンガポールにデータセンターがあります。アジア方面には、いろいろな所からかなり太い回線が伸びていますが、北海道は現状、そういう専用線は少ない状態です。石狩データセンターを発信地として、回線を誘致できたら、と思います。

田中 今の「はてな」の規模だと、ハウジングしか選択肢にならず、クラウドをそのまま使うことは選択肢に入りません。そこで、クラウドとハウジングのハイブリッドができると、ちょうど「はてな」にフィットすると思っています。

鷲北 (さくらインターネットの)田中のセッションでも「最適解」という言葉が出てきました。石狩はクラウドに特化したデータセンターです。ここを基地にして、多様な要望にも応えられるようにしたいですね。


以上、「第2回クラウドコンピューティングEXPO」における、さくらインターネットと、はてなのエンジニアによるパネルディスカッションの様子をお伝えした。本講演の様子は以下のURLで視聴できる。


[PR]企画・制作:はてな

文: 星暁雄