LIFULL Creators Blog

LIFULL Creators Blogとは、株式会社LIFULLの社員が記事を共有するブログです。自分の役立つ経験や知識を広めることで世界をもっとFULLにしていきます。

Hadoop Conference 2011 参加レポート (1)

こんにちは。ネクストの吉次と申します。

ネクスト リッテル研究所では、大量データを解析してレコメンデーションなどユーザ体験の向上に役立てる研究を行っています。リッテル研究所で大量データの解析に用いるミドルウェアとして用いているのが Hadoop というソフトウェアです。 Hadoop を用いる事で大量データの解析を手軽に分散処理できるので、1台のコンピュータで解析するよりも高速に大容量のデータを扱えるようになりました。

私はリッテル研究所の前身である株式会社リッテルの頃 (2008年頃) から Hadoop を利用しはじめましたが、日本のIT業界でも同様に2008年頃から Hadoop を使う企業が現われはじめ、2009年の日本 Hadoop ユーザー会発足や書籍の刊行などにより、IT業界の関心が高まりました。

f:id:nextdeveloper:20140609070918p:plain
この日本 Hadoop ユーザー会の主催により、2011年9月26日に東京のベルサール汐留で「Hadoop Conference Japan 2011 Fall」という催しが開かれました。今回はこのカンファレンスの参加報告をいたします。
通算で3回目の開催となる今回、参加者は1100人となりました。私が Hadoop カンファレンスに参加するのは2009年に開かれた第1回に続いて2回目です。第1回は350人程度の規模だったので、参加者ベースで規模が3倍強に膨れあがったことにまず驚きました。カンファレンスは Keynotes を除いて Technical Track 、 Community Track の 2Track で構成されていました。私は最新動向を知りたかったため、 Technical Track に参加することにしました。


カンファレンスの概要

Keynotes

動画 (USTREAM)

Cloudera, Inc.*1 の Todd Lipcon 氏、Hortonworks Inc.*2 の Owen O'Malley 氏、 MapR Technologies, Inc.*3 の Ted Dunning 氏。
おおざっぱに言うと、それぞれの会社の事業と Hadoop との関係に関する話題であった。

Technical Track
Apache HBase 紹介 (Claudera, Inc. Todd Lipcon 氏)
HBase の特徴について
MapR テクノロジのアーキテクチャ詳細と実装 (MapR Technologies, Inc. Ted Dunning 氏)
MapR は Hadoop をベースとしたフレームワーク。 HDFS の代わりに独自のファイルシステムを採用して効率アップを図った点が特筆される。
基幹バッチ処理からみた Hadoop ( (株) ノーチラス・テクノロジーズ 神林飛志氏)
基幹バッチで Hadoop を動かすフレームワーク Asakusa について。
小売り (スーパー) 、パン屋、中部地方の流通業者の事例、 Asakusa におけるシステム開発の概要、今後のAsakusa について。
インフラ構築・運用の勘所 ( (株) エヌ・ティ・ティ・データ 猿田浩輔氏)
エヌ・ティ・ティ・データ社での Hadoop のインフラ構築ノウハウ。キーワードは「全体最適」。
スライドはこちら (http://slidesha.re/mQanVL)
Hadoop 0.23 と MapReduce v2 (Hortonworks Inc. Owen O'Malley氏)
Apache でリリースとなる Hadoop の新バージョンの話。 HDFS Federation 、 Wire Compatibility 、その他の Feature について。
詳細は http://developer.yahoo.com/blogs/hadoop/posts/2011/02/mapreduce-nextgen/ に記述してあるとのこと。
MapReduce による大規模データ処理 (ヤフー株式会社 角田直行氏, 吉田一星氏)
Yahoo! Japan 社における Hadoop 利用の事例と MapReduce のアルゴリズムについて。
スライドはこちら (http://slidesha.re/owkedH)

*1:Cloudera 社 (米国本社:http://www.cloudera.com/ 日本法人:http://www.cloudera.co.jp/) は Hadoop の開発者達によって2008年に設立された、 Hadoop の Distribution パッケージをオープンソースで提供してきた企業。Hadoop の生みの親、Doug Cutting 氏がアーキテクトとして参画している。

*2:Hortonworks 社 (http://hortonworks.com/)は、今年、 Apache Hadoop に関わってきた米国 Yahoo! 社の技術者達が Yahoo! からスピンアウトして作った企業。 Apache コミュニティと協力して Hadoop をより堅牢で使いやすくすることをミッションとして掲げている。

*3:MapR Technologies 社 (http://www.mapr.com/) は、 MapR という Hadoop を利用したフレームワークを開発販売している企業。独自のフレームワークを組み込んだ Distribution パッケージを EMC 社に供給して販売している。