steelwool_oxide

Steel Room 2nd

13 11月

Cloudera World Tokyo 2013にいってきました

0dc2fae4.g

だいぶ日がたってしまったのですが、先週木曜の11月7日、Cloudera World Tokyo 2013に行ってきました。
写真はお土産のClouderaカステラ。

僕が聞いてきたセッションは以下です。(全セッションはこちら。講演資料も一部リンクあるようです)
  • CDH最新情報
  • Hadoopデータプラットフォーム
  • SQLで実現するバッチ処理とストリーム処理
  • Hadoopの運用
  • Hadoop コミュニティと YARN の現状
とまぁ、Clouderaの中の人のセッションを半分以上選びました。
というのもCDH5がどうなるのかなぁというのがすごく気になっていたので。

一つ一つのセッション書くのはつらいのでざっくりと。

CDH 5はHadoop 2.2も出たということで、やっとYARNが「製品レベル」 になりました。
(製品レベルになる前になんでCDH 4に入っていたんだろうって感じではあるんですが)
Resouce ManagerのHAはもちろん大注目なんですが、ImpalaもResouce Manager上で管理できるようになったりと、Cloudera自体もかなりYARNに本腰入れてきた感じがします。

一応職場の環境でもImpalaは利用しているんですが、ちょっとはしゃいだ感じのクエリを投げるとMapReduceなタスクとリソース食い合って、監視しているGangliaが真っ赤に染まってこっちの顔は真っ青になるなんてことがあったんですが、これが解消されるだろうというのはとても大きいです。

今のところCDH 5はβ1ということなんですが、早めに開発環境の方でアップデートの手順を整えてもいいかななんてチームでは話しておりまして、採用する気満々な感じです。

また、Clouderaさん一推しのCloudera Managerなんですが、これは話を聞けば聞くほど使ってみたい感じがしますね。ちなみに無料版のStandardがあるので、試しに開発環境で使ってみたことあるんですが、確かに構築がめちゃくちゃ簡単です。
Cloudera Managerを使うと基本的にすべての運用がManager経由になって、設定ファイルの場所が通常と違うパスに置かれて管理されるみたいでManager外から他のツールを組み合わせて運用しようとするとちょっとつらくなるかなという感想です。もともと日頃の運用はpuppetやcapistranoなんかで構築済みだったため、Standardであれば、今の環境でもいいかなぁということで、お試しで終わった感じです。

ただ、Enterprise版だと話は違って、Clouderaのノウハウがぐっと詰まった感じで、これさえ入れればOKな感じがやばいです。一発でアップデート、一発で前のバージョンにロールバックとかパないですね。 あと監査機能とか、リソース制限の管理も大変便利そうです。
おいくらするのか気になります。

ちなみに去年は参加していないので、去年がどういう空気感だったかわからないんですが、今年のセッションを聞いていて思ったのは、一部の分析担当、ログ担当だけが、構築されたクラスタのデータにさわるのではなく、多くの人がデータに触れて、活用していくかにものすごいスポットがあたっていたような気がしました。
(嶋内さんの第二セッションの話がまさにそんなかんじでしたが)

tagomoris氏のNorikraとか見てるとSQLを通じて、みんながデータに触れられるようにするプラットフォームを構築するような話でしたし、Impala推しな感じとかもそういうことなんでしょうね。スポンサーコーナーでちょっとみせてもらったTableauも、SQLではないですが、アプローチとしては同じような感じでしょうか。
そして、データを安全にさわれるようにリソース管理や認証、監査の強化があると(SentryとかHueとか、そしてCloudera Manager)。
参加したセッションの裏で、Yahoo Japanのセッションもそういう話だったみたいですね。

そういえば去年くらいに同僚のやなしーが「経営者もSQL書けないとオワコン」とかそんな感じのこと言ってたなぁなんて言うのを思い出し、本格的に環境整ってきたんだなと改めて思ったり。

一応、社内でもHueからHiveやImpalaさわれるような環境は構築してるんですが、 LDAP認証をつけたくらいで、リソース管理も甘いので、本格的にガンガン使われると落ちるかもというまだまだなステータスなので、運用者としてはみんなが使えるっていうレベルまでまず持って行かないといかんですね。
29 10月

Windows 8.1をデスクトップメインで使うならこうしておくといいんじゃないかというお話。

スチールです。

最近Windows移行熱が高まっております。
もともとVAIO Proを購入してから外出先とかちょっとした作業はWindowsを使うことが多かったのですが。

とはいえ家の母艦が去年買ったMacBook Pro 15retinaでして、そちらではMacをそのまま使っていましたが、VAIO ProをWindows 8.1にして、なかなかいい感じに使えるようになったので、MacBook ProをそのままBootcampを利用してどっちもWindowsメインでもいいかなぁと思い始めています。

で、8.1の何が気に入ったかというと、タスクバーの設定ですね。それだけ?とも思いますがこれが僕の中では非常に大きかったのです。
何が設定できるのかというと、起動時にデスクトップから始められることと、Windowsキーを押した時の挙動の変更です。VAIO Proでもそうだったんですけど、Windows 8使ってる割にはWindows 8アプリをほとんど使っていなかったので。 

30b7c004.g

上記のように設定すると、起動時にデスクトップから起動し、さらに、Windowsキーを押した際に、アプリ一覧が出ますので、昔ながらのスタートボタンからアプリを起動することができるようになるわけです。こんな感じで

0430c38e.g

しかも、検索のテキストボックスにフォーカスしてあるので、アプリ名を入力すれば候補が絞られるので、あとは矢印キーで選択すればキーボードだけでも起動できるので大変うれしい感じです。
コントロールパネルとかは、8.1から追加された画面左下のWindowsマークを右クリックしてコンテキストメニューから起動できるので、これでいいかなと思っています。

とまぁ、これだけなんですが、これだけでもWindows 8から8.1に移行してよかったなぁというくらいに僕の中ではライフチェンジングでした。

ちなみに、Win 8時代には、秀丸スタートメニューにお世話になってました。こちらも大変良い感じでしたけど、タスクバーに秀丸スタートメニューとWindowsマークが両方表示されるのもなんだかなぁという感じなので、元ある機能に頼ることにしました。
5 10月

「俺聞け6」に行ってきましたよ

スチールです。立て続けに行ってきましたエントリではありますが、今日は俺聞け6に行ってきました。



とりあえず脊髄反射で参加登録したのですが、これは頭ん中を運営しているmsngさんが主催されているイベントで、普段は大阪で開催されているようです。初めての東京開催だとか。

内容としては、こちらによると「ウェブに関連して「いまこれが気になる!」という話題を発表したり、そういう話を聞いて「へー」などと言ったりするプレゼンテーションイベントです。」ということらしいです。 

特に発表したことないとか慣れてないとかそういう方こそ、俺聞けでデビューしてもらいたいと思っています。」とは書いてありましたが、発表者リストみるとめっちゃ豪華じゃないですか。

ということでみなさん発表慣れしてる感じでどれも面白かったのですが、いくつかピックアップ。

お一人目、ドットインストール(というか、百式、IDEA*IDEA管理人の)@taguchiさん、うまくスライド映らなかったみたいで急遽トークのみの発表になりましたが、非常に話うまかったですね。内容はドットインストール、かと思いきやbitcoinの話。ざっくり調べたことはあったんですが、あらためて聞くとbitcoinって面白い仕組みですね。特に送金時の計算量と手数料の部分とか。

ちなみに@taguchiさん初めて拝見しましたが、イケメンですね。

もういっちょ、チャットワークCTOの山本さんが最近作ったSmartBuilderの話。
こちらはAmazon S3のみでサイトを配信する的な、
静的サイトを作るときに便利なツール。
すでにそういったツールはいろいろあるみたいなんですが、PHPとSmartyで作られたものはなかったみたいで、SmartBuilderは名前の通り、PHPとSmartyでできてるようです。
自分の前職がちょうどPHPとSmartyを利用してたので、こういうの用意しとくとデザイナーさんとエンジニアでのやりとりけっこう楽だったんじゃないかなぁなんて、ぼんやり考えてました。今度元同僚に伝えとこうかなと思います。(っていうか最近どういう構成か知らんですが)

もうひとり、「
広告っておもしろい!」というタイトルのたかのはしけいこさんの発表。最近の広告クリエイティブの話がメインだったのですが、たかのはしさんも転職からのWeb広告界隈への転職組のようで、その時の話は「あー、あるある」なんて思っちゃいましたね。とくに用語がたくさんあってようわからん、的な話とか。
おなじWeb広告界隈といってもたくさんの業態があって大変ややこしい界隈なので、自分のところの業態について、また俺聞けが東京でやる機会があれば話してみたいなぁなんて。 

最後に、会場である、
KDDIウェブコミュニケーションズさんの会場、すごくきれいでバーカウンターとかあったりで大変おしゃれでした。勉強会会場お探しの方、ここいいですよ!(人気で結構うまってるみたいですが)
あと軽食とお酒の差し入れ、ありがとうございました!

下の写真は、今回ゲットしたものです。ジャンケン大会は勝てませんでした(商品にiPod touchがあったりととっても豪華でした。提供したフェンリルさんすげー。Sleipnirすごい!)



さっきも書きましたが、次は発表したいですね~。また東京でやってください!
六本木ではたらくエンジニア
スポンサードリンク
スポンサードリンク
  • ライブドアブログ