steelwool_oxide

Steel Room 2nd

fluentd

18 12月

「マーケティングテクノロジーの最先端を支える技術を大公開!」で発表してきました

こんにちは、スチールです。

先日マーケティングテクノロジーの最先端を支える技術を大公開!というイベントに登壇しまして、「フリークアウトにおける大規模データの取り扱いのこれまでとこれから」という発表をしました。

スライドはこちらです

なお、イベントのパーフェクトなメモをhirataraさんのblogにありますのでぜひ御覧ください!

簡単に書いておきますと、

フリークアウトで大規模なデータというと

  • オーディエンス情報
  • 配信ログ

があります。

オーディエンス情報は50msの中で瞬時に取得できる必要があるので色々な制約がある中増えゆくデータに対してどう対処して、今後どうしていきたいかという話です。

配信ログは、hadoopクラスタを約1年半運用してきてだいぶ安定してきた中で、こちらもどうしていきたいかという話を中心に話しました。

今年の5月にfluentd meetupで話した内容からちょろっとアップデートがあるのでその辺と比較して見ていただけると幸いです。

また、スライド内でも言及してますが、CDHを4から5にアップグレードする際にCloudera Managerを導入する話をアドベントカレンダーに書きましたので、よかったら見てみてください(宣伝)

ちなみに、イベントページだと「歴史と今後」としてましたが、なんかもうちょい柔らかいタイトルにしたくて少し変更しました。

ではでは。

16 5月

Fluentd Meetupで発表してきました

こんにちは、スチールです。

ものすごーく久しぶりに勉強会で話してきました。
参加したイベントはFluentd Meetupです↓

Fluentd Meetup 新しい応用事例とv1に関する発表

自分だけ写真がちょっとおかしい人みたいなかんじですね。

僕の発表は「マゾいログ回収の話と未来」というタイトルでして、所属するフリークアウトでのログ回収の今までとこれからというような話をしてきました。
発表スライドはこちら。



実際にマゾいかどうかはみなさまの判断にお任せしますが、 限られたリソースの中で大量に発生するログを集めるのはちょいちょい工夫がいるね、というのが伝われば幸いです。

今後やっていきたいこととして、全てのログを集めるということと、リアルタイムに分析可能な体勢にすると発表してしまったので、それに向けてこれからもチャレンジしてきたいところです。いい具合になったらまたどこかで「あれから」的な話ができたらいいなぁと考えております。

イベント後さっそくまとめてくださった方がおりますので、その他の発表については下記を見てもらえればと思います。まとめありがとうございます!

Fluentd Meetup に参加しました #fluentd #fluentdmeetup
参加レポート: Fluentd Meetup – 新しい応用事例とv1に関する発表 -

また、イベントを主催してくれましたトレジャーデータさん、dots.さん共にありがとうございました。

スライドでも触れましたがトレジャーデータさんのモニタリングサービスにはお世話になっております。懇親会にて近いうちになんらかアップデートがあるかもと聞いたので、fluentd v1およびtd-agent2と共に楽しみにしております。

最後に自社宣伝ですが、フリークアウトではログを活用するエンジニアを募集しておりますので、ご興味がある方はぜひtwitterとかでもなんでもいいのでお声がけくださいませ。
(ログ以外でもエンジニアを募集しているのでぜひ御覧ください)

大規模広告配信システムのビッグデータを解析するエンジニア-WANTED!!

ではでは。

六本木ではたらくエンジニア
スポンサードリンク
スポンサードリンク
  • ライブドアブログ