steelwool_oxide

Steel Room 2nd

勉強会

18 12月

「マーケティングテクノロジーの最先端を支える技術を大公開!」で発表してきました

こんにちは、スチールです。

先日マーケティングテクノロジーの最先端を支える技術を大公開!というイベントに登壇しまして、「フリークアウトにおける大規模データの取り扱いのこれまでとこれから」という発表をしました。

スライドはこちらです

なお、イベントのパーフェクトなメモをhirataraさんのblogにありますのでぜひ御覧ください!

簡単に書いておきますと、

フリークアウトで大規模なデータというと

  • オーディエンス情報
  • 配信ログ

があります。

オーディエンス情報は50msの中で瞬時に取得できる必要があるので色々な制約がある中増えゆくデータに対してどう対処して、今後どうしていきたいかという話です。

配信ログは、hadoopクラスタを約1年半運用してきてだいぶ安定してきた中で、こちらもどうしていきたいかという話を中心に話しました。

今年の5月にfluentd meetupで話した内容からちょろっとアップデートがあるのでその辺と比較して見ていただけると幸いです。

また、スライド内でも言及してますが、CDHを4から5にアップグレードする際にCloudera Managerを導入する話をアドベントカレンダーに書きましたので、よかったら見てみてください(宣伝)

ちなみに、イベントページだと「歴史と今後」としてましたが、なんかもうちょい柔らかいタイトルにしたくて少し変更しました。

ではでは。

17 9月

第6回elasticsearch勉強会に行ってきましたのでそのメモ

こんにちは、スチールです。

なんだかんだもう4-5回参加している気がするElasticsearch勉強会ですが、最近社内で使い始めたQiita:Teamにメモをとったので、それをほぼまるっとgistにコピペしたので公開いたします。
ガーッとメモって大して推敲していないのでなんか変なところあったらコメントください。

こちら

ずーっと聞く側だったので、そろそろ第7回で何か話そうかなと思います。
つい最近までSnapshot APIに軽くハマっていたのでその辺なら多少有用な話ができる気がしています。
六本木ではたらくエンジニア
スポンサードリンク
スポンサードリンク
  • ライブドアブログ