【資料公開】 Datapaloozaで登壇してきました
はじめに
こんにちは！ DMM.comラボ ビッグデータ部の鈴木です。
先週の水・木曜日(6/15~6/16)に開催されたIBM Datapalooza Tokyo - Japanに
弊社加嵜/鈴木で登壇してきました。
主なターゲットはデータサイエンティスト・データエンジニアです。
私鈴木は、このイベントが初の登壇となりドキドキでしていましたが･･････
無事終了することが出来て安心しています。
どんなセッションだったのか？
セッションのタイトルがコチラ
「DMM.comにおけるビッグデータ処理のためのSQL活用術」
セッションの概要
現在DMM.comでは、1日あたり1億レコード以上の行動ログを中心に、 各サービスのコンテンツ情報や、地域情報のようなオープンデータを収集、 データドリブンマーケティングやマーケティングオートメーションに活用しています。
本発表では、DMM.comのビッグデータ基盤について紹介し、 ビッグデータを処理するためのSQLの活用について発表。
特に代表的なSQL on HadoopのプロダクトであるHiveやSparkSQL, Prestoの活用事例、 Sqoopを用いたRDBとの連携について具体的な事例や導入時の注意点を解説し、 現状の課題と今後の方針についても紹介してきました。
発表資料
登壇で利用した資料をSlide Shareにアップロードしました。
Datapaloozaに来れなかった方もお時間がある時に目を通していただけたら幸いです。
セッションを終えて
セッションは、200名以上の方が聴講してくださり、
その中でSQLを利用している人は9割程いらっしゃいました。
そんな場でData Engineerという枠で発表させていただけたということは非常に光栄なことです。
今回は発表慣れされている先輩の隣での発表ということもあり
自分も落ち着いて話ことができたのが非常によかったです。
DMM.comにおける取り組みを外部へと紹介できる機会は非常に貴重なものだと感じているため、
今後も積極的にワクワクするようなコトをやっていきつつ、外部へ発信できたらいいなーと思っています。
