2018/11/06開催の「Data Driven Developer Meetup #2 【基盤】」での発表資料です。 チームで運用して３年ほどになる、サイエンティストとエンジニアが効率よく 機械学習や分析結果をプロダクトへ反映するための基盤の紹介です。 https://d3m.connpass.com/event/104858/

1. SQLを書くだけで
APIが作れる基盤
2018.11.06 Michihisa HIRATSUKA

2. 平塚 迪久(ひらつか みちひさ)です
• リクルートライフスタイル 新卒⼊社 3年⽬
• techeten mihirat
• blog http://techeten.xyz
• 仕事
• データ基盤の開発・運⽤
• Web開発 : Flask / Rails / Go / Vue.js

3. CETチーム
プランナー
サイエンティスト
エンジニア
利益創出
サービス横断の利益創出チームにいます

4. アタリを探すABテストをたくさん回して
レコメンド
やりましょう
ユーザーの
離脱下げたい
⼈⼯知能！
トレンドの
予測がしたい

5. アタリを⾒つけて

6. 磨き込むのが
筋のよい進め⽅

7. 分析して、良さそう
=> 早くABテストしたい
=> 早く本番から呼べるようにしたい
=> 早くAPIを作れる基盤がほしい

8. Bigtable
⼤規模な
Read/Writeができる
KVS

9. GKE
httpでkeyをGETすると
Valueが取り出せるAPIクライアント

10. “key, value”のCSVを
S3にアップロードすると
Bigtableに書き込むデータローダー
GCE

11. user1, item1
user2, item2
user3, item3
…
recommend.csv
をS3にアップロード

12. .js
アプリ
サーバ
user1, item1
user2, item2
user3, item3
…

13. .js
アプリ
サーバ
user1, item1
user2, item2
user3, item3
…
https://endpoint/user1
に対して、item1を返却

14. 「CSV作成バッチ」⽣産の⽇々
=> 効率化したい

15. GAE
BigQueryに対して
クエリを⾃動発⾏する
アプリケーション

16. .yaml
.sql“key, value”を作るSQLと
実⾏スケジュールなどの設定を
pushすると

17. 定期実⾏した
SQLの結果を
データローダーへ
連携して書き込み
.yaml
.sql

18. サイエンティストは
SQLと設定だけ書けば
APIが作成できる世界に

19. もちろん
リアルタイム更新もできます

20. ログ
ログ収集基盤

21. Pub/Sub Dataflow
ログ
ログを使って
リアルタイムなAPIレスポンスの更新

22. .yaml
.sql
.csv
全体像

23. この基盤で作られた
130+ のAPI、活躍してます

24. Jupyterだけで機械学習を
実サービス展開できる基盤 も開発中
https://engineer.recruit-lifestyle.co.jp/techblog/2018-10-04-ml-platform/

25. Cloud Next 登壇などもしています
https://www.youtube.com/watch?v=X_yavAFAE4I
https://pt.slideshare.net/RecruitLifestyle/gcp-118777332
http://www.itmedia.co.jp/enterprise/articles/1809/18/news002.html
https://cloudonair.withgoogle.com/events/cloud-onair-japan-q3-2018/watch?talk=tky_uc_q3&reg=
https://www.slideshare.net/GoogleCloudPlatformJP/cloud-onair-2018712/GoogleCloudPlatformJP/cloud-onair-2018712

26. ⼀緒に開発しませんか！
■Recruiting site: https://engineer.recruit-lifestyle.co.jp/recruiting/
■Tech Blog: https://engineer.recruit-lifestyle.co.jp/techblog/