JAWSUG 20191028

JAWSUG 20191028
初心者はだまって A m a z o n A t h e n a C o d e B a s e N a g o y a 2 0 1 9 . 1 0 . 2 8 来栖川電算取締役山口陽平 J A W S - U G 名古屋データ分析の勉強会 # j a w s u g
話の流れ 1. はじめに 2. Amazon Athena 3. まとめ 4. 付録 2
はじめに自己紹介＆会社紹介 3
山口陽平 @melleo1978 • 所属 – 有限会社来栖川電算取締役 – 名古屋工業大学大学院博士前期課程修了 • 実績 – IPA 未踏ソフトウェア創造事業採択 – Mashup Awards 9 優秀賞受賞 • 興味 – 機械学習，強化学習，UI/UX – 高速化，省資源化，並列分散 ※実物に髪の毛はありません 4
山口陽平 @melleo1978 • ［実践］画像認識を執筆 WEB+DB PRESS Vol.83 – これから画像認識をはじめる人におススメ 5 – OpenCV の使い方や実装例 – SIFTなどの各種アルゴリズムや特定物体認識のしくみ – 精度改善への取り組み方
来栖川電算設立 2003年（名古屋工業大学発ベンチャー）従業員 66人 • SF 世界の技術を実現し、社会に役立てる – AI 技術のライセンス販売・研究・SI • 文字認識，物体認識，動作認識，行動認識 – スマホアプリの企画・制作・運営スマートライフ技術 NTTドコモ様との共同研究スマートドライブ技術大手自動車メーカー様むけメイドさんもふくめて 6
7 AR付箋書籍の中身を検索するアプリ Cellars ワインラベルで情報検索するアプリ画像認識API 商品パッケージで情報検索するAPI 生活情報調査道路沿いの視覚情報を収集し、活用交通情報調査道路沿いの視覚情報を収集し、活用研究開発支援タンゴチュウ写真に写る単語を抽出するサービス走行データ解析周辺環境を認識し、様々な解析に活用地図生成オルソ画像から地物・交通規則を抽出動作推定API 加速度センサで人の行動を推定毎朝体操腕の動きで体操採点するアプリヒーローの動きでゲームを制御なりきり2.0 ーション認識研究開発支援研究開発支援 AHAB 大量の実験と計算資源を効率的に管理 ANNOFAB 高品質なアノテーションを大量に生産可能 DNNコンパイラ DNNの推論を10～1000倍も効率化 GameControllerizer プログラマブル・ゲームコントローラ研究開発支援類似検索類似検索類似検索文字認識物体認識物体認識物体認識物体認識モーション認識モーション認識モーション認識物体認識瞳孔位置推定眼球運動を監視し、眠気の推定に活用
体制 AI に関わる全てを提供できる体制 8 技術者育成プロセス開発ツール開発チーム育成データ収集データ作成サービス開発アルゴリズム研究アルゴリズム開発サービス運営企画
技術者集団様々なアルゴリズムや知識で課題解決 • 最先端の AI 技術 – 文字認識，物体認識，モーション認識 • 限界性能を引き出す優れた実装技術 – 機械学習・コンパイラ・データベースなどのアルゴリズムやバイナリハックを駆使した高精度化・高速化・省資源化・並列化・分散化 • 高品質なソフトウェアを実現する技術 – 言語・アーキテクチャ・プロセスに対する深い理解に基づく設計と計画 9
コミュニティ活動様々な勉強会を主催スタッフ・会場・懇親会費を提供 10
Amazon Athena S3 にあるファイルに SQL で問い合わせできる 11
Amazon Athena S3にあるファイルに SQL で問い合わせできる • 様々なファイル形式・圧縮形式に対応 – Presto（OSS の問い合わせエンジ）のおかげ • CSV, TSV, JSON, ORC, Parquet, … • パーティショニングに対応 – 時系列データを時刻で分割することが多い • 頻繁に問い合わせしないなら安い – 5 $/TB + S3 費用 • クエリのスキャン量に比例する • 10MB 以下のクエリは 10MB 扱いになる 12
使い方は簡単 S3 条のデータをインポートし、SQL で問い合わせるだけ 1. ワークグループの作成 2. データのインポート 3. データへの問い合わせ 4. テーブルのパーティション 5. データへの問い合わせ（パーティション版） 13
1. ワークグループの作成事前準備 14
1. ワークグループの一覧上段の「Workgroup : ～」でいつでもこの画面に来れる 15
2. ワークグループの作成ワークグループの名称とクエリの結果の格納場所を決める 16
3. ワークグループの切替作成したワークグループを選択して切り替える 17
2. データのインポート分析対象のデータが増えるたびにやること 18
1. データの準備分析対象のデータの格納場所を確認する 19
2. テーブルの作成分析対象のデータをテーブルとして取り込む 20
3. 名称と格納場所の指定データの格納場所（フォルダ）を指定する 21
4. データ形式の指定データのファイル形式（今回は TSV）を指定する 22
5. カラムの指定データに含まれる順にカラムの名称と型を指定する 23
6. パーティションの指定カラム値に応じてデータの格納先が決まる（今回はなし） 24
7. スキーマの確認テーブルのスキーマはクエリ（DDL）として確認できる 25
3. データへの問い合わせ分析対象のデータのインポートが終わったらやること 26
1. データへの問い合わせ問い合わせ（今回はフルスキャン）を SQL で記述実行する 27
2. 問い合わせ結果の確認問い合わせ結果はコンソールからすぐに確認できる 28
4. テーブルのパーティションフルスキャンだとお金がかかりすぎると感じたときにやること 29
1. 変換先テーブルの作成年月日でパーティションする変換先テーブルを作成する 30 raw_reports のスキーマを修正すると簡単
2. データの変換変換問い合わせ（insert-select）を記述実行する 31 パーティションに使うカラムを生成する
3. 変換後データの確認スキーマで指定した格納場所を確認する（272 個に分割） 32
5. データへの問い合わせ（パーティション版）パーティションを絞り込めるクエリであれば速く安くなる 33
1. データへの問い合わせパーティションに使ったカラムで絞り込む必要がある 34 パーティション効果（272 ⇒ 5）と Parquet 形式効果により、スキャン量が 1/100 に、費用が 1/10 になった（5 $/TB であるが 10 MB 以下は 10 MB 扱いとなるため）。
2. 問い合わせ結果の確認当然だが、パーティションする前と同じ結果になっている 35
まとめ初心者はだまって Amazon Forecast 36
まとめ初心者はだまって Amazon Athena • とりあえず S3 に入れておけばいい – 頻繁に問い合わせしないデータはとありあえず S3 に入れて、Athena で処理ればいい • コストを抑えるには – Parquet 形式のファイルをパーティションして、パーティションに使ったカラムで問い合わせする – 何気ない問い合わせが膨大なスキャンを発生させるのを防ぐために LIMIT 句を付けよう 37
機械学習名古屋 https://machine-learning.connpass.com/ • 勉強会隔月開催次回：2019年11月16日（土） – 初心者や非エンジニアも含む幅広い層に向けたアルゴリズム紹介・事例紹介・ハンズオン • 研究会毎月開催次回：2019年11月21日（木） – エンジニアや研究者に向けた機械学習関連の論文紹介（これまで109件） 38 次回 Annofab ハンズオン
製品・サービス付録① 39
類似検索膨大なデータの中から類似データを高速・高精度に照合できる 40
画像認識 API 商品パッケージで情報検索する API 商品パッケージが写った画像を送信するだけで、膨大な DB から瞬時に種類を特定。クロールした画像から直接構築した DB を利用。 41
Cellars ワインラベルで情報検索するアプリワインラベルにスマホをかざすだけで、18 万件から瞬時に種類を特定。国内外のコンテストで入賞。株式会社 Cellars 様による弊社技術の応用事例。 42
AR 付箋書籍の中身を検索するアプリ書籍を開いてスマホをかざすだけで、膨大な DB から瞬時にページを特定し、貼られている付箋を表示。お客様による弊社技術の応用事例。 43
物体認識物体の位置・向き・姿勢・種類を高速・高精度に捉える 44
走行データ解析周辺環境を認識し、様々な解析に活用膨大な走行データから歩行者・車両・白線・標識などを検出・追跡し、索引化。必要に応じて、CAN や Lidar なども活用し、高品質化。 45
地図生成オルソ画像から地物・交通規則を抽出自動運転に使用可能な高品質な地図をオルソ画像から高速に抽出できる深層学習手法を開発。株式会社トヨタマップマスター様との応用事例。 46
交通情報調査道路沿いの視覚情報を収集し、活用首都圏を走行する大量の車両のドラレコを解析し、視覚情報（天候，路面状態，レーン別交通量，…）を DB 化。顧客との研究事例。 47
生活情報調査道路沿いの視覚情報を収集し、活用アスクル株式会社様の営業車のドラレコを解析し、視覚情報（ガソリン価格，駐車場満空，渋滞，事故，行列，…）を DB 化。ヤフー株式会社様との共同研究。 48
瞳孔位置推定眼球運動を監視し、眠気の推定に活用スマートグラスで撮影した映像から瞳孔位置・閉眼状態を高精度に推定。個人差・外乱に頑健。エッジで 60 fps。知の拠点あいち重点研究プロジェクト事業。 49
文字認識様々な書体・外乱に対応した 50
タンゴチュウ写真に写る単語を抽出するサービス情景画像（スマホで撮影した写真など）に写る単語を抽出。様々な書体・配置・劣悪な環境（歪み・隠れ・擦れ・照明など）での利用を想定。 51
モーション認識身体の動き・姿勢を高速・高精度に捉える 52
動作推定 API 加速度センサで人の行動を推定スマホやウォッチの動きから静止・歩行・走行・食事・睡眠などを推定。同じ仕組みで撮影時の手振れ検出も可能。株式会社 NTT ドコモ様との共同研究。 53
毎朝体操腕の動きで体操採点するアプリ 100 ヶ国 20 万人を超えるユーザから日々送られてくるセンサデータを学習することで体操採点の正確さが自動改善。JFE スチール株式会社様へ導入。 54
なりきり 2.0 ヒーローの動きでゲームを制御腕や脚に装着したセンサで体の動きを捉え、家庭用ゲーム機のコマンドを生成。格闘ゲームが遊べるほどの速さと正確さをスマホ上で実現。 55
研究開発支援日々使い改良される道具による 56
DNN コンパイラ DNNの推論を 10 ～ 1000 倍も高速化重みや活性の量子化・スパース化、計算の共有などの様々な手法で DNN を近似し、高速化・省資源化された実行形式（Linux・Android・iOS）へ変換。 57
AHAB 大量の実験と計算資源を効率的に管理計算資源をハイブリッドクラウド化する実験スケジューラ。実験のスクリプト化、信頼性や再現性の向上、資源割り当ての効率化などを促進。 58
ANNOFAB 高品質な教師データを大量に生産可能品質と生産性のトレードオフ、誤り漏れの削減、きめ細かく柔軟な仕様・課題・進捗の管理。実務で培ったノウハウが詰まったアノテーションサービス。 59
GameControllerizer プログラマブル・ゲームコントローラゲーム機・PC・スマホなどに接続するだけでゲーム操作をプログラミング可能にするデバイス。ビジュアル・プログラミング（Node-REDなど）にも対応。 60
体制・設備・サポート付録② 61
体制 AI 実現のための全業務をカバー 62 AI アプリ SI インフラ AI インフラデータモデル研究者アノテータデザイナ開発者職種正社員アルバイト合計 24 時／週以上 12 時/週以上 ※即戦力試用期間研究者 20 % 2 % 10 % 0 % 32 % 開発者 15 % 7 % 12 % 3 % 37 % デザイナ 0 % 0 % 3 % 0 % 3 % アノテータ 5 % 23 % 0 % 0 % 28 % 合計 40 % 32 % 25 % 3 % 100 %
設備研究開発を円滑にするためにあらゆる手を尽くす • 理想的な個人設備 ※好きなものが選べる – PC，椅子，モニタ，キーボード，マウス，… • 豊富な計算資源とアノテータ ※使いやすい – Ahab：実験用ハイブリッドクラウド – ANNOFAB：アノテーションサービス • 豊富な独自データ ※世界中からどんどん集まる – 自動運転用データ，商品認識用データ，文字認識用データ，体操採点用データ，… 63
サポート技術を磨きやすくするためにあらゆる手を尽くす • 様々な働き方 – 自由な時間帯・場所，冒険者制度，… • 優秀な同僚 ※メンタリング（JEDI） – IPA 未踏ソフトウェア創造事業採択者，コンテスト入賞者，OSS コントリビュータ，… • その他 ※全て会社負担 – 自己研鑽のための書籍・機材の購入 – 勉強会・懇親会の開催・参加・移動・宿泊 – 会社の昼会・夕会・飲み会で供される飲食物 64
65 募集中研究者開発者デザイナ

Check these out next

JAWSUG 20191028

Recomendados

Mais conteúdo relacionado

Apresentações para você(20)

Similar a JAWSUG 20191028(20)

Mais de 陽平山口(20)

Último(20)

JAWSUG 20191028

JAWSUG 20191028

Recomendados

Mais conteúdo relacionado

Apresentações para você(20)

Similar a JAWSUG 20191028(20)

Mais de 陽平 山口(20)

Último(20)

JAWSUG 20191028

Mais de 陽平山口(20)