リクルート式AIの活用法

リクルート式AIの活用法
株式会社リクルートテクノロジーズ
ITソリューション統括部ビッグデータプロダクト開発グループ
グループマネージャー
石川信行
石川信行
Nobuyuki
Ishikawa
#devsumi B 17-B-3

2Copyright © Recruit Technologies Co., Ltd. All Rights Reserved.
1
2
A3RT概要3
4
本日の内容
プロダクトとそのユースケース
5
はじめに
まとめと今後6
「AI」の捉え方
R&Dについて

はじめに

趣味etc
学歴
略歴
所属  リクルートテクノロジーズ ITソリューション統括部
ビッグデータプロダクト開発G グループマネージャー兼アドバンスドテクノロジーラボ
 株式会社ミラセンシズ代表取締役 CEO
神戸大学大学院農学研究科
害虫制御学専攻
リクルート新卒入社８年目。
カーセンサー.netで営業研修、Javaを用いたシステム開発に参加し、その後
Hadoopの導入検証に従事。
主要事業にHadoopを導入したのちビッグデータGに合流。現事業対応リー
ダー、画像解析など技術開発に従事。
シニアアーキテクトとしてプロフェッショナル職になった後に、現職。
海水魚飼育
外国産昆虫飼育
スキューバダイビング
自己紹介

リクルートのビジネスモデル
さまざまなドメインでマッチングモデルに基づいたビジネスを展開。
Matching
Business
HR
Bridal
Group
Buying
Used
Cars
Travel
Real
Estate
Beauty Gourmet
Social Games
E-Commerce
Ad Network
New Business
Consumers Enterprise

リクルートの事業領域
「選択」をサポートするような情報サービスを展開
Life event area Lifestyle Area
Travel
IT/ TrendLifestyle
Health & Beauty
Job Hunt
Marriage
Job Change
Home Purchase
Car Purchase
Child Birth
Education

リクルートテクノロジーズの立ち位置
Infrastructure
/Security
Project
Management
UXD/SEO
Internet Marketing
Big Data Solutions
Technology R&D
Systems
Development
リクルートホールディングスは7つの主要事業会社と３つの機能会社から成り立っている。
Recruit
Holdings
Recruit Career
Recruit Sumai Company
Recruit Lifestyle
Recruit Jobs
Recruit Staffing
Recruit Marketing Partners
Staff service Holdings
Recruit Technologies
Recruit Administration
Recruit Communications
Business/
Service
Function/
Support

ビッグデータ解析部門の組織体制
ITソリューション統括部
・
・
・
ビッグデータビジネス
コンサルティング
グループ
ビッグデータ人材領域
グループ
ビッグデータ販促・
バイト領域グループ
ソリューションを軸
とした予測、BI、競
合分析
人材領域を軸とした
各種レコメンドの開
発
販促・バイトを軸と
した各種レコメンド
の開発
ビッグデータＩＤ・
ポイント領域グループ
IDポイントを軸とし
た各種レコメンドの
開発
ビッグデータプロダクト
開発グループ
ビッグデータインフラ
グループ
ＩＤポイントビッグ
データシステムグルー
プ
ソリューションを軸
とした各種R&D系
プロダクトの開発
ビックデータ基盤の
構築・運用
ビックデータ部
IDポイントPRJの基
盤の
構築・運用

プロダクト開発Gのミッション・ポリシー
 最新技術をいち早く検証・実装し、誰でも早く簡単に利用できるビッグデータ・プロダクトまで
実装を深め、リクルートグループすべての人たちに提供する。最近は必然的にAIといわれる
領域の技術が多い。
 基本的に、技術は使ってもらわないと意味がない。施策出口のアイディアは常に膨らませて
おく。
 各プロダクトごとにプロダクトオーナー制を敷く。プロダクトオーナーにはプロダクトに関するすべ
ての責任と報酬が乗ってくる。
 最終目的（導入件数やKPI目標）の設定後は、切り取り次第。手段も自走して考える。

「AI」の捉え方

『リアル・スティール』
映画のパッケージ
『Ａ.Ｉ. 』
映画のパッケージ
昨今のAI事情
 私自身、AIという言葉は好きでありません。
 それでも自分をだましだまし使っています。説明が格段にわかりやすく
なるからです。
出典：http://movies.yahoo.co.jp/movie/A.I./163028/ 出典：http://movies.yahoo.co.jp/movie/%E3%83%AA%E3%82%A2%E3%83%AB%E3%83%BB%E3%82%B9%E3%83%86%E3%82%A3%E3%83%BC%E3%83%AB/339986/

AIとは
 割愛

 AIのスコープをぎゅっと絞り、リクルート内では深層学習が得意とする特徴量抽出の自動化
にフォーカス。
 例えば、
特徴量抽出にフォーカス
(0,0,1,0,0,0・・・・
・・・・・・・・・・・・・・
・・・・・・・・・)
自動特徴抽出
ベクトル化
角がある
足が6本
茶色
・・・
無意識の
特徴抽出
ラベルと特徴
の紐付
predict
カブトムシっぽい
例えば500枚以上
predict
似てるけど違う。

AIの施策適応のスコープ
 特徴抽出はテキストの分類や画像の分類、文章作成、校閲など人が無意識に頭の中で
行なっている作業。
 この特徴抽出という作業は、社内を見渡せばあちらこちらに存在する。
 人が属人的なルール、感覚で判断していて、なおかつルーチンな業務が多い。
 特徴抽出の自動化ができれば、人の簡単な行動を機械で模倣ができる・・・はず。
人の単純作業の一部リプレイスを施策出口候補へ

AI案件推進の際に必要な要素
AI案件推進のために必要なもの
教師データ
アルゴリズム
モデリング、チューニングノウハウ
施策適応
・施策とモデル、アルゴリズムを結びつける知識が必要
・AIとよばれるもののメリデメを説明することができる
→重要であるが、実はこの層の人材が枯渇
・機械学習やAIの仕組み理解
・パラメータチューニングなどの勘所
・アルゴリズムの選択
→採用や、他の企業ごと人を買収
Ex）salesforce社→metamind
IBM社→AlchemyAPI
• オープンソースの利用
• 社外の商用製品の利用
・自社データ
・クラウドソーシングで集める
・データ購入
・まだ取得できていないデータを収集・顕在化
プロダクト開発Gの
メンバーがサポート。
リクルート内に
ある豊富なデータ源
＋
経験。

A3RT概要

A3RTの導入
 リクルートテクノロジーズでは社内での機械学習並びにDeep Learningなどに代
表されるAI系ロジックを同一ブランドで統一・整備をし、社内に展開している。

開発・構築にいたった理由
案件ごとのフルスクラッチ開発
一番自由度が高く最適な機能が作れる。
一方、一から検討・開発するため、ど
うしても時間・コストがかかるので、
全てのケースに対応できない
外部のAPI群
 一部は活用すべきだが、リクルートグ
ループでの活用にそのまま使える機能
が不足。汎用性が仇になる。
【効果的な機能】リクルートグループ特化による効果的なソリューションの開発。
【導入しやすさ】リクルート汎用的な機能についてはAPI化。
導入の迅速化／低コスト化。
【最新技術】バックエンドのアルゴリズム、インフラ環境も常に最新かつ適
切なものが適用できるよう継続的に検証。
【効率など付加価値】オペレーション部分にも最新技術を適応。
精度／運用効率向上に向けた取り組みを継続的に実施。
（DeepLearningの自動パラメータチューニング機能他）
 リクルートグループにおいて機械学習によるソリューション活用の敷居はまだまだ高く、活用をス
ピードアップ・拡大するためには設計～開発～運用に工数が多くかかっていた。
 データ活用・ロジック作成に気を取られ、ビジネス活用まで考えがいたらない状況。

A3RTサービス一覧
 A3RTでは現在、下記のようなAPIサービスを整備・開発。
 これまでデータ活用が数多く進んでいるカスタマーサイドだけではなく、クライアントサイド、営業
シーン、制作業務などでの利用を想定し開発している。
レコメンド
バナーターゲティング
OCR 画像解析
原稿サジェスト
文章校閲文章要約
文章分類音声テキスト化
屋内位置測位
ChatBot（協働開発）
転移学習
マルチモーダル
データマスキング（協働開発）

API化による効率化
リクルート内サービス
モデル化
API
API
API
モデル・技術共有
コール
再学習
モデル・ナレッジのプーリング
APIによる設計効率化

プロダクトとそのユースケース

AI案件推進の際に必要な要素
AI案件推進のために必要なもの
教師データ
アルゴリズム
モデリング、チューニングノウハウ
施策適応
・施策とモデル、アルゴリズムを結びつける知識が必要
・AIとよばれるもののメリデメを説明することができる
→重要であるが、実はこの層の人材が枯渇
・機械学習やAIの仕組み理解
・パラメータチューニングなどの勘所
・アルゴリズムの選択
→採用や、他の企業ごと人を買収
Ex）salesforce社→metamind
IBM社→AlchemyAPI
• オープンソースの利用
• 社外の商用製品の利用
・自社データ
・クラウドソーシングで集める
・データ購入
・まだ取得できていないデータを収集・顕在化
メンバーがサポート。
リクルート内に
ある豊富なデータ源
＋
経験。

施策接続の中でエンカウントする現場の勘違い
 精度を100％にしたい。
 そもそも人間が作った教師データが100％の精度ではないことを知るべし。
 データあります。
 ただ教師データがあるのと使える形式の教師データがあるというのは話が違う。
 とにかくAIをやりたい病。
 目的なくして、技術の意味なし。
 一撃必殺の最強魔法の類と思っている。
 何かパッと持ってきて、すぐできて、一発OK運用なし。

今回ご紹介するプロダクト
画像解析文章校閲文章分類
一部転用

Image Paradise 画像解析API

Convolutional Neural Network
Convolutional層
パッチごとに複数の特徴を抽出
Pooling層
周辺の特徴量をまとめ上げ、
新たな特徴量として再設計することで次元圧縮

利用する環境とライブラリ
インフラ CNN用ライブラリ

カーセンサー：写真からの車種判別機能
事例紹介①

背景
かっこいい！
名前は？
名前わかんね
大きな
機会損失

自動車車種判定
 自動車を良く知らない初心者の人間にとって、車種や自動車メーカーの名前を知ることは難しく、
より直感的に自動車を探すことができるインターフェースが必要と想定。
 画像判別により車種を判別できる機能を開発し、初心者フレンドリーなインターフェースを実現。
 判別精度は人気車種上位30種類において90％以上にものぼる。
既存の検索導線へ

車種判別フロー
…
…
…
CNNで作成した
車種判別モデル車の写真
2674車種
・ワゴンR
・プリウス
・フィット
・フェラーリ
・エスティマ
・
・
・2674車種の精度
68.2%

学習データの作成に工夫
外装
ラベル名画像例
内装
トランク
ダッシュ
ボード
その他
学習枚数
約3500枚
約2000枚
約1000枚
約1000枚
約2500枚
内装〜その他を判別する
モデルを先に作成。
カーセンサーの約40万物件
の画像を全て投入
外装と判別された約80万枚を
そのまま学習に利用

学習データの自動収集の仕組み作り
課題として流通量が少ない車種(＝学習枚数少ない)は
精度が低く、継続的な学習の仕組みづくりが必要。
利用者に正解を
フードバックしてもらう機能を実
装し、再学習のスピード。
画像とラベルがセットで蓄積で
きるので、追加学習が可能！
AIは一撃必殺の魔法ではなく、基本的に継続的に学習させ、改善していくものである。
このような認識を関係者各位に周知させ、継続的学習の仕組みを自ら推進し作っていと
いった「AIの概念周知」は重要なファクターのひとつである。

事例紹介② カーセンサー色タグ付与
• カーセンサーでは、一物件
につき、20枚くらいの画像
が存在
• これに外装・トランク・ダッ
シュボード・内装・その他な
どラベルを振り、内装判別
用のモデルを作成
内装の確率が一番高い
画像を探索
色を抽出して、最も広範囲に利用
される色をシートの色として判別
範囲が多い順に
・ライトブルー
・黒
・・・
→シート色のタグとして、
「ライトブルー」を付与！
学習データ収集内装画像探索内装色判別
内装判別をするための学習データ
収集
1 2 3
 「メディアで不足・もっと見たかったクルマの情報」を調査したところ、1位が「クルマの内装の写真」であること、
また、約 35％の回答者が、中古車の「内装」を重視してクルマ選びをしていることが判明。
 一方で既存メディアには内装色で検索という機能が存在しない。

Linné 文章分類API

リクルートにおいてテキストが持つ重要性
原稿に不備があると。。。
いい求人ないかなー？？
業界No1の実績を誇ります。
No1

TEXT CLASSIFICATION API : Linne
今回はクチコミの審査効率化を目的として利用
大量のクチコミ
見きれない！
！
チェック項目多す
ぎ！！
掲載OK
掲載NG
大量のクチコミ
掲載OK 6%
掲載NG 94%
たしかにNG
！！
掲載NG

今回の学習データはテキストとラベルの対
私はタコです。審査OK
あなたが嫌いです。審査NG
あなたが嫌いではないです。審査OK
赤ちゃんLinne
大量に教え込ませる
審査OK
なんでこんなんもわからんのや
賢いLinne

ConvNetは画像のためのモデル
→入力は32×32(×3)の行列orテンソルで固定長
私はこの景色が好きだ。
Embedding
私
僕
女
男
景色
好き
各単語をn次元ベクトルに変換
私はこのだ。 <eos>
…
n次元ベクトルを並べて行列作成

固定長に対応するために、パディングを行う
私はこの景色が好きだ。(8単語)
私は阪大出身です。(6単語)
小さいときから英語が得意でした。(9単語)
列数が9になるようにpadding

学習の手順
私はこの景色が好きだ。
形態素解析
[ 私, は, この, 景色, が, 好き, だ, 。]
Embedding
学習データ [“私はこの景色が好きだ。”, 審査OK]
審査OK
掲載OK 78%
掲載NG 22%

AWS cloud
クチコミテキスト
掲載OK 78%
掲載NG 22%
各ラベルへの帰属確率
クチコミ審査者
掲載OK
実際の活用フロー
教師学習がまだまだ主流の今、１００％の精度はありえない。まずは過度な期待をせず
に、できるところからAIを用いて人の作業負担を減らし、
共に成長していく仕組みづくりが必要である。

テキスト分類ロジックをChat-Botへ応用
によるQA分類ロジックを利用

日常会話領域での最新技術の利用
感情指定返信学習
「〜な感情で応答せよ」という指令を質問文にラベル付けすることで、
所望の感情での回答を行う機能を実装。
対話破綻学習
質問文がそれにふさわしいかどうかをロジスティック回帰により判定す
る仕組みを取り入れ、回答のふさわしさという観点で精度向上を
図っている。

ARGON 文章校閲API

document proofreading api : ArGON
Customer Client
原稿
原稿
原稿
求人原稿に間違いがあると、マッチングの機会損失に！！
なので人手と時間をかけて大量の項目をチェックしている

原稿の校閲の自動化
校閲項目実現方法
説明会などの日付が過去の日付にな
っていないか？
ルールベース
日付と曜日がずれていないか？ルールベース
電話番号は正しいか？
桁数などをチェックする
ルールベース
差別表現は含まれていないか？ルールベースと機械学習
誤字脱字機械学習
住所は正しいかルールベース
*校閲項目の一部抜粋

なぜ機械学習が必要か？？
“私は妄奏する。”
→“妄奏”という単語は存在しないので辞書と突き合わせればOK
“税金を収める。”
→”納める”が正解だが”収める”も辞書には存在している
“税金が納める。”
→文章として不自然。”が”ではなく”を”が適当。
単語ごとにみるのではなく文脈（系列）を読み取る必要

“水は私達の生活は欠かせない。”input
文章としておかしくしている単語を検知
代わりとなる単語をサジェストoutput
“水は私達の生活【は】欠かせない。”
“に”ではありませんか？

Recurrent Neural Network （系列データに対してのNeural Network）
例えば、
(1) 音声データ（波形）
(2) 文書データ（単語）
(3) 映像データ（画像）

文書データに関しては、特定の文字列の後にくる単語の予測
ここには動詞がくるはず
主語がHeなので
三人称単数形
文章の構成に使われているルールを学習させて予測をする
→誤字脱字の検知に使えるのでは？？

Recurrent Neural Network
xt h1t h2t yt
h2t-1
前の系列(t-1)の時の中間層の状態を利用して学習
考え方的には過去の系列全ての状態を考慮して学習できる

何度も掛け算をするため重みが爆発したり、勾配が消失する
結果、長期的な依存性がなくなる
input
hidden
output
time t-q t-5 t-4 t-3 t-2 t-1 t
〜〜
…

勾配消失問題を解消するために特殊な隠れノードを追加したモデル
xt
ht-1
xt ht-1 xt ht-1
ht
×1.0
tanh tanh
sigmoidsigmoid
input gate output gate
Constant Error Carousel

input embed LSTM output
embed層では各単語の特徴ベクトルを算出する（次元削減）
outputでは総和が1となる確率ベクトルを出す
ネットワーク全体

学習フェーズ
“私は野球が好きです。”
“野球”
target
“が”

予測フェーズ
“私は野球に好きです。”
“野球” “私は野球”
“に”の確率
高い確率の単語は？

48549units 400units 400units 48549units400units
input
embed
LSTM
(GRU)
outputFeed
Forward
＋
Deep Residual Learning

ArGonのデモ

R&Dについて

R&Dによるデータ解析活用ポリシー
etc
 内製開発、内製ロジック作成やオープンソース利用のみが、技術によるビジネス貢献ではない。
 常に情報を探り、集め、あらゆる手段でデータ解析をビジネス貢献の手段として確立させるようベストを尽くす必要がある。
Etc…

スタートアップ協業シリーズ
 海外出張によって訪問した現地（イスラエル・US）の先進スタートアップ企業とディスカッション。
 プロダクト利用だけではなく、協働検証・開発なども行っている。
社内検証
インフラ
オペレーションAI
類似画像
アフィリエイト
屋内位置情報測位
説明会などイ
ベントでの流
量分析想定
ビッグデータ
部内部Hadoop
環境での利用
画像を生かし
た媒体間の
クロスユース
屋内位置情報取得
によるカスタマー
情報リッチ化
社内インフラ運用
のモニタリングを
知見習得？
インターネット中
の画像を集客元に

Cotori –屋内位置測位
 GPSではできない屋内の測位を正確に行うSDK。
 屋内でGPSと同じようにトラッキングをしたり、非常
に小さいジオフェンスを貼ることが可能。
 またwifiや地磁気の情報を使用するため非常に省電力
で動くことが特徴
 オフラインイベントなどでの解析に利用できないかを
検討中。
×

半教師有り学習による精度向上
• VATを用いた半教師有り学習
• 半教師有り学習：少量の教師付きデータと大量の教師なしデータを用いて、比較的高精度のモデル
作成する手法。
mnist[0~9の手書きデータ]を利用し、
以下を検証。
・60000万枚の画像を学習に使った精度
・各枚数を学習に利用した時の精度
・各枚数を教師有り、残りを教師なしと
して学習した精度
教師有りを600枚使っただけで、ほぼ
60000枚全て利用した時と同様の精度が
得られていることがわかる。
学習利用枚数
誤
差
率
(%)
大量の画像全てに正解ラベルを付与しなくても良い。
よって、学習データの収集コストが大幅に下がることが期待できる。

まとめと今後

AI案件を回すのに必要な力
技術力
施策接続
コミット力
情報力

データ解析の利用シーン拡大
customer
Client
Attracting
customers
Select Action Effect Information
published
Target
client
Matching
 cross tabulation
 Recommendation
 Image search
 Advertising expenses
optimization
 Ad Targeting
 Manuscript reviewer
 Auto review
 Article creation support
 Sales support
 Competitive analysis

大切にしたいこと
データの活用周りの商品（エンタープライズ、オープンソース問わず）、
ロジック、活用事例などの最新情報をなるべくキャッチしておく。
どんなデータでも扱えるように知見を集約しておく、難しい技術や課題
にも積極的にチャレンジしていく。
コードのオープンソース化が進み、競合優位要因が「コード保有」から
「データ保有」「施策接続力」にパラダイムシフト。ビジネスの感覚も忘れ
ずに、事業と二人三脚で案件を進める。
１
2
3

速報
A3RT-APIの一部を社外公開すべく鋭意準備・開発中です！
どうぞご期待ください。

ご静聴ありがとうございました
リクルートテクノロジーズ

リクルート式AIの活用法

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (20)

Semelhante a リクルート式AIの活用法

Semelhante a リクルート式AIの活用法 (20)

Mais de Recruit Technologies

Mais de Recruit Technologies (14)

Último

Último (7)

リクルート式AIの活用法