Mais conteúdo relacionado Semelhante a Lecture univ.tokyo 2017_okanohara (20) Mais de Preferred Networks (20) Lecture univ.tokyo 2017_okanohara2. 会社紹介:Preferred Networks, Inc. (PFN)
設 立:2014年3月
所在地:東京都千代田区大手町(日本)、カリフォルニア州サンマテオ(米国)
取締役:西川 徹、岡野原 大輔、長谷川 順一
出資者:NTT(2014年)、Fanuc(2015年)、Toyota(2015年)
従業員:約90人 殆どが研究者、エンジニア
ミッション:
IoT時代に向けた分散知能を備える新しいコンピュータを創造する
事業内容: IoT(Internet of Things) + 分散機械学習
⁃ 交通システム
⁃ 産業用ロボット
⁃ バイオヘルスケア
2
We are hiring!!
3. Preferred Networks’ positioning in AI: Industrial IoT
Humanoid Robot
Consumer Industrial
Cloud
Device
PhotoGameText
Speech
Infrastructure
Factory Robot
Automotive
Healthcare
Smart City
Industry4.0
Industrial IoT
9. 9
代表的な学習手法
教師あり学習
⁃ 入力xから出力yへの写像 y=f(x)を獲得する
⁃ 学習データは正解のペア{(x, y)}
教師なし学習
⁃ データの隠れた構造を獲得する
⁃ 学習データはデータの集合{(xi)}
強化学習
⁃ 環境において将来期待報酬を最大化する行動を獲得する
⁃ 学習データは自分がとった状態とその時の報酬{(x, ri)} [Doya 99]
15. 15
ディープラーニングの学習 (2/4)
歯車の例(誤差逆伝播法を理解するため)
問: Aを1回転させるとDは何回転するか?
Cを1回転させるとDは16/12回転
⁃ これを dD / dC = 16/12 と書く(Cをd動かすとDは16/12d動く)
Bを1回転させると,dC / dB = 8/16のため,dD/dB =(16/12)(8/16)=8/12
dD/dA = (dD/dC)*(dC/dB)*(dB/dA) =10/12 答え: 10/12回転
A
B C
歯の数が10
8
16
D
12
16. ディープラーニングの学習 (3/4) 誤差逆伝播法
出力からエラーの勾配をデータの流れとは逆に流す
– 出力を変えたら、最終目標lがどのように変わるか
– 各パラメータについての勾配を正確に求められる
x1
x2
x3
+1
r s
ly
y*
yを動かしたら
lがどのように
変わるのか
sを動かしたら
lがどのように変
わるのか
wを動かしたら
lがどのように変
わるのか
w
=r
20. 深層学習 = 表現学習、一貫学習(end-to-end学習)
データをどのように表現するか(表現学習)
全モジュールを誤差逆伝播法で一貫して学習
⁃ モジュール毎の局所最適化の問題がない
⁃ 信用割り当て問題(誰に間違った責任があるか)を自然に解く
20/50
特徴設計
ルール
・
プログラム
タスクの学習
ルールベース
浅い機械学習
(決定木、RF、SVM、
ロジスティク回帰など)
深層学習
タスクの学習
表現学習
(特徴設計)
人手 データから自動獲得
一貫学習
23. 形は可変、多様な計算手法、つながり方
2015年〜現在
x_1 h y_1
x_2 h y_2
x_3 h y_3
t=1
t=2
t=3
x_4 h y_4t=4
BPTT length = 3
Input word OutputRecurrent state
Stochastic Residual Net, Huang+, 2016
Recurrent NN
FractalNet, Larsson+, 2016
RoR, Zhang+, 2016 23
Dense CNN, Huang+, 2016
38. PFNがん研究所 (PCRI)
東京大学産業連携プラザ内に設立
PCRIでは、次世代シークエンサー
を利用したウェットラボを立ち上げ、最新
最先端のAIとバイオテクノロジーの
研究・産業化を進めている
特に次の分野に注力
1)新規がん診断法の確立
2)ゲノム分析によるがん治療
方針の決定、最適治療薬の
選択や術後の予測、
3)それぞれの患者に適応した
個別化創薬
3
8
2016年10月3日設立
57. 57
学習データをどのように集めるか
重要で大量のデータをいかに集めるか
ライフサイエンスの事例:Grail
⁃ Illumina発のスタートアップ、GoogleX, Illumina取締役の
Jeff HuberがCEO、アドバイザに各分野の重要人物
⁃ $900millionをシリーズBで調達し、がんの血液検査(Liquid Biopsy)によ
る早期発見を実現するために数十万人の患者のゲノムデータを集める
技術を組み合せ工夫して、データの数を増やせるか?
⁃ 例えばiPS細胞+ゲノム編集+Single Cell+次世代シーケンサ
を使った疾病モデルの網羅解析
時間解像度をどのようにあげられるか?
⁃ 現状多くのライフサイエンスデータはスナップショット
59. 59
今後の機械学習/深層学習が必要とする計算リソース
1E〜100E Flops
自動運転車1台あたり1日 1TB
10台〜1000台, 100日分の走行データの学習
バイオ・ヘルスケア
音声認識 ロボット/ドローン
10P〜 Flops
1万人の5000時間分の音声データ
人工的に生成された10万時間の
音声データを基に学習 [Baidu 2015]
100P 〜 1E Flops
一人あたりゲノム解析で約10M個のSNPs
100万人で100PFlops、1億人で1EFlops
10P(画像) 〜 10E(映像) Flops
学習データ:1億枚の画像 10000クラス分類
数千ノードで6ヶ月 [Google 2015]
画像/
映像認識
1E〜100E Flops
1台あたり年間1TB
100万台〜1億台から得られた
データで学習する場合
自動運転
10PF 100EF100PF 1EF 10EF
P:Peta
E:Exa
F:Flops
機械学習、深層学習は学習データが大きいほど高精度になる
現在は人が生み出したデータが対象だが、今後は機械が生み出すデータが対象となる
各種推定値は1GBの学習データに対して1日で学習するためには
1TFlops必要だとして計算
学習を1日で終わらせるのに必要な計算リソース
62. Chainer as an open-source project
https://github.com/pfnet/chainer
101 contributors
2,128 stars & 564 fork
7,335 commits
Active development & release
⁃ v1.0.0 (June 2015) to v1.20.1 (January 2017)
62
Original developer
Seiya Tokui
64. Define-by-Run
# 構築
x = Variable(‘x’)
y = Variable(‘y’)
z = x + 2 * y
# 評価
for xi, yi in data:
eval(z, (xi, yi))
# 構築と評価が同時
for xi, yi in data:
x = Variable(xi)
y = Variable(yi)
z = x + 2 * y
データを見ながら
違う処理をしてもよい
Define-and-Run Define-by-Run
64