闇のニコニコ学会β - 闇と欲望とコンピュータビジョン
Seu SlideShare está sendo baixado.
×
Confira estes a seguir
Mais Conteúdo rRelacionado
Semelhante a ae-6. 顔情報処理 (20)
Mais de kunihikokaneko1 (20)
Mais recentes (20)
ae-6. 顔情報処理
- 1. 6. 顔情報処理 1 金子邦彦 （ディープラーニング，Python を使用） （全１５回） https://www.kkaneko.jp/cc/ae/index.html
- 2. 2 顔検出 顔のコード化 顔のアラインメント 顔ランドマーク 性別の推定，年齢の推定
- 3. 機械学習 • 学習による上達の能力 • 訓練データを使用して，学習を行う 3
- 4. 画像理解の主な種類 ① 画像分類 「何があるか」を理解 ② 物体検出 場所と大きさも理解 ③ セグメンテーション 画素単位で領域を理解 4 person bicycle person bicycle
- 5. 物体検出 5 バウンディングボックス， ラベルと確率 バウンディングボックスは， 物体を囲む最小の四角形 person bicycle car
- 6. 畳み込みニューラルネットワーク（CNN） さまざまなバリエーション 6 畳み込みニューラルネットワークは，畳み込み 層と，プーリング層を交互に繰り返すディープ ニューラルネットワーク 畳 み 込 み 層 • 畳み込み層 ・・・ パターンの識別 • プーリング層 ・・・ 画像の小移動に対して， 出力が不変になる 畳 み 込 み 層 畳 み 込 み 層 畳 み 込 み 層 畳 み 込 み 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層 プ ー リ ン グ 層
- 7. ディープラーニングへの期待 7 「ディープニューラルネットワークの利用により， さまざまなレベルのパターンを抽出・認識できるようにな る」という考える場合も 「より出力に近い層では， より高次のパターンを 認識したい」という 考え方も
- 8. アウトライン 8 番号 項目 6-1 顔画像処理 6-2 顔画像処理の種類 6-3 顔検出 6-4 顔ランドマーク 6-5 顔検証，顔識別や顔認識 6-6 顔情報処理の演習 各自，資料を読み返したり，課題に取り組んだりも行う
- 9. 9 顔検出 ■ 物体検出は，顔検出の基礎 ■ 物体検出のAIを，顔画像で学習することにより 顔検出が可能 物体検出
- 10. 顔ランドマークと顔のコード化 10 顔のコード化 顔による本人確認や， 個人の特定の基礎 顔ランドマーク （顔の目印となるポイント） 【用途】 顔のコード化， 顔識別（本人の特定）や顔認識， 年齢の推定，性別の推定， 表情の推定，顔の３次元再構成 など，さまざまな用途に
- 11. 6-1. 顔情報処理 11
- 12. • 顔識別（本人の特定）を行い，鍵代わりに使用 12
- 13. 13 過去，写真の中の顔が誰であるかを，自動で 特定， SNS のタグ付けが行われてきた この機能を廃止するというニュースも (2021年) 便利さより ⇒ プライバシー，人権が重要に
- 14. 14 職場での行動把握 ・「顔」が本人の特定の手掛かり ・適切な監視により，安全が高まるという 考え方も（プライバシ，人権の尊重は前提）
- 15. 群衆のカウント • 群衆のカウント（画像内の人数を数える） • 監視等に役立つ． 15 元画像 FIDTM 法による群衆のカウント FIDTM 法（2021年発表）は， それ以前の手法よりも，さまざま な大きさの顔を精度よく検出 できるとされている
- 16. マスク有りの顔，マスク無しの顔検出 Chandrika Deb の顔マスク検出法では，次を同時に実行 • 顔検出 • マスク有りの顔とマスク無しの顔の画像分類 16 マスク有りの顔検出 マスク無しの顔検出 訓練データ：顔のデータセット（マス ク有り: 2165 枚，マスク無し 1930 枚）
- 17. 顔写真からの３次元再構成 3DFFA 法（2022年発表） • 元画像から，３次元の顔を生成（３次元再構成） • 顔検出，顔ランドマーク（顔の目印となるポイント）の検 出ののち，ランドマークに顔の３次元モデルをあてはめる 17 元画像 顔ランドマーク ３次元再構成
- 18. Face aging 元の顔画像から，さまざまな年齢の顔画像を生成 18 Ali Elmahmudi, H. Ugail, A framework for facial age progression and regression using exemplar face templates, 2020.
- 19. 顔情報処理の用途 • 顔による本人確認 • 集団行動解析，人流解析，人数推定 • その他 表情の推定，年齢判定，３次元再構成， 顔のセグメンテーション，顔画像の生成 など 19
- 20. 6-2. 顔情報処理の種類 20
- 21. 顔検出 (face detection) 顔検出 写真やビデオの中から， 顔を検出すること ・顔の場所と領域を検出 ・複数ある場合にはすべ て識別 21
- 22. 顔のアラインメント 顔のアラインメント 顔の向き，大きさをそ ろえる 22
- 23. 顔ランドマーク (facial landmark) 顔ランドマーク まゆげ，目，鼻，くち， 顔の輪郭など，顔の目 印となるポイント 何をランドマークとす るかで，さまざま種類 がある 23 顔の ６８ランドマーク
- 24. 顔のコード化 • 顔のコードは，複数の数値（ふつう１００以上）の組み合 わせ • 顔画像から，顔ランドマークを求め，顔のコードを得る • さまざまな用途：顔識別（本人の特定），顔認識，年齢の 推定，性別の推定，表情の推定，顔の３次元再構成など 24 顔検出， 顔ランドマーク 数値化
- 25. 顔検証 (face verification) 顔検証 ２つの別の写真ある いはビデオを照合し， 同一人物であるかを 判定すること ※ 顔識別（本人の特 定）や顔認識は類似 の処理 25 同一人物である 同一人物でない
- 26. 表情の推定 26 • ここでは，７種の表情 Angry, Disgust, Fear, Happy, Neutral, Sad, Surprised のそれぞれの確率を推定 • https://github.com/ezgiakcora/Facial-Expression-Keras で公開されている成果物
- 27. 年齢の推定，性別の推定 27
- 28. 顔情報処理のバリエーション • 顔検出 • 顔のアラインメント • 顔ランドマーク検出 • 顔のコード化 • 顔検証 • 顔識別（本人の特定）や顔認識 • 年齢の推定，性別の推定，表情の推定 • さまざまな応用 群衆のカウント，マスク有り顔に関する処理， 顔の３次元再構成など 28
- 29. 6-3. 顔検出 29
- 30. 30
- 31. 顔検出を行う AI 31 コンピュータ プログラム データ （入力） 顔検出結果 顔画像と バウンディングボックス 訓練データ • 顔検出を行う AI は教師あり学習である • 顔検出は，物体検出が基礎となる 顔画像の例
- 32. 顔検出と畳み込みニューラルネットワーク 32 Mei Wang, Weihong Deng, Deep Face Recognition: A Survey, arXiv:1804.06655, 2018. 「畳み込みニューラルネットワークの利用により，さまざま なレベルのパターンを抽出・認識できるようになる」という 考える場合も
- 33. まとめ • 顔検出を行う AI は教師あり学習である • 顔検出は，物体検出が基礎となる • 多くの場合，畳み込みニューラルネットワークが 使用される 33
- 34. 6-4. 顔ランドマーク 34
- 35. 顔ランドマークの検出 ディープラーニングによる顔ランドマークの検出は 2013年 に登場 35 Yi Sun, Xiaogang Wang, Xiaoou Tang Deep Convolutional Network Cascade for Facial Point Detection, 2013 畳み込みニューラルネットワーク を使用
- 36. ５ランドマークの検出結果 36 • 右目，左目，鼻の５つのランドマーク
- 37. ６８ランドマーク 37 https://www.researchgate.net/figure/dentification-of-facial-landmarks- using-Dlib-a-Facial-landmarks-b-The-position-and_fig2_343699139
- 38. ６８ランドマークの検出 • 顔の所定の箇所に設けられた６８個のランドマーク 38
- 39. まとめ • 顔ランドマークは，顔の目印となるポイントであ る • さまざまな種類がある ５ランドマーク，６８ランドマーク，その他 39
- 40. 6-5. 顔検証，顔識別，顔認識 40
- 41. 顔のコード化 • 顔のコードは，複数の数値（ふつう１００以上）の組み合 わせ • 顔画像から，顔ランドマークを求め，顔のコードを得る • さまざまな用途：顔識別（本人の特定），顔認識，年齢の 推定，性別の推定，表情の推定，顔の３次元再構成など 41 顔検出， 顔ランドマーク 数値化
- 42. 顔検証 (face verification) ２つの別の写真あるいはビデオを照合し，同一人 物であるかを判定する 42 同一人物である 同一人物でない 顔の コード 顔の コード 比較 （距離計算） または
- 43. 顔認証 顔写真について，本人の特定を行う 43 顔の コード 顔の コード 比較 （距離計算） 本人である 本人でない または 精度の向上のため， 多数の写真と比較 顔の コード 顔の コード
- 44. 顔認識 • データベース内の顔写真との比較により、人物を 特定する 44 データベース 顔の コード 顔の コード 顔の コード 顔の コード 顔の コード 顔の コード 顔の コード 顔の コード 顔の コード 顔の コード 比較 （距離計算） 写真内のそれぞれの人物が 誰なのか
- 45. 距離学習 距離学習は，ディープラーニングでの顔検証，顔識 別，顔認識の基礎となる技術 距離学習では，次を目標に AI が学習する ・同一人物の顔のコードは，別の写真であっても近 い値になる ・違う人物の顔のコードは，離れた値になる 45
- 46. 全体まとめ • 顔検出の技術のベースは、物体検出である • 顔情報処理のバリエーション 顔検出，顔のアラインメント，顔ランドマー ク検出，顔のコード化，顔検証，顔識別や顔 認識，年齢の推定，性別の推定，表情の推定， 群衆のカウント，マスク有り顔など • 顔情報処理のさまざまな処理（顔検出、顔ランド マーク検出、距離計算） • ディープラーニングを利用 • 多くの場合、畳み込みニューラルネットワークが利用 されている 46
- 47. 6-6. 顔情報処理の演習 47
- 48. Google Colaboratory の使い方概要 ① 48 Google Colaboratory ノートブック コードセルの再実行や変更には， Google アカウントでのログインが必要 実行 コードセル
- 49. テキストセル コードセル コードセル • WEBブラウザでアクセス • コードセルは Python プログラム． 各自の Google アカウント でログインすれば， 変更，再実行可能 Google Colaboratory の使い方概要 ② 49 実行 一番上のコードセルから順々に実行 実行
- 50. 50 顔検出 顔のコード化 顔のアラインメント 顔ランドマーク 性別の推定，年齢の推定
- 51. 今回の演習では，自分で用意した顔画像で試すこと ができるようにしている 必須ではありませんが，興味のある人はチャレンジ してみてください 51 ① 顔がうつったファイルを準備． ・ファイル名は，数字と英字のみを使用 ・各自で準備してください。 ② 今回は，ランタイムのタイプをGPUに設 定してから実行してください（次ページ）
- 52. 今回使用するページを再実行するときは， ランタイムのタイプを「GPU」にすること 52 ① コードセルの左の実行ボタンで実行 ② 次のようなエラーが出て，進めないことがある • メニューで「ランタイム」 を選び • 「ランタイムのタイプを変 更」。 • 新しく出てきた画面で， ハードウエアアクセラレー タのところを「GPU」にし て，「保存」と操作 • コードセルの実行を最初 からやり直す
- 53. 画像ファイルのアップロード 53 参照をクリックし，画像ファイルを選ぶ
