Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a ポケモンの画像分類(みんなのPython勉強会#73 ライトニングトーク)
Semelhante a ポケモンの画像分類(みんなのPython勉強会#73 ライトニングトーク) (19)
ポケモンの画像分類(みんなのPython勉強会#73 ライトニングトーク)
- 2. 2 自己紹介 ● 竹内尚也 元々はデータベースエンジニア。 趣味として python を遊んでいたが、 もっとコーディングがしたくてフリーランスになる。 機械学習や画像処理の勉強をしながら、 インフラ中心の開発・運用・保守をしている。 （ Twitter : @33_tarou ）
- 4. 4 1. はじめに ● 機械学習できるようになりたい。 特に大学時代に学んだ画像処理分野で。 ● python のライブラリ (keras) なら、 簡単に画像分類できる。 ▶ なら試しにやってみよう！ ＜環境＞ Python 3.8 Tensorfoow 2.5.0 Scikt-learn 0.24.2 Matplotlib 2.5.0
- 5. 5 2. マスコット系ポケモンの画像分類 ● せっかく画像分類するなら、趣味のポケモンで いきなり全種類 ( 約 900) 分類は難しいので、マスコットポケモンで試してみる。
- 6. 6 2. マスコット系ポケモンの画像分類 ● ただし以下のポケモンは今回は排除 ライチュウ ( アローラのすがた ) ライチュウと名前が一緒。 でも見た目は別ポケモン。 今回は原種のみ扱う。 プラスルとマイナン セットの絵が多い。 個別分割作業に時間が かかるため断念。 モルペコ 2 つのすがたを持つポケモン。 扱い面倒なため今回は排除。
- 7. 7 2. マスコット系ポケモンの画像分類 ● 画像は Google の画像検索で収集 1 種類のポケモン毎に約 200 枚用意 ポケモン名 ＋ アニメ ぬいぐるみ イラスト で画像検索し Chrome のアドオンである Fatkun で収集
- 8. 8 2-1. 分類手法： VGG16 の転移学習 ● VGG16… 有名な CNN による画像分類モデル 「 Intelligent and Secure Content-based Image Retrieval for Mobile Users 」より引用 ●2014 年にオックスフォード大学の VGG チームによって開発 ●大規模画像データセット ImageNet より学習 ●16 層の中間層を持つ ●小さなフィルタにより畳込み特徴抽出 ●より高度なモデルもあるが、知見が多いので今回はこれを使用
- 9. 9 2-1. 分類手法： VGG16 の転移学習 ● 転移学習…既存モデルから新たな分類モデル生成 「 Intelligent and Secure Content-based Image Retrieval for Mobile Users 」より引用 ●少ない画像で訓練可能 ●上位層も再学習するファインチューニングという手法もある 特徴抽出は 既存モデルのものを利用 分類を新しく学習
- 10. 10 2-2. モデル構築と学習 ● (1) フォルダ分けされた画像の読み込み 「全国図鑑番号 _ ポケモン英語名」というフォルダにそのポケモンの 画像 ( 約 200 枚 ) を配置。 keras で読み込めば自動的にフォルダ名 でラベル分けしてくれる。 例 ) ピカチュウの場合 025_pikachu 00000001.jpg 00000002.jpg 00000003.jpg 00000004.jpg 00000005.jpg …… … 025_pikachu 025_pikachu 025_pikachu keras で自動ラベル付けしつつ 画像読み込み
- 11. 11 2-2. モデル構築と学習 ● (1) フォルダ分けされた画像の読み込み # (1) 画像読み込み image_dataset = image_dataset_from_directory(IMG_DIR, shuffle=False, batch_size=BATCH_SIZE, image_size=IMAGE_SIZE ) keras の image_dataset_from_directory() 関数による画像読み込み。 引数 説明 IMG_DIR 読み込む画像ディレクトリ。 shufele=False 読み込んだ画像をシャッフルするか指定する。 今回は訓練・検証・テスト用分割時にシャッフルするため、 False に設定。 batch_sizele=BATCH_SIZE データのバッチサイズ。使用環境は自前のノート PC であり画像数も少ない ため、小さい 32 に設定。 image_sizele=IMAGE_SIZE 画像サイズ。ベースとなる VGG16 と同じ (224, 224) に設定。
- 12. 12 2-2. モデル構築と学習 ● (2) 画像を読み込みランダムに訓練・学習・検証用に分割 用途毎の分割はフォルダ側で実施しても良い。だが今後画像が増えても 対応でき、分割比率を柔軟に変更できるよう python 側で実施する。 scikit-learn の train_test_split() 関数によるデータセットの分割 ※3 つに分割するため、 2 回実施 # (4) データセットを訓練・検証・テストに分割 # データセットを [train, (validation + test)] に分割 img_X_train, imp_X_tmp, img_Y_train, img_Y_tmp = train_test_split( img_X, img_Y, train_size=TRAIN_SIZE, random_state=RANDOM_STATE, stratify=img_Y) # (validation + test) データセットを [validation, test] に分割 VAL_TEST_SPLIT_SIZE = VALIDATION_SIZE / (VALIDATION_SIZE + TEST_SIZE) img_X_valid, img_X_test, img_Y_valid, img_Y_test = train_test_split( imp_X_tmp, img_Y_tmp, train_size=VAL_TEST_SPLIT_SIZE, random_state=RANDOM_STATE, stratify=img_Y_tmp)
- 13. 13 2-2. モデル構築と学習 ● (2) 画像を読み込みランダムに訓練・学習・検証用に分割 引数 説明 X 全画像データの配列。 Y 全画像ラベルの配列。 train_sizele=XXXX 分割サイズの割合を小数で指定。 2 つにしか分けられないため 1 回目は (0.6, 0.4) 、 2 回目は (0.5, 0.5) に分割。 結果、訓練・検証・テストが (0.6, 0.2, 0.2) に分割 random_statele=RANDO M_STATE 分割前に要素数がランダムにシャッフルされる際の SEED 値。 テストのため何回実行しても同一の結果となるよう定数を設定。 stratifyle=Y 分割後も、各々においてラベル (le=Y) の比率が一致するように設定。
- 14. 14 2-2. モデル構築と学習 ● (3) ベースモデルの読み込み # (1) 転移学習のベースモデルとして VGG16 を宣言 base_model = tf.keras.applications.vgg16.VGG16(include_top=False, input_shape=IMAGE_SHAPE, weights='imagenet') 引数 説明 include_tople=False False を指定することで出力層が含まれなくなる。 出力層は転移学習により設定。 input_shapele=IMAGE_SHAPE 入力画像の形状指定。 VGG16 と同じ形状でよい。 include_tople=False の場合のみ指定可能なパラメータ。 oweightsle='imagenet' ImageNet モデルを使用。 VGG16 の出力層以外を そのまま利用
- 15. 15 2-2. モデル構築と学習 ● (3) モデル構築 # (3) モデル構築 # Flatten(= 平坦化層 ) 追加 x = tf.keras.layers.Flatten()(base_model.output) # FC1 層追加 x = tf.keras.layers.Dense(4096, activation='relu')(x) # FC2 層追加 x = tf.keras.layers.Dense(4096, activation='relu')(x) # 入力画像の形状 transfer_learning_inputs = base_model.inputs # predictions 層の追加 # 今回分類するクラス数を指定 image_class_num = len(image_class_names) transfer_learning_prediction = tf.keras.layers.Dense(image_class_num, activation='softmax')(x) # 転移学習モデル構築 transfer_learning_model = tf.keras.Model(inputs=transfer_learning_inputs, outputs=transfer_learning_prediction) 出力層を追加 分類するクラス数を指定 ※ 今回は 8 種類
- 16. 16 2-2. モデル構築と学習 ● (4) 学習 # (4) モデルのコンパイル transfer_learning_model.compile(optimizer= tf.keras.optimizers.Adam(learning_rate=LEARNING_RATE), loss='sparse_categorical_crossentropy', metrics=['accuracy']) # (5) モデルの学習 history = transfer_learning_model.fit(img_X_train, img_Y_train, epochs=INITIAL_EPOCHS, batch_size=BATCH_SIZE, validation_data=(img_X_valid, img_Y_valid)) compile() 関数で学習に用いる最適化関数・目的関数・評価関数を設定。 ※ 最適化関数指定の際に、学習率 (learning_rate) を指定。 ft() 関数でモデルの学習を実施。この際、エポック数 (epochs) を指定。
- 17. 17 2-3. 分類結果 ● マスコット系ポケモンの分類結果 ＜検証＞ ＜テスト＞ ●わずか 3 回ほどで正解率が収束 ●損失関数は 2.5 付近あり、誤った認識が多い印象
- 19. 19 2-3. 分類結果 ● ピカチュウ、リザードン、ゲッコウガの場合 ＜検証＞ ＜テスト＞ ●同じ手順で画像を集め、ピカチュウ、リザードン、ゲッコウガで分類 ●損失関数は 0.3 付近あり、低くなっている
- 21. 21 3. おわりに ● 画像さえ用意すれば転移学習できるシステムが 開発できた。 ● 似たポケモン同士だとあまり精度がよくない。 ● テスト結果を可視化して誤分類を確認。 ● モデルが適切であるか見直す。 ● 画像収集自動化し、もっと多くの画像を使う。 ● 対象画像 ( アニメ、ゲーム、ぬいぐるみ等 ) が 適切か選定。