Outfit net fashion outfit recommendation with attention based multiple instance learning

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
DLゼミ
2021/01/12
北海道大学大学院情報科学研究院
情報理工学部門複合情報工学分野調和系工学研究室
修士１年右田幹
OutfitNet:Fashion Outfit Recommendation with
Attention-Based Multiple Instance Learning

論文情報 2
• タイトル
– OutfitNet: Fashion Outfit Recommendation with Attention-Based Multiple Instance
Learning
• 著者
– Yusan Lin 1, Maryam Moosaei 1, Hao Yang 1
• 1 Visa Research
• 出典及び出典日
– WWW '20: Proceedings of The Web Conference 2020
• 論文URL
– https://dl.acm.org/doi/pdf/10.1145/3366423.3380096

概要 3
• ファッションのリコメンドをやる上での現状の課題
⁃ ユーザーによって服装のアイテムの好き嫌いが変わる
⁃ アイテム間（シャツとズボン）の相性を考慮する必要性
⁃ ユーザーと服装で関連のあるデータが少ない
• MIL（Multiple Instance Learning）問題として、リコメンドの定式化
を行う
• OutFitNetモデルの提案
⁃ Fashion Item Relevancy nerwork(FIR) : 服装内のアイテム間の互換性を学習、アイ
テム間の関連性の埋め込みの生成
⁃ OutFit Preference network (OP) : 視覚情報から、服装の好みを学習
• モデルの精度を確かめる実験を実施した結果、SOTA

背景 4
リコメンドの需要
• オンラインでのファッションアイテム購入のうち、43％がリコ
メンドされた服装
• オンラインファッション小売企業のうちの95％は、リコメンド
システムを重要なビジネス戦略と認識
リコメンドシステムの課題
• 複数のアイテムの組み合わせを考慮して、ユーザーの好みを学
習すること
本研究で行うこと
・ユーザーの好みに基づいて、服装を推薦する問題に着手
・ MIL問題として、リコメンドの定式化
⁃ 個人に向けたファッション推薦システム「OutfitNet」を開発

関連研究 5
ファッションリコメンド
・服装全体をリコメンドする研究は少ない
⁃ 例：LinやChen
⁃ Linら：トップスとボトムスのペアを学習するニューラルネット
ワークの提案
⁃ Chenら：5つのアイテムを服装全体として入力して学習できる
ニューラルネットワークの提案
⁃ 上記の課題：アイテムの数が異なる、推薦方法が不十分
・MILとAttention
⁃ MIL：服装にはラベル付けされるが
着用しているアイテムには
ラベル付けされない
⁃ Attention：複数の入力があった際に
一部の入力（強調点）に
注目して学習を行う方法
ラベル名：Outfit
ラベルなしラベルなし

提案手法 6
OutfitNetの概要
• 目標
⁃ Fashion item relevancy network（FIR）：服装のアイテム間の互換性と関連性を捉え
る埋め込みの学習
⁃ Outfit preference network（OP）：ユーザーの好みに合わせて、服装を推薦
• Fashion item relevancy network（FIR）
⁃ 𝑠 ∶ アイテムの集合
⁃ 𝑥𝑖 : 好みのアイテム（服装内のアイテムと共起したことある）
⁃ 𝑥𝑗 : 好みではないアイテム（服装内のアイテムと共起したことがない）
⁃ 𝑠 𝑥𝑖|𝑠 > 𝑠 𝑥𝑗|𝑠 になるように学習
• Outfit preference network（OP）
⁃ 𝑢 ∶ ユーザー
⁃ 𝑦𝑢,𝑖 : 𝑢（ユーザー）の 𝑖（好みの服装）の好み度合い（スコア）
⁃ 𝑦𝑢,𝑗 : 𝑢（ユーザー）の j （好みでない服装）の好み度合い（スコア）
⁃ 𝑦𝑢,𝑖>𝑦𝑢,𝑗になるように学習

提案手法 7
OutfitNetの概要
• FIR及びOPはMIL問題に基づく
• FIRの場合
 𝑠, 𝑥𝑖 , 𝑠, 𝑥𝑗 は「互換性がある」「互換性がない」というラベルが付いている
 𝑠に含まれるアイテムが𝑥𝑖 や𝑥𝑗 と「互換性がある」か「互換性がない」かはわから
ない
• OPの場合
 𝑢, 𝑖 , 𝑢, 𝑗 は「好みである」「好みでない」というラベルが付いている
 服装𝑖や𝑗に含まれるアイテムが「好みである」か「好みでない」かはわからない
ラベル名：好みである
わからないわからない
ラベル名：好みである
わからないわからない

提案手法 8
OutfitNetの概要
• 今回のモデル説明に使用する変数
𝐷 データセット
𝑆 服装の集まり
𝐼 アイテム集まり
𝑈 ユーザーの集まり
𝑥 ユーザー、アイテムを入力し
たもの
𝑦𝑢,𝑖 ユーザー𝑢における、𝑖番目の
服装のスコア
𝜋𝑢,𝑖,𝑘 ユーザー𝑢における、𝑖番目の
服装の中の𝑘番目のアイテム
についてのスコア
𝜁, 𝜓 全結合層の層数（FIR）
𝑓, 𝑔, 𝜙, 𝜌, 𝜂 全結合層の層数（OP）
ℎ 隠れ層の埋め込み
𝑒𝑢,𝑘 ユーザー𝑢における、𝑘番
目のアイテムのattention
𝑎𝑢,𝑘 𝑒𝑢,𝑘を正規化したもの
𝜆 Triplet lossのマージン

提案手法 10
Outfit preference network（OP）
 アイテムの好み度合いを学習
・入力 𝑠, 𝑥𝑖, 𝑥𝑗
⁃ 𝑖 ∶ ユーザー𝑢が服装𝑠𝑢の中で好みであるもの
⁃ 𝑗 ∶ ユーザー𝑢が服装𝑠𝑢の中で好みではないもの

提案手法 11
・入力
⁃ 𝑖 ∶ ユーザー𝑢が服装𝑠𝑢の中で好みであるもの
⁃ 𝑗 ∶ ユーザー𝑢が服装𝑠𝑢の中で好みではないもの
⁃ 𝑥𝑢
: ユーザーをone-hot-encodingにより表した
もの
⁃ 𝑥+
, 𝑥−
: 服装の埋め込み
⁃ ℎ+
, ℎ−
: FIRで作成した埋め込み
Fashion Iem Embedding Generation

提案手法 12
Fused Embedding Generation
・ ℎ+
とℎ𝑢
, およびℎ−
とℎ𝑢
を結合する
・ ℎ𝑓+
とℎ𝑓−
∶ 全結合層𝜙を通ることで作成
ℎ𝑓+ = 𝜙( 𝑓 𝑥𝑢 𝑓 𝑥𝑢 …𝑓 𝑥𝑢 ℎ+)
𝑘個(１つの服装に含まれている
アイテムの数)の要素分

提案手法 13
・𝑦𝑢,𝑖と𝑦𝑢,𝑖を算出
算出方法は以下の２つ
・Instance-level approach
・Embedding-level approach

提案手法 14
Instance-level approach
・𝜋 : アイテムのスコア。 ℎ𝑓
が全結合層𝜌を通る
ことで算出される
𝑒𝑢,𝑘 = 𝑎(ℎ𝑢
, ℎ𝑘
𝑓+
) 𝑎 ∶ 非線形の全結合層
ℎ𝑢
∶ ユーザー𝑢の埋め込み
𝑎𝑢,𝑘 =
exp(𝑒𝑢,𝑘)
𝑙=1
𝐿
exp(𝑒𝑢,𝑘)
・ユーザーとアイテム情報の埋め込み（feed-forward neural
networkによる出力）
・ユーザー𝑢における、𝑘番目のアイテムの注目度
L ∶ 服装𝑖に含まれるアイテムの数
𝑦𝑢,𝑖 = 𝑘=1
𝐿
𝑎𝑢,𝑘 𝜋𝑢,𝑘
・ユーザー𝑢における服装𝑖のスコア
𝑘 ∶ １つの服装のうちの𝑘番目のアイテム

提案手法 15
Embedding-level approach
𝑦𝑢,𝑖 = 𝜂(
𝑘=1
𝐿
𝑎𝑢,𝑘 ℎ𝑘
𝑓+
)
・𝜂 : 全結合層
ℎ𝑠+

提案手法 16
Parameter Learning
・ 𝑠 𝑥𝑖|𝑠 と𝑠 𝑥𝑗|𝑠 の差を最大にするのが目的
like側
dislike側
FIR
OP
𝒯
𝑟𝑒𝑙 𝜃𝑟𝑒𝑙
= max 𝜎 𝑠 𝑥𝑖|𝑠 − 𝑠 𝑥𝑗|𝑠 − 𝜆𝜃𝑟𝑒𝑙
𝜃𝑟𝑒𝑙
2
𝒯
𝑝𝑟𝑒 𝜃𝑝𝑟𝑒 = max ln 𝜎 𝑦𝑢,𝑖 − 𝑦𝑢,𝑗 − 𝜆𝜃𝑝𝑟𝑒
𝜃𝑝𝑟𝑒
2
・ユーザーと服装の埋め込みを学習するのが目的
𝜃𝑟𝑒𝑙 の値に関わる𝜁, 𝜓（FIRの全結合層）はパラメーター
𝜃𝑝𝑟𝑒 の値に関わる𝑓, 𝑔, 𝜙, 𝜌, 𝜂（OPの全結合層）はパラメーター

実験 17
使用するデータセット Dataset Users Fashion
outfits
Fashion
items
Polyvore 150 66,000 158,503
iFashion 3,569,112 127,169 4,463,302
・Polyvore
⁃ ファッション投稿SNS
⁃ 2000万のユーザー数
⁃ 1日平均87000枚の投稿がある
⁃ 全データからランダムサンプリング
・iFashion
⁃ Taobao（中国のECサイト？）から取得
⁃ Polyvoreと似た感じ
iFasion : https://world.taobao.com/
・データセットの分割（上記どちらとも）
⁃ Trainデータ : 70％
⁃ validationデータ : 20％
⁃ testデータ : 10％
⁃ 上記はランダムに分割
Polyvore : https://www.ssense.com/ (買収されたらしい)
Polyvore

実験 18
実験設定事項
・DenseNet：アイテムの特徴量抽出で使用
ImageNetを事前に学習したモデル
・Temsorflowで実装
・全結合層の層の数は以下の通り
Layer 𝜁 𝜓 𝑓 𝑔 𝜙
Dimention 50176 256 16 6272,256 16
・Xavier : 重みの初期化
勾配消失を防ぐ
Xavier : https://ntacoffee.com/xavier-initialization/
Adadelta : https://rightcode.co.jp/blog/information-technology/torch-optim-optimizer-
compare-and-verify-update-process-and-performance-of-optimization-methods
・活性化関数 : leakyRelu
・バッチサイズ : 64
・最適化アルゴリズム : AdaDelta
・最大エポック数 : 100（収束したら途中で打ち切る）

実験 19
Fill in the blank Prediction
 ファッションの相互関係を測るためのテスト
・学習データを用いてFIRや比較モデルを生成
・テストデータを与えて、服装の中で１つのアイテムを選択
 選択したアイテムは何を着用しているか分からない（ランダム）
・選択したアイテムについて「どんなアイテムを着用しているか」を選ぶ
 アイテムをランダムで３つ出題
 ３つの中で着用しているアイテムと最も相性が良いものを選択
・評価指標 : accuracy
比較モデル
・Rondom : ランダムに選択
・PopRank : 服装の出現率からアイテムの人気度を推測し、ランク付け
・Triplet : Siamese based model（距離学習）
・SetNN : end to end model。服装にふくまれるアイテムはmultiple instance
に従ってプーリングされる。
・F-LSTM : アイテムの特徴量抽出はLSTMによるもの
・Bi-LSTM : アイテムの特徴量抽出はbi-directional（双方向） LSTMによるも
の

実験 20
Fill in the blank Prediction
 ファッションの相互関係を測るためのテスト
結果
選択したアイテムの正答率
・既存モデルよりも高性能
・FIR作成で使用したTripretが２番目に精度が良い

実験 21
Personalized Outfit Prediction
 各モデルが推薦する服装をもとに比較
・評価指標 : 𝐴𝑈𝐶(Area Under Curve)
比較モデル
・Rondom : ランダムに選択
・PopRank : 服装のいいね数からアイテムの人気度を推測し、ランク付け
・MF(Matrix Factorizartion) : 協調フィルタリングと次元削減により実現する
推薦アルゴリズム
・BPR : ユーザーごとのランキング学習アルゴリズム
・DVBPR : 個人にアイテムを推薦するためのアルゴリズム。ユーザーとアイ
テムの関連性を捉える
・OP-Ins : Instance-based approachを用いたOP
・OP-Emb : embedding-based approachを用いたOP
𝐴𝑈𝐶 =
1
𝒰
(
𝑢∈𝒰
1
𝒟𝑢
(𝑖,𝑗)∈𝒟𝑢
𝕀(𝑦𝑢,𝑖 > 𝑦𝑢,𝑗))
𝒟𝑢 = {(𝑖, 𝑗)| 𝑢, 𝑖
∈ 𝒯
𝑢 ∧ (𝑢, 𝑗) ∉ (𝒫𝑢 ∪ 𝒱𝑢 ∪ 𝒯
𝑢)}
𝕀() : 𝑦𝑢,𝑖 > 𝑦𝑢,𝑗が正となるときの回数
𝒫 ∶ train data
𝒱 : validation data
𝒯 : test data

実験 22
Personalized Outfit Prediction
 各モデルが推薦する服装をもとに比較
結果
推薦された服装の評価（AUC）
・OP（提案モデル）は、既存モデルより精度が高い
・Cold outfits : １人のユーザーのみが気に入っている服装を用いた推薦テストも
実施した
 推薦の参考になるサンプルが少ない場合の対応をみるために
・OP-Insの方がサンプルの少ない服装を対象にした推薦に向いている

OutfitNetの応用 23
Fashion Item Embedding
 FIRで服装を学習した際のEmbeddingを見てみる
tSNE変換によりFIRの学習で用いたアイテムの特徴を可視化したもの
・スタイルが似ているアイテムが近い（同一アイテム間の距離は近くない）
・FIRからスタイルの似た服装を形成することができる

Fashion Outfit Expansion
 提示された服装から似合うアイテムを推薦するアルゴリズムの提案
・ S : アイテム
・ 𝑘 : 希望のアイテム数
アルゴリズムの概要
・ Sに近いアイテムの追加していく
・既にSに含まれているアイテムのカテゴ
リは追加しない

・S に含まれるアイテムを全てFIRに通して、
埋め込みを得る
・ ℎ𝑜𝑢𝑡𝑓𝑖𝑡 ∶ 上記をプーリング

・ I𝑡𝑚𝑝 ∶ アイテム𝐼からSを除いたもの
・ 𝑇 ∶ I𝑡𝑚𝑝を探索木に入力
・ 𝑥𝑐𝑎𝑛𝑑𝑖𝑐𝑎𝑡𝑒 ∶ 𝑇の中で最もℎ𝑜𝑢𝑡𝑓𝑖𝑡に近いア
イテムを取得
・ 𝑥𝑐𝑎𝑛𝑑𝑖𝑐𝑎𝑡𝑒 をCategoryValidに入力したと
き
 有効： 𝑥𝑐𝑎𝑛𝑑𝑖𝑐𝑎𝑡𝑒を Sに追加
 無効：次のアイテムを探索

・ CATEGORYVALIDについて
 既に追加されているカテゴリを追
加しないことが目的
・ GETFIRSTLEVELCATEGORYについて
 下記カテゴリを取得
 Outer,top,bottom,shoes,handbag,h
at,accessory

Fashion Outfit Expansionにより形成された
服装（ 𝑘 = 5）
・アイテムの埋め込みを利用することで
互換性の高いアイテム同士で服装を形成
することができる
・複雑なフィルタリングやアイテムの順
序を考慮しないため、効果的な手法であ
る

Personalized Fashion Outfit Attention
 ユーザーがアイテムをどれくらい好んでいるか（attention）を数値化
 OPモデルにより可能（OP-insを使用）
 １人のユーザーに対して実施
OPによるscore結果（𝜋 ∶ アイテムのスコア、 𝑎 ∶ ユーザーの注目度（attention））
・ユーザーはOutfit1のみ好んだ
 𝜋について、 Outfit1が全体的に高い
 ユーザーの好みは色にある（色が鮮やかか否か）
 Outfit3のセーターはOutfit1の色と似ているため、𝜋の値が高い

Personalized Fashion Outfit Attention
 ユーザーがアイテムをどれくらい好んでいるか（attention）を数値化
 OPモデルにより可能（OP-insを使用）
 １人のユーザーに対して実施
OPによるscore結果（𝜋 ∶ アイテムのスコア、 𝑎 ∶ ユーザーの注目度（attention））
・ユーザーの注目度（ 𝑎 ）について
 似たアイテム同士の場合（Outfit1,2）、値が均等
 Outfit3の場合、sweaterの値が高い（sweaterのみがユーザーの好みに近い）
・服のラベルのみでアイテム好みの学習が可能
・ユーザーの好みも考慮した服装の推薦が可能

conclusion 31
提案内容
OutfitNet：アイテムの互換性学習とユーザーの好みに基づいた
服装の推薦
提案手法
– Fashion Item Relevancy network(FIR)
 アイテムの互換性学習
– Outfit Preference network(OP)
 ユーザーの好みに基づいた服装の推薦
結果
– Fill in the blank(FITB)によりファッションの互換性において、
既存モデルより優れていた
– OPにより、既存モデルよりユーザーへの推薦タスクにおい
て優れていた

Outfit net fashion outfit recommendation with attention based multiple instance learning

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Semelhante a Outfit net fashion outfit recommendation with attention based multiple instance learning

Semelhante a Outfit net fashion outfit recommendation with attention based multiple instance learning (20)

Mais de harmonylab

Mais de harmonylab (20)

Outfit net fashion outfit recommendation with attention based multiple instance learning