【DL輪読会】Bridge-Prompt: Toward Ordinal Action Understanding in Instructional Videos
•
0 gostou•486 visualizações
2023/3/3 Deep Learning JP http://deeplearning.jp/seminar-2/
![DEEP LEARNING JP
[DL Papers]
Bridge-Prompt: Toward Ordinal Action Understanding in
InstructionalVideos(CVPR 2022)
Yoshifumi Seki
http://deeplearning.jp/](https://image.slidesharecdn.com/20230303dl1-230320051905-d32e46ec/85/DL-Bridge-Prompt-Toward-Ordinal-Action-Understanding-in-Instructional-Videos-1-320.jpg)
Recomendados
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (20)
Semelhante a 【DL輪読会】Bridge-Prompt: Toward Ordinal Action Understanding in Instructional Videos
Semelhante a 【DL輪読会】Bridge-Prompt: Toward Ordinal Action Understanding in Instructional Videos (20)
Mais de Deep Learning JP
Mais de Deep Learning JP (20)
【DL輪読会】Bridge-Prompt: Toward Ordinal Action Understanding in Instructional Videos
- 1. DEEP LEARNING JP [DL Papers] Bridge-Prompt: Toward Ordinal Action Understanding in InstructionalVideos(CVPR 2022) Yoshifumi Seki http://deeplearning.jp/
- 2. 書誌情報 ● 投稿先 ○ CVPR 2022 ● 投稿者 ○ 精華大学 ● 選定理由 ○ 動画からの動作解析系に最近取り組ん でいます https://github.com/ttlmh/Bridge-Prompt
- 3. 背景・目的 ● 動画からの動作解析をいい感じにやりたい ● 動作には連続性がある ○ ex. 水を飲む動作 ■ コップを持つ -> 水を入れる -> 水を飲む ○ ex. パンを食べる動作 ■ バターを塗る -> ジャムをぬる -> パンを食べる ● 連続性をモデルに組み込みたい ○ グラフモデルは最近いくつかあるが道のラベルには対応できない ● Prompt Engineeringをやって大規模言語モデルの強みを活かす
- 4. Prompt Engineeringとは ● 与えられた入力（ラベル情報など）をテンプレートに入れて、適切な文として入力さ せることで、大規模言語モデルの恩恵を受けられるようにするアイデア ● ● GPT-3でのfew shot learningの仕組みに採用 ● OpenAIのCLIPによる画像分類でtext-image ● Action CLIPで動画にも適用
- 7. ActionCLIP ● ラベルからPrompt Engineeringにより文章を生成 し、Text Encoder, Video Encoderによって類似性を図る ことでラベル推定をする https://arxiv.org/abs/2109.08472
- 8. 提案手法
- 9. 提案手法の全体図
- 10. Prompt部の詳細 ● 1. Stastical Prompt ○ いくつactionが動画中にあるか ○ The video has {num} actions. ● 2. Ordinal Prompt ○ 何番目のactionか ○ This is the {ord_i} action in the video. ● 3. Semantic Prompt ○ “{ord_i}, the person is performing the action step of {vp_i}” ● 3+1. Integrated Prompt ○ 全部 ○ Semanticを全て文として並べる
- 11. 評価用データセット ● 50Salads: 50 top view 30-fps instructional videos regarding salad preparation ○ 19 kind of actions ● Georgia Tech Egocentric Activities(GTEA): 28 egocentric 15-fps instructional videos daily kitchen activities ○ 74 class of actions ● Breakfast: 1,712 third person 15-fps videos of breakfast preparation activities. ○ 48 type of different actions ○
- 12. Implementation ● 動画は16 frameで分割される ● Kinetics-400でAction CLIPを用いて事前学習をする ●
- 18. 未知のIDに対する対応力 ● fine-tune時に特定の行動だけを学習させた場合、類似した行動を推定できるか？ ○ cofee2teaはfine-tuneをmaking cofeeだけで行って、making teaが当てられるかを見る ○ AKLは全体としての精度
- 19. まとめ・感想 ● Prompt EngineeringがNLP以外にも出ていることを初めて知って勉強になりました ● 順序を持たせたことがどのような意味を持っているのかがこの実験だとあまりわか らなかったので残念 ● 未知のIDに対応できているのはすごいけど、この実験方法がそれを測るのに適切 かは疑問 ● 既存モデルとの違いをもう少し結果から読み取りたかった ○ 精度だけだとどこが良くなっているのかよくわからん