SlideShare uma empresa Scribd logo
1 de 20
Baixar para ler offline
スポーツ選手の技能向上のための
  動画像処理とその実用化

   玉木徹(広島大学工学研究科)	
  牛山幸彦(新潟大学教育人間科学部)	
  八坂剛史(新潟大学教育人間科学部)	

                        1
研究の背景
           動画像処理技術



●  バイオメカニクス	
     ●    講習会・体育授業	
●  スキル判定	
             n    ビデオ撮影・上映	
●  チームプレイ情勢判断	
                       n    指導者の直接指導	
●  放送映像可視化技術	

                       多数の生徒に対する教師
少数の生徒に対する指導	
          や指導者による対面指導	
生徒の自習	




                                          2
スポーツ指導とスキル獲得
スキル獲得における3つのプロセス(工藤, 2000)	
1.  全身協応動作の発現
  n    動作を教え込まず、明確な課   練習者の課題となる
        題を与え発現を待つこと	
   目標の提示	
  n    適切な時点に適切な熟練者
        の指導言葉を与えること	
2.  練習による洗練             適切な指導のための
                        資料の提示	
   n  新しい情報を与えすぎないこ
       と(過度の依存を避ける)	
                        分析過程が見えない	
   n  内在的フィードバックを重視    情報をフィードバック	
       し、付加的フィードバックは補   しない	
       助的に用いること	
                         システムとして
3.  自動化                   目指すもの
                                    3
実現するシステムについて

■    卓球指導	
     n    ボールスピン量計測システム	
     n    明示的な数値目標	
■    バレーボール指導	
     n    スパイク速度計測システム	
     n    明示的な数値目標	
■    スキー指導	
     n    スキーフォーム提示システム	
     n    指導に有用な情報の提示	


                              4
卓球指導
■    ボールのスピン(回転量)
      n    球技のパフォーマンスを左右する大きな要因の一つ	
      n    卓球の種目特性:ボールのスピードとスピン	
      n    ラリーへの影響が大きい
            l    バウンド後/ラケット衝突後反射角の変化	
■    従来の卓球のスピン量計測
      n    計測精度の問題(目視)	
      n    ボール直径の変更	

 ●  手法:単眼動画像からの運
    動推定	
 ●  目的:スピン量(数値目標)	


                                             5
球速計測システム
                                  拡大撮影	
            高速度カメラ	
                                                     500[fps]




 Z 軸	
                                                     画像処理	

ωz	
                         X 軸	
 
                                      ■  テクスチャつき剛体物体の
                     ωx	
 
             ωy	
                        運動パラメータ推定	
                                      ■  推定パラメータ	
        Y 軸	
 
                                           n    各軸回りの回転角	
                                           n    並進移動量	
                                                                    6
回転数計測結果
      上級者(卓球歴15年、ペンハンドグリップ)	
                          初心者(卓球歴半年、シェークハンドグリップ)	




      6000                                                   6000
      5000                                        ωx         5000
                                                  ωy
      4000                                                   4000
                                                  ωz
      3000                                        ω          3000
      2000                                                   2000
      1000
                                                       rpm
rpm




                                                             1000
         0                                                      0
  -1000                                                  -1000
  -2000                                                  -2000
  -3000                                                  -3000
             31   32     33   34   35   36   37                     15   16     17   18   19   20   21
                       Frame number                                           Frame number               7
システムの問題点

機材が高価	
●    高速度カメラ	
●    インパクトの瞬間を撮影す         高速度カメラ	
     るハードウェア	
             500[fps]




     オフライン処理	
     ●    画像を一旦テープに保存	
     ●    システムの改良	
                                 画像処理	



                                          手動処理	
                                          ●    システムの改良	
                                          計算コスト	
                                          ●    手法の改善	
     8
バレーボール指導

■    ボールのスピード(球速)
      n    球技のパフォーマンスを左右する大きな要因の一つ	
      n    選手の体力・運動能力を示す指標	
■    バレーボールのスパイク速度計測
      n    従来の球速計測:特殊機材を必要とする	
      n    スピードガン:スパイク位置・方向の変化に弱い




 ●  手法:2つの動画像からの三
    次元位置推定	
 ●  目的:球速(数値目標)	


                                        9
球速測定システム
             撮影	




撮影	


                    画像処理	




       ■  ステレオによる三次元位置推定	
       ■  フレーム間の球速算出	
                             10
球速計測結果に基づいた評価指標
■    2004年10月23~27日(埼玉県)第59回国民体育大会バレーボール競技会	
     n    10月24日分少年男子、10月25日分成年男子	
■    2005年3月28日(神奈川県)2005年高校選抜女子、2005年中学選抜女子 選抜合宿	
■    2005年4月7日(新潟県小千谷市総合体育館)全日本女子バレーボールチーム中越
     大震災被災地復興支援講習会・紅白試合



     5段階評価	
        高校女子	
     高校男子	
    一般男子
                                            	
           優れる
             	
       93 ~	
    107~	
   110 ~	
   [km/h]
     やや優れる
         	
           ~92
                        	
      ~106
                                   	
    ~109
                                            	
           普通
            	
        ~82
                        	
       ~99
                                   	
    ~102
                                            	
     やや劣る
        	
            ~72
                        	
       ~91
                                   	
     ~95
                                            	
           劣る
            	
        ~60
                        	
       ~84
                                   	
     ~87
                                            	
                                                            11
システムの問題点

                     撮影	




                                カメラの同期	
                                カメラの校正
      撮影	


                            画像処理	



オフライン処理	
                      手動処理	
●    画像を一旦テープに保存	
                                ●    システムの改良	
●    システムの改良	


                                             12
スキー指導について

■    基礎スキーの特性
     n    速さを競うのではなく、いかに理想的な
           フォームで滑るかが問題	
     n    イメージした自分のフォームと実際のフ
           ォームのギャップが大きい	
■    従来のスキー指導
     n    ビデオ撮影:その場で確認しにくい・多
           人数には不向き	
     n    講習会:指導者から多人数に直接指導
           できない	
                     ●  手法:単純背景単眼動画像から

                        の人物抽出・合成	
                     ●  目的:画像の提示(指導資料)	

                                           13
スキー指導画像処理システム


                                  撮影	




指導者	


        指導	
                 滑走	




                        印刷	
   画像処理	

                                         14
システムの出力画像

         印刷出力画像	
入力映像	




                    15
システムを用いた指導の様子




■    2005年3月26日(新潟県妙高市赤倉温泉スキー場京王赤倉チャンピオンゲレンデ)
     NORDICA CUP IN AKAKURA 第8回全国アマチュア技術選手権スキー大会2005 講
     習会 (参加者約100名)	
■    2005年2月27日~3月3日(山形県蔵王スキー場 大森ゲレンデ)新潟大学教育人間科
     学部健康スポーツ科学課程専門スキー授業 (参加者約70名) 	
■    2005年4月23日~5月8日(新潟県妙高市赤倉温泉スキー場 ヨーデルゲレンデ)2005
     年スプリングキャンプin赤倉(参加者1日平均30名程度)	
                      16
システムを用いた指導の様子




簡単な画像処理であるにもかかわらず非常に好評	
                           17
各システムの比較

             卓球      バレーボール         スキー
目的       数値目標	
     数値目標	
      指導資料	
計測対象     回転数	
      球速	
        フォーム	
提示単位     [rpm]      5段階評定	
     画像	
撮影間隔     1/500[s]   1/30[s]     3-8/30[s]
撮影時間     5/500[s]   10/30[s]    2-3[s]
計測頻度     毎秒2回	
     5秒に1回	
     30秒に一回	
インターバル   数秒	
       十数秒	
       十数分	
画像処理     高度	
       中難度	
       容易	
ハードウェア   専用機器	
     汎用PC        汎用PC	
      18
システムに求められる精度

■    技術的な立場では・・・
     n    計測精度の理論的解析	
     n    多数の計測による統計的誤差の減少	
     n    高度・新規な画像処理認識技術の導入	
■    現場においては・・・
     n    今行った一回の動作の結果が知りたい	
           l    すぐ知りたい(次の動作までに)	
           l    大まかでよい(5段階評定などでOK)	
     n    具体的な数値を動作に関連付ける	
           l    練習者の動作に原因を求める	
           l    システムの推定誤差は意識していない	
     n    指導者の意見を重視する	
                                        19
まとめ


■  三つのスポーツ映像処理システムを開発	
■  実際に指導に使えるかどうかを検証	
     n    卓球:実現不可	
     n    バレーボール:実現可能	
     n    スキー:実用化済	
■    選手の技能向上のために現場でどのような
     システムが求められているか?	
     n    具体的な目標(精度は求めない)	
     n    指導に役立つ資料(十分なフィードバック)


                                    20

Mais conteúdo relacionado

Destaque

画像フィルタリング
画像フィルタリング画像フィルタリング
画像フィルタリングToru Tamaki
 
Fractality of Massive Graphs: Scalable Analysis with Sketch-Based Box-Coverin...
Fractality of Massive Graphs: Scalable Analysis with Sketch-Based Box-Coverin...Fractality of Massive Graphs: Scalable Analysis with Sketch-Based Box-Coverin...
Fractality of Massive Graphs: Scalable Analysis with Sketch-Based Box-Coverin...Kenko Nakamura
 
Leveraging Visual Question Answering for Image-Caption Ranking (関東CV勉強会 ECCV ...
Leveraging Visual Question Answeringfor Image-Caption Ranking (関東CV勉強会 ECCV ...Leveraging Visual Question Answeringfor Image-Caption Ranking (関東CV勉強会 ECCV ...
Leveraging Visual Question Answering for Image-Caption Ranking (関東CV勉強会 ECCV ...Yoshitaka Ushiku
 
NIPS Paper Reading, Data Programing
NIPS Paper Reading, Data ProgramingNIPS Paper Reading, Data Programing
NIPS Paper Reading, Data ProgramingKotaro Tanahashi
 
Bayesian Nonparametric Motor-skill Representations for Efficient Learning of ...
Bayesian Nonparametric Motor-skill Representations for Efficient Learning of ...Bayesian Nonparametric Motor-skill Representations for Efficient Learning of ...
Bayesian Nonparametric Motor-skill Representations for Efficient Learning of ...Nishanth Koganti
 
Kaggle bosch presentation material for Kaggle Tokyo Meetup #2
Kaggle bosch presentation material for Kaggle Tokyo Meetup #2Kaggle bosch presentation material for Kaggle Tokyo Meetup #2
Kaggle bosch presentation material for Kaggle Tokyo Meetup #2Keisuke Hosaka
 
Kaggle boschコンペ振り返り
Kaggle boschコンペ振り返りKaggle boschコンペ振り返り
Kaggle boschコンペ振り返りKeisuke Hosaka
 
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)Yoshitaka Ushiku
 
Binarized Neural Networks
Binarized Neural NetworksBinarized Neural Networks
Binarized Neural NetworksShotaro Sano
 
画像キャプションの自動生成
画像キャプションの自動生成画像キャプションの自動生成
画像キャプションの自動生成Yoshitaka Ushiku
 
深層学習を利用した映像要約への取り組み(第7回ステアラボ人工知能セミナー)
深層学習を利用した映像要約への取り組み(第7回ステアラボ人工知能セミナー)深層学習を利用した映像要約への取り組み(第7回ステアラボ人工知能セミナー)
深層学習を利用した映像要約への取り組み(第7回ステアラボ人工知能セミナー)STAIR Lab, Chiba Institute of Technology
 

Destaque (13)

画像フィルタリング
画像フィルタリング画像フィルタリング
画像フィルタリング
 
Fractality of Massive Graphs: Scalable Analysis with Sketch-Based Box-Coverin...
Fractality of Massive Graphs: Scalable Analysis with Sketch-Based Box-Coverin...Fractality of Massive Graphs: Scalable Analysis with Sketch-Based Box-Coverin...
Fractality of Massive Graphs: Scalable Analysis with Sketch-Based Box-Coverin...
 
Leveraging Visual Question Answering for Image-Caption Ranking (関東CV勉強会 ECCV ...
Leveraging Visual Question Answeringfor Image-Caption Ranking (関東CV勉強会 ECCV ...Leveraging Visual Question Answeringfor Image-Caption Ranking (関東CV勉強会 ECCV ...
Leveraging Visual Question Answering for Image-Caption Ranking (関東CV勉強会 ECCV ...
 
NIPS Paper Reading, Data Programing
NIPS Paper Reading, Data ProgramingNIPS Paper Reading, Data Programing
NIPS Paper Reading, Data Programing
 
Bayesian Nonparametric Motor-skill Representations for Efficient Learning of ...
Bayesian Nonparametric Motor-skill Representations for Efficient Learning of ...Bayesian Nonparametric Motor-skill Representations for Efficient Learning of ...
Bayesian Nonparametric Motor-skill Representations for Efficient Learning of ...
 
NIPS2016 Supervised Word Mover's Distance
NIPS2016 Supervised Word Mover's DistanceNIPS2016 Supervised Word Mover's Distance
NIPS2016 Supervised Word Mover's Distance
 
Kaggle bosch presentation material for Kaggle Tokyo Meetup #2
Kaggle bosch presentation material for Kaggle Tokyo Meetup #2Kaggle bosch presentation material for Kaggle Tokyo Meetup #2
Kaggle bosch presentation material for Kaggle Tokyo Meetup #2
 
Kaggle boschコンペ振り返り
Kaggle boschコンペ振り返りKaggle boschコンペ振り返り
Kaggle boschコンペ振り返り
 
Dynamic filter networks
Dynamic filter networksDynamic filter networks
Dynamic filter networks
 
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
 
Binarized Neural Networks
Binarized Neural NetworksBinarized Neural Networks
Binarized Neural Networks
 
画像キャプションの自動生成
画像キャプションの自動生成画像キャプションの自動生成
画像キャプションの自動生成
 
深層学習を利用した映像要約への取り組み(第7回ステアラボ人工知能セミナー)
深層学習を利用した映像要約への取り組み(第7回ステアラボ人工知能セミナー)深層学習を利用した映像要約への取り組み(第7回ステアラボ人工知能セミナー)
深層学習を利用した映像要約への取り組み(第7回ステアラボ人工知能セミナー)
 

Mais de Toru Tamaki

論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...Toru Tamaki
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video UnderstandingToru Tamaki
 
論文紹介:Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...
論文紹介:Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...論文紹介:Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...
論文紹介:Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...Toru Tamaki
 
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...Toru Tamaki
 
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNetToru Tamaki
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A surveyToru Tamaki
 
論文紹介:MOSE: A New Dataset for Video Object Segmentation in Complex Scenes
論文紹介:MOSE: A New Dataset for Video Object Segmentation in Complex Scenes論文紹介:MOSE: A New Dataset for Video Object Segmentation in Complex Scenes
論文紹介:MOSE: A New Dataset for Video Object Segmentation in Complex ScenesToru Tamaki
 
論文紹介:MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...
論文紹介:MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...論文紹介:MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...
論文紹介:MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...Toru Tamaki
 
論文紹介:Tracking Anything with Decoupled Video Segmentation
論文紹介:Tracking Anything with Decoupled Video Segmentation論文紹介:Tracking Anything with Decoupled Video Segmentation
論文紹介:Tracking Anything with Decoupled Video SegmentationToru Tamaki
 
論文紹介:Real-Time Evaluation in Online Continual Learning: A New Hope
論文紹介:Real-Time Evaluation in Online Continual Learning: A New Hope論文紹介:Real-Time Evaluation in Online Continual Learning: A New Hope
論文紹介:Real-Time Evaluation in Online Continual Learning: A New HopeToru Tamaki
 
論文紹介:PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...
論文紹介:PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...論文紹介:PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...
論文紹介:PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...Toru Tamaki
 
論文紹介:Multitask Vision-Language Prompt Tuning
論文紹介:Multitask Vision-Language Prompt Tuning論文紹介:Multitask Vision-Language Prompt Tuning
論文紹介:Multitask Vision-Language Prompt TuningToru Tamaki
 
論文紹介:MovieCLIP: Visual Scene Recognition in Movies
論文紹介:MovieCLIP: Visual Scene Recognition in Movies論文紹介:MovieCLIP: Visual Scene Recognition in Movies
論文紹介:MovieCLIP: Visual Scene Recognition in MoviesToru Tamaki
 
論文紹介:Discovering Universal Geometry in Embeddings with ICA
論文紹介:Discovering Universal Geometry in Embeddings with ICA論文紹介:Discovering Universal Geometry in Embeddings with ICA
論文紹介:Discovering Universal Geometry in Embeddings with ICAToru Tamaki
 
論文紹介:Efficient Video Action Detection with Token Dropout and Context Refinement
論文紹介:Efficient Video Action Detection with Token Dropout and Context Refinement論文紹介:Efficient Video Action Detection with Token Dropout and Context Refinement
論文紹介:Efficient Video Action Detection with Token Dropout and Context RefinementToru Tamaki
 
論文紹介:Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...
論文紹介:Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...論文紹介:Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...
論文紹介:Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...Toru Tamaki
 
論文紹介:MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...
論文紹介:MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...論文紹介:MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...
論文紹介:MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...Toru Tamaki
 
論文紹介:Revealing the unseen: Benchmarking video action recognition under occlusion
論文紹介:Revealing the unseen: Benchmarking video action recognition under occlusion論文紹介:Revealing the unseen: Benchmarking video action recognition under occlusion
論文紹介:Revealing the unseen: Benchmarking video action recognition under occlusionToru Tamaki
 
論文紹介:Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving
論文紹介:Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving論文紹介:Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving
論文紹介:Video Task Decathlon: Unifying Image and Video Tasks in Autonomous DrivingToru Tamaki
 
論文紹介:Spatio-Temporal Action Detection Under Large Motion
論文紹介:Spatio-Temporal Action Detection Under Large Motion論文紹介:Spatio-Temporal Action Detection Under Large Motion
論文紹介:Spatio-Temporal Action Detection Under Large MotionToru Tamaki
 

Mais de Toru Tamaki (20)

論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
 
論文紹介:Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...
論文紹介:Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...論文紹介:Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...
論文紹介:Text2Video-Zero: Text-to-Image Diffusion Models are Zero-Shot Video Gene...
 
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
 
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
 
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
 
論文紹介:MOSE: A New Dataset for Video Object Segmentation in Complex Scenes
論文紹介:MOSE: A New Dataset for Video Object Segmentation in Complex Scenes論文紹介:MOSE: A New Dataset for Video Object Segmentation in Complex Scenes
論文紹介:MOSE: A New Dataset for Video Object Segmentation in Complex Scenes
 
論文紹介:MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...
論文紹介:MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...論文紹介:MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...
論文紹介:MoLo: Motion-Augmented Long-Short Contrastive Learning for Few-Shot Acti...
 
論文紹介:Tracking Anything with Decoupled Video Segmentation
論文紹介:Tracking Anything with Decoupled Video Segmentation論文紹介:Tracking Anything with Decoupled Video Segmentation
論文紹介:Tracking Anything with Decoupled Video Segmentation
 
論文紹介:Real-Time Evaluation in Online Continual Learning: A New Hope
論文紹介:Real-Time Evaluation in Online Continual Learning: A New Hope論文紹介:Real-Time Evaluation in Online Continual Learning: A New Hope
論文紹介:Real-Time Evaluation in Online Continual Learning: A New Hope
 
論文紹介:PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...
論文紹介:PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...論文紹介:PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...
論文紹介:PointNet: Deep Learning on Point Sets for 3D Classification and Segmenta...
 
論文紹介:Multitask Vision-Language Prompt Tuning
論文紹介:Multitask Vision-Language Prompt Tuning論文紹介:Multitask Vision-Language Prompt Tuning
論文紹介:Multitask Vision-Language Prompt Tuning
 
論文紹介:MovieCLIP: Visual Scene Recognition in Movies
論文紹介:MovieCLIP: Visual Scene Recognition in Movies論文紹介:MovieCLIP: Visual Scene Recognition in Movies
論文紹介:MovieCLIP: Visual Scene Recognition in Movies
 
論文紹介:Discovering Universal Geometry in Embeddings with ICA
論文紹介:Discovering Universal Geometry in Embeddings with ICA論文紹介:Discovering Universal Geometry in Embeddings with ICA
論文紹介:Discovering Universal Geometry in Embeddings with ICA
 
論文紹介:Efficient Video Action Detection with Token Dropout and Context Refinement
論文紹介:Efficient Video Action Detection with Token Dropout and Context Refinement論文紹介:Efficient Video Action Detection with Token Dropout and Context Refinement
論文紹介:Efficient Video Action Detection with Token Dropout and Context Refinement
 
論文紹介:Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...
論文紹介:Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...論文紹介:Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...
論文紹介:Learning from Noisy Pseudo Labels for Semi-Supervised Temporal Action Lo...
 
論文紹介:MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...
論文紹介:MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...論文紹介:MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...
論文紹介:MeMViT: Memory-Augmented Multiscale Vision Transformer for Efficient Lon...
 
論文紹介:Revealing the unseen: Benchmarking video action recognition under occlusion
論文紹介:Revealing the unseen: Benchmarking video action recognition under occlusion論文紹介:Revealing the unseen: Benchmarking video action recognition under occlusion
論文紹介:Revealing the unseen: Benchmarking video action recognition under occlusion
 
論文紹介:Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving
論文紹介:Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving論文紹介:Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving
論文紹介:Video Task Decathlon: Unifying Image and Video Tasks in Autonomous Driving
 
論文紹介:Spatio-Temporal Action Detection Under Large Motion
論文紹介:Spatio-Temporal Action Detection Under Large Motion論文紹介:Spatio-Temporal Action Detection Under Large Motion
論文紹介:Spatio-Temporal Action Detection Under Large Motion
 

200511PRMUスポーツ動画像処理

  • 1. スポーツ選手の技能向上のための 動画像処理とその実用化 玉木徹(広島大学工学研究科) 牛山幸彦(新潟大学教育人間科学部) 八坂剛史(新潟大学教育人間科学部) 1
  • 2. 研究の背景 動画像処理技術 ●  バイオメカニクス ●  講習会・体育授業 ●  スキル判定 n  ビデオ撮影・上映 ●  チームプレイ情勢判断 n  指導者の直接指導 ●  放送映像可視化技術 多数の生徒に対する教師 少数の生徒に対する指導 や指導者による対面指導 生徒の自習 2
  • 3. スポーツ指導とスキル獲得 スキル獲得における3つのプロセス(工藤, 2000) 1.  全身協応動作の発現 n  動作を教え込まず、明確な課 練習者の課題となる 題を与え発現を待つこと 目標の提示 n  適切な時点に適切な熟練者 の指導言葉を与えること 2.  練習による洗練 適切な指導のための 資料の提示 n  新しい情報を与えすぎないこ と(過度の依存を避ける) 分析過程が見えない n  内在的フィードバックを重視 情報をフィードバック し、付加的フィードバックは補 しない 助的に用いること システムとして 3.  自動化 目指すもの 3
  • 4. 実現するシステムについて ■  卓球指導 n  ボールスピン量計測システム n  明示的な数値目標 ■  バレーボール指導 n  スパイク速度計測システム n  明示的な数値目標 ■  スキー指導 n  スキーフォーム提示システム n  指導に有用な情報の提示 4
  • 5. 卓球指導 ■  ボールのスピン(回転量) n  球技のパフォーマンスを左右する大きな要因の一つ n  卓球の種目特性:ボールのスピードとスピン n  ラリーへの影響が大きい l  バウンド後/ラケット衝突後反射角の変化 ■  従来の卓球のスピン量計測 n  計測精度の問題(目視) n  ボール直径の変更 ●  手法:単眼動画像からの運 動推定 ●  目的:スピン量(数値目標) 5
  • 6. 球速計測システム 拡大撮影 高速度カメラ 500[fps] Z 軸 画像処理 ωz X 軸 ■  テクスチャつき剛体物体の ωx ωy 運動パラメータ推定 ■  推定パラメータ Y 軸 n  各軸回りの回転角 n  並進移動量 6
  • 7. 回転数計測結果 上級者(卓球歴15年、ペンハンドグリップ) 初心者(卓球歴半年、シェークハンドグリップ) 6000 6000 5000 ωx 5000 ωy 4000 4000 ωz 3000 ω 3000 2000 2000 1000 rpm rpm 1000 0 0 -1000 -1000 -2000 -2000 -3000 -3000 31 32 33 34 35 36 37 15 16 17 18 19 20 21 Frame number Frame number 7
  • 8. システムの問題点 機材が高価 ●  高速度カメラ ●  インパクトの瞬間を撮影す 高速度カメラ るハードウェア 500[fps] オフライン処理 ●  画像を一旦テープに保存 ●  システムの改良 画像処理 手動処理 ●  システムの改良 計算コスト ●  手法の改善 8
  • 9. バレーボール指導 ■  ボールのスピード(球速) n  球技のパフォーマンスを左右する大きな要因の一つ n  選手の体力・運動能力を示す指標 ■  バレーボールのスパイク速度計測 n  従来の球速計測:特殊機材を必要とする n  スピードガン:スパイク位置・方向の変化に弱い ●  手法:2つの動画像からの三 次元位置推定 ●  目的:球速(数値目標) 9
  • 10. 球速測定システム 撮影 撮影 画像処理 ■  ステレオによる三次元位置推定 ■  フレーム間の球速算出 10
  • 11. 球速計測結果に基づいた評価指標 ■  2004年10月23~27日(埼玉県)第59回国民体育大会バレーボール競技会 n  10月24日分少年男子、10月25日分成年男子 ■  2005年3月28日(神奈川県)2005年高校選抜女子、2005年中学選抜女子 選抜合宿 ■  2005年4月7日(新潟県小千谷市総合体育館)全日本女子バレーボールチーム中越 大震災被災地復興支援講習会・紅白試合 5段階評価 高校女子 高校男子 一般男子 優れる 93 ~ 107~ 110 ~ [km/h] やや優れる ~92 ~106 ~109 普通 ~82 ~99 ~102 やや劣る ~72 ~91 ~95 劣る ~60 ~84 ~87 11
  • 12. システムの問題点 撮影 カメラの同期 カメラの校正 撮影 画像処理 オフライン処理 手動処理 ●  画像を一旦テープに保存 ●  システムの改良 ●  システムの改良 12
  • 13. スキー指導について ■  基礎スキーの特性 n  速さを競うのではなく、いかに理想的な フォームで滑るかが問題 n  イメージした自分のフォームと実際のフ ォームのギャップが大きい ■  従来のスキー指導 n  ビデオ撮影:その場で確認しにくい・多 人数には不向き n  講習会:指導者から多人数に直接指導 できない ●  手法:単純背景単眼動画像から の人物抽出・合成 ●  目的:画像の提示(指導資料) 13
  • 14. スキー指導画像処理システム 撮影 指導者 指導 滑走 印刷 画像処理 14
  • 15. システムの出力画像 印刷出力画像 入力映像 15
  • 16. システムを用いた指導の様子 ■  2005年3月26日(新潟県妙高市赤倉温泉スキー場京王赤倉チャンピオンゲレンデ) NORDICA CUP IN AKAKURA 第8回全国アマチュア技術選手権スキー大会2005 講 習会 (参加者約100名) ■  2005年2月27日~3月3日(山形県蔵王スキー場 大森ゲレンデ)新潟大学教育人間科 学部健康スポーツ科学課程専門スキー授業 (参加者約70名) ■  2005年4月23日~5月8日(新潟県妙高市赤倉温泉スキー場 ヨーデルゲレンデ)2005 年スプリングキャンプin赤倉(参加者1日平均30名程度) 16
  • 18. 各システムの比較 卓球 バレーボール スキー 目的 数値目標 数値目標 指導資料 計測対象 回転数 球速 フォーム 提示単位 [rpm] 5段階評定 画像 撮影間隔 1/500[s] 1/30[s] 3-8/30[s] 撮影時間 5/500[s] 10/30[s] 2-3[s] 計測頻度 毎秒2回 5秒に1回 30秒に一回 インターバル 数秒 十数秒 十数分 画像処理 高度 中難度 容易 ハードウェア 専用機器 汎用PC 汎用PC 18
  • 19. システムに求められる精度 ■  技術的な立場では・・・ n  計測精度の理論的解析 n  多数の計測による統計的誤差の減少 n  高度・新規な画像処理認識技術の導入 ■  現場においては・・・ n  今行った一回の動作の結果が知りたい l  すぐ知りたい(次の動作までに) l  大まかでよい(5段階評定などでOK) n  具体的な数値を動作に関連付ける l  練習者の動作に原因を求める l  システムの推定誤差は意識していない n  指導者の意見を重視する 19
  • 20. まとめ ■  三つのスポーツ映像処理システムを開発 ■  実際に指導に使えるかどうかを検証 n  卓球:実現不可 n  バレーボール:実現可能 n  スキー:実用化済 ■  選手の技能向上のために現場でどのような システムが求められているか? n  具体的な目標(精度は求めない) n  指導に役立つ資料(十分なフィードバック) 20