SlideShare uma empresa Scribd logo
1 de 26
Baixar para ler offline
第二章 3. ミーンシフトの理論


           コンピュータ最先端ガイド勉強会
                発表者 : 坪坂 正志
             m.tsubosaka(at)gmail.com


2011/1/8          コンピュータ最先端ガイド勉強会       1
本節の内容
• 前半(3.1-3.3)
      – カーネル密度推定とミーンシフトの関係について
• 後半(3.4,3.5)
      – カーネル幅の推定について(3.4)
      – 理論的比較(3.5)




2011/1/8         コンピュータ最先端ガイド勉強会   2
本節の内容
• 前半(3.1-3.3)
      – カーネル密度推定とミーンシフトの関係について
• 後半(3.4,3.5)
      – カーネル幅の推定について(3.4)
      – 理論的比較(3.5)




2011/1/8         コンピュータ最先端ガイド勉強会   3
カーネル密度推定とは
• ノンパラメトリックな密度関数の推定法
      – Parzen windowsとも呼ばれる
      – ここでいうノンパラメトリックとは特定の分布関数を仮定し
        ないということ
      – 逆にデータが正規分布に従うなどの仮定を入れる方法の
        ことをパラメトリックと呼ぶ


                                 [Hastie+2009] The elements of
                                 Statistical Learning : Data Mining,
                                 Inference, and Prediction (2nd
                                 edition)より



2011/1/8            コンピュータ最先端ガイド勉強会                                    4
カーネル密度推定の式
• データ点の集合 : ������ = *������������ |������ = 1, … , ������+
• カーネル関数������, その幅������
• カーネル密度推定による分布関数
                  ������
               1
    ������������ ������ = ������     ������(������, ������������ , ������)
             ������������
                   ������=1
• データ点を中心とおいた幅hのカーネル関数の和と
  して表される




2011/1/8           コンピュータ最先端ガイド勉強会        5
本節で扱うカーネルのタイプについて
• 球対称な形のカーネルについて考える
• プロファイルと呼ばれる������ ≥ 0上の有界で区分的に
  連続な非負値の関数������(������)を用いて
                           ������−������������ 2
• ������ ������, ������������ , ������ = ������(             )の形のカーネルを扱う
                             ������
• カーネル密度推定の式
                            ������
                      1               ������ − ������������ 2
           ������������ ������ = ������           ������(             )
                    ������������                 ������
                           ������=1




2011/1/8                   コンピュータ最先端ガイド勉強会            6
カーネルの例

           カーネルの名前                プロファイル関数


       正規分布カーネル                               1
                                    ������������ exp(− ������)
                                              2

    Epanechnikovカーネル            ������������ 1 − ������ (0 ≤ ������ ≤ 1)
                                        0 (������ > 1)

           フラットカーネル                ������������ 0 ≤ ������ ≤ 1
                                       0 (������ > 1)



       ここで正規化項の部分はミーンシフトの場合は比の形となる
       ので簡単のため1とおく



2011/1/8               コンピュータ最先端ガイド勉強会                     7
カーネル密度関数の勾配
• カーネル密度関数の勾配を求める      ������
                     1                     ������ − ������������ 2
   ������������ ������������ ������ = ������+2    ������ − ������������ ������ ′ (             )
                 ������������                         ������
                                       ������=1
• ここで������ ������ = −������′(������)とおくと
                  ������
                             1                             ������ − ������������ 2
           ������������ ������������ ������ = ������+2              ������������ − ������ ������ (             )
                         ������������                                 ������
                                     ������=1
                          ������                                            ������ − ������������ 2
                  1                    ������ − ������������   2           ������ ������        ������
                                                                                      ������������
            =                   ������                      ×                                  − ������
              ������������������+2                    ������                              ������ − ������������ 2
                         ������=1                                     ������ ������       ������




2011/1/8                             コンピュータ最先端ガイド勉強会                                              8
カーネル密度関数の勾配
• カーネル密度関数の勾配を求める      ������
                     1                     ������ − ������������ 2
   ������������ ������������ ������ = ������+2    ������ − ������������ ������ ′ (             )
                 ������������                         ������
                                       ������=1
• ここで������ ������ = −������′(������)とおくと
                  ������
                             1                             ������ − ������������ 2
           ������������ ������������ ������ = ������+2              ������������ − ������ ������ (             )
                         ������������                                 ������
                                     ������=1
                          ������                                            ������ − ������������ 2
                  1                    ������ − ������������   2           ������ ������        ������
                                                                                      ������������
            =                   ������                      ×                                  − ������
              ������������������+2                    ������                              ������ − ������������ 2
                         ������=1                                     ������ ������       ������

                                                          ミーンシフトの更新式


2011/1/8                             コンピュータ最先端ガイド勉強会                                              9
カーネル密度関数の勾配
• 整理すると
                            2
           ������������ ������������ (������) = 2 ������������ (������) ������������ (������) − ������
                           ������
• これから
                             ������2
                ������������ ������ =            ������������ ������������ ������
                          2������������ (������)
ミーンシフトのステップ                                 密度関数の勾配方向

• なお、このようなミーンシフトカーネルGに対応する
  カーネルKをカーネルGのシャドウカーネルと呼ぶ


2011/1/8                 コンピュータ最先端ガイド勉強会                 10
ミーンシフトの性質
• ミーンシフトにおける最頻値探索はカーネル密度関
  数上の最頻値に収束する
      – なおミーンシフトで使うカーネルと密度関数推定で使う
        カーネルは一般には同じではない、ただし正規分布カー
        ネルにおいては同じ。
• ステップ幅を自動設定する最急降下法とみなすこと
  もできる
      – 密度の小さいところではステップ幅が大きく、密度の高い
        最頻値に近いところではステップ幅が小さくなる
      – これにより効率的で振動のない収束が得られることが推
        測できる


2011/1/8       コンピュータ最先端ガイド勉強会      11
ミーンシフトの性質




                             カーネル密度関数




2011/1/8   コンピュータ最先端ガイド勉強会         12
ミーンシフトの性質




                             カーネル密度関数




2011/1/8   コンピュータ最先端ガイド勉強会         13
ミーンシフトの収束定理
• ミーンシフトの収束性については以下の定理が知ら
  れている[15,32]


     ミーンシフトの収束定理[15 Theorem 1]

• カーネルKが凸状で単調減尐するプロファイルkを持つ
  ならば, KをシャドウとするカーネルGを用いたミーンシ
  フトによる最頻値探索は, Kによる密度関数上の初期
  値近傍の最頻値点に必ず収束する。


2011/1/8     コンピュータ最先端ガイド勉強会     14
本節の内容
• 前半(3.1-3.3)
      – カーネル密度推定とミーンシフトの関係について
• 後半(3.4,3.5)
      – カーネル幅の推定について(3.4)
      – 理論的比較(3.5)




2011/1/8         コンピュータ最先端ガイド勉強会   15
本節の内容
• 前半(3.1-3.3)
      – カーネル密度推定とミーンシフトの関係について
• 後半(3.4,3.5)
      – カーネル幅の推定について(3.4)
      – 理論的比較 (3.5)




2011/1/8         コンピュータ最先端ガイド勉強会   16
カーネル幅推定の重要性
• 例えばミーンシフトを用いたクラスタリングではクラ
  スタ数を与える必要はなく、データに応じてクラスタ
  数が決まる

           • クラスタ数はカーネルの幅に大きく作用される
 But…
           • 適切なカーネル幅を選ぶ必要がある




2011/1/8         コンピュータ最先端ガイド勉強会   17
カーネル幅による影響
• カーネル幅の値により、カーネル密度推定の結果が
  大きく変わる
      – 幅が小さすぎるとすべての点でピークをとるようになる
      – 幅が大きすぎると単峰の分布となる

                                         ������ = 5
           ������ = 0.05       ������ = 0.5




2011/1/8               コンピュータ最先端ガイド勉強会            18
カーネル幅の推定手法に関する研究
• 統計的手法[46,49,58,64]
      – カーネル密度推定の誤差を最小化する
      – 未知の真の密度関数������(������)とそのカーネル推定������ (������)の誤
        差を何らかの基準 ISE(integrated squared error),
        MISE(mean ISE), AMISE(asymptotic MISE)で最小化する
• ミーンシフトベクトルに基づく手法
      – ミーンシフトベクトルの長さを最大化[17]
           • 高次微分や非等方カーネル幅行列への拡張[37]
      – SIFT法の基礎である自動スケール決定法とも関係[33]
• 安定性を指標とした手法
      – クラスタ解析の安定性を最適化[23]
      – ピークにガウス関数を当てはめ、結果が最も安定となる幅
        を採用する手法[11,35,37,38]
2011/1/8             コンピュータ最先端ガイド勉強会                   19
応用利用
• 応用に関する研究
      – サンプルデータから求めたカーネル幅を使って、階層的ク
        ラスタリングに応用している[63]
      – 安定な画像領域分割アルゴリズムへの応用[65]
• 実装に当たって
      – これらの研究結果はあるが、問題の設定次第で最適化
        の定義が違うため、カーネル幅の導出を行う決定的な方
        法はない
      – 問題によってはGUIやシステムの他部位の出力を使った
        値決めも考えられる



2011/1/8       コンピュータ最先端ガイド勉強会       20
本節の内容
• 前半(3.1-3.3)
      – カーネル密度推定とミーンシフトの関係について
• 後半(3.4,3.5)
      – カーネル幅の推定について(3.4)
      – 理論的比較(3.5)




2011/1/8         コンピュータ最先端ガイド勉強会   21
ロバスト推定との関係
• データとして{3,4,5,8000}が与えられたとする
      – 単純に平均をとると2003になる
      – 8000を外れ値としてみなし、平均は4という方が妥当
      – 4の近傍で注目する領域幅が十分に小さければ実際の平
        均4を推定できる
      – カーネル法を適応することにより外れ値(outlier)の影響を
        減らせる
• また上のデータは最頻値が複数存在する分布から
  データが生成されているとみなすことができる
      – このような分布をマルチモーダルな分布と呼ぶ
• このようなデータからノイズに頑強に元の分布を求
  める手法をロバスト推定と呼ぶ

2011/1/8         コンピュータ最先端ガイド勉強会      22
ロバスト推定との関係
• 最尤推定
      – 元の分布のモード位置������に対して尤度分布������(������1 , … , ������������ |������)
        の最尤推定はカーネル密度推定関数の最大化と理解で
        きる
• M推定法
      – 原点が最小値で単調増加する対象非負関数������を用いて、
          ������ ������(|������ − ������������ |)を最小とするように������を最適化
      – ������を適切に選ぶことにより、外れ値に頑強な推定ができる
      – これは実はカーネル密度関数の符号を逆にしたものと一
        致する



2011/1/8            コンピュータ最先端ガイド勉強会              23
ミーンシフト公式の理論的導出
• 前半説明したカーネル密度推定式の微分を元にし
  た導出の他にも導出がある
• 界面関数最適化(variational bound optimization)の
  理論に基づくもの[21,50]
      – 目的関数の二次下界関数の最適化の枠組みを使い、
        ミーンシフトとNewton法が同値であることが示せる[21]
      – 5節で扱う最大事後確率推定への拡張へも使われている




2011/1/8        コンピュータ最先端ガイド勉強会              24
高速化について
• ミーンシフトの計算においてはナイーブに行うと
  ������(������2 ������)かかるためコストが大きい(������:データ数,
  ������ : 繰り返し数)ので高速化の手法がいくつか提案さ
  れている
• 高速ガウス変換を応用したもの[68]
      – カーネル和を高速に求める
• EMアルゴリズムとの同値性を利用したもの[4,6]
• Half-quadratic最適化の枠組みを使ったもの[71]




2011/1/8       コンピュータ最先端ガイド勉強会      25
非線形空間への拡張
• ミーンシフトの収束先が球面状に載っているという
  制約をつけたいとかを考えたとき、単純に平均をと
  ると球面に載るとは限らない
      – データが三次元空間にあるのではなく非線形な二次元空
        間状にあると考えるとうまくいく
      – Riemann多様体への拡張[51-55,59]
      – 一般的な距離空間への拡張(medoidshift)[47]
      – 詳しくは5節で触れる




2011/1/8        コンピュータ最先端ガイド勉強会     26

Mais conteúdo relacionado

Mais procurados

局所特徴量と統計学習手法による物体検出
局所特徴量と統計学習手法による物体検出局所特徴量と統計学習手法による物体検出
局所特徴量と統計学習手法による物体検出
MPRG_Chubu_University
 
形状解析のための楕円フーリエ変換
形状解析のための楕円フーリエ変換形状解析のための楕円フーリエ変換
形状解析のための楕円フーリエ変換
Tsukasa Fukunaga
 

Mais procurados (20)

Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門までAttentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
 
Deep Learningと画像認識   ~歴史・理論・実践~
Deep Learningと画像認識 ~歴史・理論・実践~Deep Learningと画像認識 ~歴史・理論・実践~
Deep Learningと画像認識   ~歴史・理論・実践~
 
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
 
関数データ解析の概要とその方法
関数データ解析の概要とその方法関数データ解析の概要とその方法
関数データ解析の概要とその方法
 
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
【基調講演】『深層学習の原理の理解に向けた理論の試み』 今泉 允聡(東大)
 
MIRU2014 tutorial deeplearning
MIRU2014 tutorial deeplearningMIRU2014 tutorial deeplearning
MIRU2014 tutorial deeplearning
 
一般向けのDeep Learning
一般向けのDeep Learning一般向けのDeep Learning
一般向けのDeep Learning
 
[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations[DL輪読会]Neural Ordinary Differential Equations
[DL輪読会]Neural Ordinary Differential Equations
 
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
[DL輪読会]Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
 
時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?時系列予測にTransformerを使うのは有効か?
時系列予測にTransformerを使うのは有効か?
 
生成モデルの Deep Learning
生成モデルの Deep Learning生成モデルの Deep Learning
生成モデルの Deep Learning
 
単純パーセプトロン
単純パーセプトロン単純パーセプトロン
単純パーセプトロン
 
局所特徴量と統計学習手法による物体検出
局所特徴量と統計学習手法による物体検出局所特徴量と統計学習手法による物体検出
局所特徴量と統計学習手法による物体検出
 
三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ三次元点群を取り扱うニューラルネットワークのサーベイ
三次元点群を取り扱うニューラルネットワークのサーベイ
 
[DeepLearning論文読み会] Dataset Distillation
[DeepLearning論文読み会] Dataset Distillation[DeepLearning論文読み会] Dataset Distillation
[DeepLearning論文読み会] Dataset Distillation
 
PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説PCAの最終形態GPLVMの解説
PCAの最終形態GPLVMの解説
 
畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化畳み込みニューラルネットワークの高精度化と高速化
畳み込みニューラルネットワークの高精度化と高速化
 
形状解析のための楕円フーリエ変換
形状解析のための楕円フーリエ変換形状解析のための楕円フーリエ変換
形状解析のための楕円フーリエ変換
 
Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)Curriculum Learning (関東CV勉強会)
Curriculum Learning (関東CV勉強会)
 
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法についてTransformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
 

Destaque

20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
Yoichi Shirasawa
 
CVPR2011 Festival PDF
CVPR2011 Festival PDFCVPR2011 Festival PDF
CVPR2011 Festival PDF
Masafumi Noda
 
Meanshift Tracking Presentation
Meanshift Tracking PresentationMeanshift Tracking Presentation
Meanshift Tracking Presentation
sandtouch
 
Snakes in Images (Active contour tutorial)
Snakes in Images (Active contour tutorial)Snakes in Images (Active contour tutorial)
Snakes in Images (Active contour tutorial)
Yan Xu
 
プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造
Takuya Akiba
 

Destaque (15)

20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
20110109第8回CV勉強会(ミーンシフトの原理と応用:6章・7章)shirasy)
 
第8回関西CV・PRML勉強会(Meanshift)
第8回関西CV・PRML勉強会(Meanshift)第8回関西CV・PRML勉強会(Meanshift)
第8回関西CV・PRML勉強会(Meanshift)
 
CVPR2011 Festival PDF
CVPR2011 Festival PDFCVPR2011 Festival PDF
CVPR2011 Festival PDF
 
CVPR Festival
CVPR FestivalCVPR Festival
CVPR Festival
 
Meanshift Tracking Presentation
Meanshift Tracking PresentationMeanshift Tracking Presentation
Meanshift Tracking Presentation
 
カーネル密度推定を用いた店舗情報の可視化
カーネル密度推定を用いた店舗情報の可視化カーネル密度推定を用いた店舗情報の可視化
カーネル密度推定を用いた店舗情報の可視化
 
Random Forests
Random ForestsRandom Forests
Random Forests
 
KantoCV/Selective Search for Object Recognition
KantoCV/Selective Search for Object RecognitionKantoCV/Selective Search for Object Recognition
KantoCV/Selective Search for Object Recognition
 
WSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor modelWSDM 2016勉強会 Geographic Segmentation via latent factor model
WSDM 2016勉強会 Geographic Segmentation via latent factor model
 
Snakes in Images (Active contour tutorial)
Snakes in Images (Active contour tutorial)Snakes in Images (Active contour tutorial)
Snakes in Images (Active contour tutorial)
 
20160417dlibによる顔器官検出
20160417dlibによる顔器官検出20160417dlibによる顔器官検出
20160417dlibによる顔器官検出
 
Random Forestsとその応用
Random Forestsとその応用Random Forestsとその応用
Random Forestsとその応用
 
Feature Selection with R / in JP
Feature Selection with R / in JPFeature Selection with R / in JP
Feature Selection with R / in JP
 
プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造プログラミングコンテストでのデータ構造
プログラミングコンテストでのデータ構造
 
Active contour segmentation
Active contour segmentationActive contour segmentation
Active contour segmentation
 

Semelhante a CVIM mean shift-3

Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suhara
sleepy_yoshi
 
Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suhara
sleepy_yoshi
 
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
Miyoshi Yuya
 
ディジタル信号処理の課題解説 その3
ディジタル信号処理の課題解説 その3ディジタル信号処理の課題解説 その3
ディジタル信号処理の課題解説 その3
noname409
 

Semelhante a CVIM mean shift-3 (20)

Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suhara
 
Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suhara
 
Icml2011 reading-sage
Icml2011 reading-sageIcml2011 reading-sage
Icml2011 reading-sage
 
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
 
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
東京都市大学 データ解析入門 6 回帰分析とモデル選択 1
 
モンテカルロサンプリング
モンテカルロサンプリングモンテカルロサンプリング
モンテカルロサンプリング
 
CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算
 
PRML 8.4-8.4.3
PRML 8.4-8.4.3 PRML 8.4-8.4.3
PRML 8.4-8.4.3
 
ディープラーニング基礎.pptx
ディープラーニング基礎.pptxディープラーニング基礎.pptx
ディープラーニング基礎.pptx
 
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじPRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
 
PFDS 5.5 Pairing heap
PFDS 5.5 Pairing heapPFDS 5.5 Pairing heap
PFDS 5.5 Pairing heap
 
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
 
Rで実験計画法 前編
Rで実験計画法 前編Rで実験計画法 前編
Rで実験計画法 前編
 
複雑ネットワーク 第4章 古典的なグラフ
複雑ネットワーク 第4章 古典的なグラフ複雑ネットワーク 第4章 古典的なグラフ
複雑ネットワーク 第4章 古典的なグラフ
 
確率プロット
確率プロット確率プロット
確率プロット
 
パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化パターン認識第9章 学習ベクトル量子化
パターン認識第9章 学習ベクトル量子化
 
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
 
Zetavalue
ZetavalueZetavalue
Zetavalue
 
ディジタル信号処理の課題解説 その3
ディジタル信号処理の課題解説 その3ディジタル信号処理の課題解説 その3
ディジタル信号処理の課題解説 その3
 
Quantum Support Vector Machine
Quantum Support Vector MachineQuantum Support Vector Machine
Quantum Support Vector Machine
 

Mais de 正志 坪坂

Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計
正志 坪坂
 
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMiningContexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining
正志 坪坂
 
Introduction to contexual bandit
Introduction to contexual banditIntroduction to contexual bandit
Introduction to contexual bandit
正志 坪坂
 
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
正志 坪坂
 
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
正志 坪坂
 
static index pruningについて
static index pruningについてstatic index pruningについて
static index pruningについて
正志 坪坂
 

Mais de 正志 坪坂 (20)

Recsys2018 unbiased
Recsys2018 unbiasedRecsys2018 unbiased
Recsys2018 unbiased
 
WSDM2018Study
WSDM2018StudyWSDM2018Study
WSDM2018Study
 
Recsys2016勉強会
Recsys2016勉強会Recsys2016勉強会
Recsys2016勉強会
 
KDD 2016勉強会 Deep crossing
KDD 2016勉強会 Deep crossingKDD 2016勉強会 Deep crossing
KDD 2016勉強会 Deep crossing
 
Deeplearning輪読会
Deeplearning輪読会Deeplearning輪読会
Deeplearning輪読会
 
Deeplearning勉強会20160220
Deeplearning勉強会20160220Deeplearning勉強会20160220
Deeplearning勉強会20160220
 
OnlineMatching勉強会第一回
OnlineMatching勉強会第一回OnlineMatching勉強会第一回
OnlineMatching勉強会第一回
 
Recsys2015
Recsys2015Recsys2015
Recsys2015
 
KDD 2015読み会
KDD 2015読み会KDD 2015読み会
KDD 2015読み会
 
Recsys2014 recruit
Recsys2014 recruitRecsys2014 recruit
Recsys2014 recruit
 
EMNLP2014_reading
EMNLP2014_readingEMNLP2014_reading
EMNLP2014_reading
 
Tokyowebmining ctr-predict
Tokyowebmining ctr-predictTokyowebmining ctr-predict
Tokyowebmining ctr-predict
 
KDD2014_study
KDD2014_study KDD2014_study
KDD2014_study
 
Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計Riak Search 2.0を使ったデータ集計
Riak Search 2.0を使ったデータ集計
 
Contexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMiningContexual bandit @TokyoWebMining
Contexual bandit @TokyoWebMining
 
Introduction to contexual bandit
Introduction to contexual banditIntroduction to contexual bandit
Introduction to contexual bandit
 
確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング確率モデルを使ったグラフクラスタリング
確率モデルを使ったグラフクラスタリング
 
Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)Big Data Bootstrap (ICML読み会)
Big Data Bootstrap (ICML読み会)
 
Tokyowebmining2012
Tokyowebmining2012Tokyowebmining2012
Tokyowebmining2012
 
static index pruningについて
static index pruningについてstatic index pruningについて
static index pruningについて
 

CVIM mean shift-3

  • 1. 第二章 3. ミーンシフトの理論 コンピュータ最先端ガイド勉強会 発表者 : 坪坂 正志 m.tsubosaka(at)gmail.com 2011/1/8 コンピュータ最先端ガイド勉強会 1
  • 2. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較(3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 2
  • 3. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較(3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 3
  • 4. カーネル密度推定とは • ノンパラメトリックな密度関数の推定法 – Parzen windowsとも呼ばれる – ここでいうノンパラメトリックとは特定の分布関数を仮定し ないということ – 逆にデータが正規分布に従うなどの仮定を入れる方法の ことをパラメトリックと呼ぶ [Hastie+2009] The elements of Statistical Learning : Data Mining, Inference, and Prediction (2nd edition)より 2011/1/8 コンピュータ最先端ガイド勉強会 4
  • 5. カーネル密度推定の式 • データ点の集合 : ������ = *������������ |������ = 1, … , ������+ • カーネル関数������, その幅������ • カーネル密度推定による分布関数 ������ 1 ������������ ������ = ������ ������(������, ������������ , ������) ������������ ������=1 • データ点を中心とおいた幅hのカーネル関数の和と して表される 2011/1/8 コンピュータ最先端ガイド勉強会 5
  • 6. 本節で扱うカーネルのタイプについて • 球対称な形のカーネルについて考える • プロファイルと呼ばれる������ ≥ 0上の有界で区分的に 連続な非負値の関数������(������)を用いて ������−������������ 2 • ������ ������, ������������ , ������ = ������( )の形のカーネルを扱う ������ • カーネル密度推定の式 ������ 1 ������ − ������������ 2 ������������ ������ = ������ ������( ) ������������ ������ ������=1 2011/1/8 コンピュータ最先端ガイド勉強会 6
  • 7. カーネルの例 カーネルの名前 プロファイル関数 正規分布カーネル 1 ������������ exp(− ������) 2 Epanechnikovカーネル ������������ 1 − ������ (0 ≤ ������ ≤ 1) 0 (������ > 1) フラットカーネル ������������ 0 ≤ ������ ≤ 1 0 (������ > 1) ここで正規化項の部分はミーンシフトの場合は比の形となる ので簡単のため1とおく 2011/1/8 コンピュータ最先端ガイド勉強会 7
  • 8. カーネル密度関数の勾配 • カーネル密度関数の勾配を求める ������ 1 ������ − ������������ 2 ������������ ������������ ������ = ������+2 ������ − ������������ ������ ′ ( ) ������������ ������ ������=1 • ここで������ ������ = −������′(������)とおくと ������ 1 ������ − ������������ 2 ������������ ������������ ������ = ������+2 ������������ − ������ ������ ( ) ������������ ������ ������=1 ������ ������ − ������������ 2 1 ������ − ������������ 2 ������ ������ ������ ������������ = ������ × − ������ ������������������+2 ������ ������ − ������������ 2 ������=1 ������ ������ ������ 2011/1/8 コンピュータ最先端ガイド勉強会 8
  • 9. カーネル密度関数の勾配 • カーネル密度関数の勾配を求める ������ 1 ������ − ������������ 2 ������������ ������������ ������ = ������+2 ������ − ������������ ������ ′ ( ) ������������ ������ ������=1 • ここで������ ������ = −������′(������)とおくと ������ 1 ������ − ������������ 2 ������������ ������������ ������ = ������+2 ������������ − ������ ������ ( ) ������������ ������ ������=1 ������ ������ − ������������ 2 1 ������ − ������������ 2 ������ ������ ������ ������������ = ������ × − ������ ������������������+2 ������ ������ − ������������ 2 ������=1 ������ ������ ������ ミーンシフトの更新式 2011/1/8 コンピュータ最先端ガイド勉強会 9
  • 10. カーネル密度関数の勾配 • 整理すると 2 ������������ ������������ (������) = 2 ������������ (������) ������������ (������) − ������ ������ • これから ������2 ������������ ������ = ������������ ������������ ������ 2������������ (������) ミーンシフトのステップ 密度関数の勾配方向 • なお、このようなミーンシフトカーネルGに対応する カーネルKをカーネルGのシャドウカーネルと呼ぶ 2011/1/8 コンピュータ最先端ガイド勉強会 10
  • 11. ミーンシフトの性質 • ミーンシフトにおける最頻値探索はカーネル密度関 数上の最頻値に収束する – なおミーンシフトで使うカーネルと密度関数推定で使う カーネルは一般には同じではない、ただし正規分布カー ネルにおいては同じ。 • ステップ幅を自動設定する最急降下法とみなすこと もできる – 密度の小さいところではステップ幅が大きく、密度の高い 最頻値に近いところではステップ幅が小さくなる – これにより効率的で振動のない収束が得られることが推 測できる 2011/1/8 コンピュータ最先端ガイド勉強会 11
  • 12. ミーンシフトの性質 カーネル密度関数 2011/1/8 コンピュータ最先端ガイド勉強会 12
  • 13. ミーンシフトの性質 カーネル密度関数 2011/1/8 コンピュータ最先端ガイド勉強会 13
  • 14. ミーンシフトの収束定理 • ミーンシフトの収束性については以下の定理が知ら れている[15,32] ミーンシフトの収束定理[15 Theorem 1] • カーネルKが凸状で単調減尐するプロファイルkを持つ ならば, KをシャドウとするカーネルGを用いたミーンシ フトによる最頻値探索は, Kによる密度関数上の初期 値近傍の最頻値点に必ず収束する。 2011/1/8 コンピュータ最先端ガイド勉強会 14
  • 15. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較(3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 15
  • 16. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較 (3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 16
  • 17. カーネル幅推定の重要性 • 例えばミーンシフトを用いたクラスタリングではクラ スタ数を与える必要はなく、データに応じてクラスタ 数が決まる • クラスタ数はカーネルの幅に大きく作用される But… • 適切なカーネル幅を選ぶ必要がある 2011/1/8 コンピュータ最先端ガイド勉強会 17
  • 18. カーネル幅による影響 • カーネル幅の値により、カーネル密度推定の結果が 大きく変わる – 幅が小さすぎるとすべての点でピークをとるようになる – 幅が大きすぎると単峰の分布となる ������ = 5 ������ = 0.05 ������ = 0.5 2011/1/8 コンピュータ最先端ガイド勉強会 18
  • 19. カーネル幅の推定手法に関する研究 • 統計的手法[46,49,58,64] – カーネル密度推定の誤差を最小化する – 未知の真の密度関数������(������)とそのカーネル推定������ (������)の誤 差を何らかの基準 ISE(integrated squared error), MISE(mean ISE), AMISE(asymptotic MISE)で最小化する • ミーンシフトベクトルに基づく手法 – ミーンシフトベクトルの長さを最大化[17] • 高次微分や非等方カーネル幅行列への拡張[37] – SIFT法の基礎である自動スケール決定法とも関係[33] • 安定性を指標とした手法 – クラスタ解析の安定性を最適化[23] – ピークにガウス関数を当てはめ、結果が最も安定となる幅 を採用する手法[11,35,37,38] 2011/1/8 コンピュータ最先端ガイド勉強会 19
  • 20. 応用利用 • 応用に関する研究 – サンプルデータから求めたカーネル幅を使って、階層的ク ラスタリングに応用している[63] – 安定な画像領域分割アルゴリズムへの応用[65] • 実装に当たって – これらの研究結果はあるが、問題の設定次第で最適化 の定義が違うため、カーネル幅の導出を行う決定的な方 法はない – 問題によってはGUIやシステムの他部位の出力を使った 値決めも考えられる 2011/1/8 コンピュータ最先端ガイド勉強会 20
  • 21. 本節の内容 • 前半(3.1-3.3) – カーネル密度推定とミーンシフトの関係について • 後半(3.4,3.5) – カーネル幅の推定について(3.4) – 理論的比較(3.5) 2011/1/8 コンピュータ最先端ガイド勉強会 21
  • 22. ロバスト推定との関係 • データとして{3,4,5,8000}が与えられたとする – 単純に平均をとると2003になる – 8000を外れ値としてみなし、平均は4という方が妥当 – 4の近傍で注目する領域幅が十分に小さければ実際の平 均4を推定できる – カーネル法を適応することにより外れ値(outlier)の影響を 減らせる • また上のデータは最頻値が複数存在する分布から データが生成されているとみなすことができる – このような分布をマルチモーダルな分布と呼ぶ • このようなデータからノイズに頑強に元の分布を求 める手法をロバスト推定と呼ぶ 2011/1/8 コンピュータ最先端ガイド勉強会 22
  • 23. ロバスト推定との関係 • 最尤推定 – 元の分布のモード位置������に対して尤度分布������(������1 , … , ������������ |������) の最尤推定はカーネル密度推定関数の最大化と理解で きる • M推定法 – 原点が最小値で単調増加する対象非負関数������を用いて、 ������ ������(|������ − ������������ |)を最小とするように������を最適化 – ������を適切に選ぶことにより、外れ値に頑強な推定ができる – これは実はカーネル密度関数の符号を逆にしたものと一 致する 2011/1/8 コンピュータ最先端ガイド勉強会 23
  • 24. ミーンシフト公式の理論的導出 • 前半説明したカーネル密度推定式の微分を元にし た導出の他にも導出がある • 界面関数最適化(variational bound optimization)の 理論に基づくもの[21,50] – 目的関数の二次下界関数の最適化の枠組みを使い、 ミーンシフトとNewton法が同値であることが示せる[21] – 5節で扱う最大事後確率推定への拡張へも使われている 2011/1/8 コンピュータ最先端ガイド勉強会 24
  • 25. 高速化について • ミーンシフトの計算においてはナイーブに行うと ������(������2 ������)かかるためコストが大きい(������:データ数, ������ : 繰り返し数)ので高速化の手法がいくつか提案さ れている • 高速ガウス変換を応用したもの[68] – カーネル和を高速に求める • EMアルゴリズムとの同値性を利用したもの[4,6] • Half-quadratic最適化の枠組みを使ったもの[71] 2011/1/8 コンピュータ最先端ガイド勉強会 25
  • 26. 非線形空間への拡張 • ミーンシフトの収束先が球面状に載っているという 制約をつけたいとかを考えたとき、単純に平均をと ると球面に載るとは限らない – データが三次元空間にあるのではなく非線形な二次元空 間状にあると考えるとうまくいく – Riemann多様体への拡張[51-55,59] – 一般的な距離空間への拡張(medoidshift)[47] – 詳しくは5節で触れる 2011/1/8 コンピュータ最先端ガイド勉強会 26