Lecture 04 florent perronnin - large-scale visual recognition with ecplicit embedding
•
0 gostou•287 visualizações
ICVSS 2014 slides
Recomendados
Mais conteúdo relacionado
Mais procurados
Mais procurados (19)
Destaque
Destaque (14)
Mais de mustafa sarac
Mais de mustafa sarac (20)
Lecture 04 florent perronnin - large-scale visual recognition with ecplicit embedding
- 3. 𝐹 𝑥 𝑦 𝑦∗ = arg max 𝑦 𝐹(𝑥, 𝑦; 𝑊) 𝐹(𝑥, 𝑦; 𝑊)
- 4. 𝐹 𝑥 𝑦 𝑦∗ = arg max 𝑦 𝐹(𝑥, 𝑦; 𝑊) → 𝐹(𝑥, 𝑦; 𝑊) Φ( ) Φ( ) Θ( ) Θ( )
- 5. 𝑎 𝑏 Φ 𝑎 Φ 𝑏 : Φ(𝑥)𝑥 = 𝑎 𝑏 𝑐 Φ(𝑎) Φ(𝑏) Φ(𝑐) 𝑅 𝑑
- 6. 𝑢 𝑣 Θ 𝑢 Θ 𝑣 : Θ(𝑦) 𝑢 𝑣 𝑧 Θ(𝑢) Θ(𝑣) Θ(𝑧) 𝑦 = 𝑅 𝑒
- 7. • • • →
- 9. • • •
- 10. →
- 11. • • →
- 13. • → • • →
- 17.
- 19. • • •
- 20. • • •
- 23. Φ → • X = 𝑥1, … , 𝑥 𝑇 • 𝑥 𝑡 𝜑 𝑥𝑡 • 1 𝑇 𝜑 𝑥 𝑡 𝑇 𝑡=1
- 24. • → • 𝜑 𝑏𝑜𝑣 𝑥𝑡 = [0, … , 0, 1, 0, … , 0] • →
- 25. 𝝋
- 26. 𝝋
- 27. 𝝋
- 28. 𝝋 •
- 29. 𝝋 • •
- 32. {𝜇1, … , 𝜇 𝑁} X = 𝑥1, … , 𝑥 𝑇 • 𝑁𝑁 𝑥 𝑡 = arg min 𝜇 𝑖 𝑥 𝑡 − 𝜇𝑖 • 𝑣𝑖 = (𝑥 𝑡 − 𝜇𝑖)𝑥 𝑡: 𝑁𝑁 𝑥 𝑡 =𝜇 𝑖 • 𝑣𝑖 ℓ2 3 x v1 v2 v3 v4 v5 1 4 2 5 ① ② ③
- 33. 𝑣𝑖 = (𝑥𝑡 − 𝜇𝑖)𝑥 𝑡: 𝑁𝑁 𝑥 𝑡 =𝜇 𝑖
- 34. 𝜑 𝑣𝑙𝑎𝑑 𝑥𝑡 = 0, … , 0, (𝑥𝑡−𝜇𝑖), 0, … , 0 • • → 𝐷 𝑫𝑵
- 37. 𝑢 𝜆 𝑥𝑡 𝑔 𝜆 (𝑥𝑡) = 𝛻𝜆 log 𝑢 𝜆(𝑥𝑡)
- 38. 𝐹𝜆 = 𝐸 𝑥~𝑢 𝜆 𝑔 𝜆(𝑥)𝑔 𝜆(𝑥) 𝑇 𝐾 𝑥, 𝑧 = 𝑔 𝜆(𝑥) 𝑇 𝐹𝜆 −1 𝑔 𝜆(𝑧)
- 39. 𝐹𝜆 = 𝐸 𝑥~𝑢 𝜆 𝑔 𝜆(𝑥)𝑔 𝜆(𝑥) 𝑇 𝐾 𝑥, 𝑧 = 𝑔 𝜆(𝑥) 𝑇 𝐹𝜆 −1 𝑔 𝜆(𝑧) 𝐹𝜆 −1 = 𝐿 𝜆 𝑇 𝐿 𝜆 𝜑 𝜆 𝑓𝑣(𝑥𝑡) = 𝐿 𝜆 𝑔(𝑥𝑡)
- 40. 𝑢 𝜆 𝑢 𝜆(𝑥) = 𝑤𝑖 𝑢𝑖(𝑥) 𝑁 𝑖=1 𝑢𝑖 𝑥 = 1 (2𝜋) 𝐷/2 Σ 𝑖 1/2 exp − 1 2 (𝑥 − 𝜇𝑖)′Σ𝑖 −1 (𝑥 − 𝜇𝑖) → 𝜆 = 𝑤𝑖, 𝜇𝑖, Σ𝑖, 𝑖 = 1 … 𝑁 Σ𝑖 = 𝑑𝑖𝑎𝑔(𝜎𝑖 2) → 𝑤𝑖, 𝜇𝑖 𝜎𝑖
- 41. 𝛾𝑡(𝑖) 𝑥 𝑡 𝑖 𝜑 𝑤 𝑥 𝑡 = 𝛾𝑡(1) 𝑤1 , … , 𝛾𝑡(𝑁) 𝑤 𝑁 𝜑 𝑏𝑜𝑣 𝑥 𝑡 = [0, … , 0, 1, 0, … , 0] → 𝜑 𝜇 𝑥 𝑡 = 𝛾𝑡 1 𝜎1 𝑤1 𝑥 𝑡 − 𝜇1 , … , 𝛾𝑡 1 𝜎1 𝑤 𝑁 𝑥 𝑡 − 𝜇 𝑁 𝜑 𝑣𝑙𝑎𝑑 𝑥 𝑡 = 0, … , (𝑥 𝑡−𝜇𝑖), … , 0 → 𝜑 𝜎 𝑥 𝑡 = 𝛾𝑡 1 2𝑤1 𝑥 𝑡−𝜇1 2 𝜎1 2 − 1 , … , 𝛾𝑡 𝑁 2𝑤 𝑁 𝑥 𝑡−𝜇 𝑁 2 𝜎 𝑁 2 − 1 → → 𝜑 𝜇 𝜑 𝜎 → 𝟐𝑫𝑵
- 42. 𝜑 𝑏𝑜𝑣 𝑥 = [0, … , 0, 1, 0, … , 0] 𝑤 𝑇 𝜑 𝑏𝑜𝑣(𝑥)
- 43. 𝜑 𝑏𝑜𝑣 𝑥 = [0, … , 0, 1, 0, … , 0] 𝑤 𝑇 𝜑 𝑏𝑜𝑣(𝑥) →
- 44. 𝜑 𝑣𝑙𝑎𝑑 𝑥 = 0, … , (𝑥 − 𝜇𝑖), … , 0 𝑤 𝑇 𝜑 𝑣𝑙𝑎𝑑(𝑥)
- 45. 𝜑 𝑣𝑙𝑎𝑑 𝑥 = 0, … , (𝑥 − 𝜇𝑖), … , 0 𝑤 𝑇 𝜑 𝑣𝑙𝑎𝑑(𝑥) →
- 46. 𝜑 𝑓𝑣 𝑥 𝑡 = … , 𝛾𝑡 𝑖 𝜎𝑖 𝑤𝑖 𝑥 𝑡 − 𝜇𝑖 , 𝛾𝑡 𝑖 2𝑤𝑖 𝑥 𝑡 − 𝜇𝑖 2 𝜎𝑖 2 − 1 , … 𝑤 𝑇 𝜑 𝑓𝑣(𝑥)
- 47. 𝜑 𝑓𝑣 𝑥 𝑡 = … , 𝛾𝑡 𝑖 𝜎𝑖 𝑤𝑖 𝑥 𝑡 − 𝜇𝑖 , 𝛾𝑡 𝑖 2𝑤𝑖 𝑥 𝑡 − 𝜇𝑖 2 𝜎𝑖 2 − 1 , … 𝑤 𝑇 𝜑 𝑓𝑣(𝑥) → →
- 48. • ℓ2 • 𝑧 𝑠𝑖𝑔𝑛 𝑧 𝑧 𝛼 0 ≤ 𝛼 ≤ • → 𝛼 = 1/2
- 49. 𝜆 = 𝑤𝑖, 𝜇𝑖, Σ𝑖, 𝑖 = 1 … 𝑁 X = 𝑥1, … , 𝑥 𝑇 • 𝑥 𝑡: • 𝛾𝑡 𝑖 = 𝑤 𝑖 𝑢 𝑖 𝑥 𝑡 𝑤 𝑘 𝑢 𝑘 𝑥 𝑡 𝑁 𝑘=1 • 𝜑 𝜇 += … , 𝛾𝑡 𝑖 𝜎 𝑖 𝑤𝑖 𝑥 𝑡 − 𝜇𝑖 , … 𝜑 𝜎 += … , 𝛾𝑡 𝑖 2𝑤 𝑖 𝑥 𝑡−𝜇𝑖 2 𝜎𝑖 2 − 1 , … • ℓ2 • •
- 53. • •
- 55. • • •
- 57. • • •
- 58. • • • • →
- 59. • • • →
- 61. • → • • →
- 62. • • • •
- 63. • • • •
- 65. 𝒴 = 1, … , 𝑘 Θ 𝑦 = [0, … , 0, 1, 0, … , 0]
- 66. • {−1, +1} 𝐵(1/2) • • →
- 67. • {−1, +1} 𝐵(1/2) • • • • −1 … +1 +1 … +1 +1 … −1
- 68. • {−1, +1} 𝐵(1/2) • • • •
- 69. • • → Θ 6 = →
- 70. → → →
- 72.
- 73. 7 × 5 1 = 2 = 3 = 𝐴 = 𝐵 =
- 74. 7 × 5 • → • 1 = 2 = 3 = 𝐵 = Θ 𝑦 = Φ(𝑠𝑦𝑛𝑡ℎ𝑒𝑠𝑖𝑠 𝑦 ) 𝐴 =
- 76. 𝑛 × 𝑘 𝑌 →
- 78. • • • •
- 79. • • • •
- 80. 𝐹 𝑦∗ = arg max 𝑦 𝐹(𝑥, 𝑦; 𝑊) Φ(𝑥) ∈ 𝑅 𝑑 Θ(𝑦) ∈ 𝑅 𝑒 𝒅 ≠ 𝒆 𝐹(𝑥, 𝑦; 𝑊) Φ( ) Φ( ) Θ( ) Θ( )
- 81. 𝑤 𝑦 𝑑 = 𝑒 𝐹 𝑥, 𝑦 = 𝑤 𝑦 𝑇Φ 𝑥 • 𝑊 = 𝑤1 , … , 𝑤 𝑘 𝑑 × 𝑘 𝑘 • Θ(𝑦) Θ 𝑦 = [0, … , 0, 1, 0, … , 0] 𝑇 𝐹 𝑥, 𝑦; 𝑊 = [ Φ 𝑥 𝑇 ] 𝑊 Θ(𝑦)
- 82. 𝑑 ≠ 𝑒: 𝐹 𝑥, 𝑦; 𝑊 = [ Φ 𝑥 𝑇 ] 𝑊 Θ(𝑦) 𝑊 𝑑 × 𝑒 → → 𝑊
- 83. 𝑑 ≠ 𝑒: 𝐹 𝑥, 𝑦; 𝑊 = [ Φ 𝑥 𝑇 ] 𝑊 Θ(𝑦) 𝑊 𝑑 × 𝑒 • 𝐹 𝑥, 𝑦; 𝑊 = −| 𝑊 𝑇Φ 𝑥 − Θ 𝑦 |2 • 𝐹 𝑥, 𝑦; 𝑊 = −| Φ 𝑥 − 𝑊Θ 𝑦 |2
- 84. → U 𝑊 𝑊 = 𝑈 𝑇 𝑉 • 𝑈 𝑟 × 𝑑 • 𝑉 𝑟 × 𝑒 𝐹 𝑥, 𝑦; 𝑊 = Φ 𝑥 𝑇 𝑊Θ(𝑦) 𝐹 𝑥, 𝑦; 𝑈, 𝑉 = 𝑈Φ 𝑥 𝑇 𝑉Θ 𝑦 = Φ′ 𝑥 𝑇Θ′ 𝑦 Φ′ 𝑥 = 𝑈Φ 𝑥 Θ′ 𝑦 = 𝑉Θ 𝑦 → 𝑟 → 𝑟 ≪ 𝑑, 𝑒
- 86. •
- 87. • •
- 88. • • •
- 89. • • • →
- 90. • •
- 91. • Ψ 𝑥, 𝑦 = Φ 𝑥 ⊗ Θ 𝑦 𝑑𝑒 • 𝑤 𝑑𝑒 𝑊 𝐹 𝑥, 𝑦; 𝑊 = Φ 𝑥 𝑇 𝑊Θ 𝑦 = 𝑤 𝑇 Ψ 𝑥, 𝑦 → →
- 92. Θ = [Θ 1 , … , Θ 𝑘 𝑒 × 𝑘 𝐹 𝑥, . ; 𝑊 = Θ 𝑇(Φ 𝑥 𝑇 𝑊) → Φ(𝑥) 𝑧 = 𝑊 𝑇Φ 𝑥 Θ 𝑇 𝑧 𝑊 Θ
- 93. Θ = [Θ 1 , … , Θ 𝑘 𝑒 × 𝑘 𝐹 𝑥, . ; 𝑊 = Θ 𝑇(Φ 𝑥 𝑇 𝑊) → • Φ(𝑥) 𝑧 = 𝝈(𝑊 𝑇 Φ 𝑥 ) Θ 𝑇 𝑧 𝑊 Θ
- 94. Θ = [Θ 1 , … , Θ 𝑘 𝑒 × 𝑘 𝐹 𝑥, . ; 𝑊 = Θ 𝑇(Φ 𝑥 𝑇 𝑊) → • • → Φ(𝑥) 𝑧 = 𝝈(𝑊 𝑇 Φ 𝑥 ) Θ 𝑇 𝑧 𝑊 Θ
- 95. • • • •
- 96. • • • •
- 97. • → 𝑊 • → 𝑊 Θ
- 98. 𝚯 𝑊 𝑊 →
- 99. 𝚯 𝑊 𝑊 →
- 100. 𝚯 𝑊 arg max 𝑊 1 𝑛 𝐹(𝑥𝑖, 𝑦𝑖 𝑛 𝑖=1 ; 𝑊) 𝑊 𝐹 𝑥, 𝑦; 𝑊 = −| 𝑊 𝑇Φ 𝑥 − Θ 𝑦 |2 𝐹 𝑥, 𝑦; 𝑊 = −| Φ 𝑥 − 𝑊Θ 𝑦 |2 → 𝐹 𝑥, 𝑦; 𝑈, 𝑉 = −| 𝑈Φ 𝑥 − 𝑉Θ 𝑦 |2 →
- 101. 𝚯 𝑊 𝑥 = , 𝑦+ = , 𝑦− = 𝐹 𝑥, 𝑦+ ; 𝑊 > 𝐹 𝑥, 𝑦− ; 𝑊 →
- 102. 𝚯 𝑊 ℓ 𝑥, 𝑦; 𝑊 = max𝑗 Δ 𝑦, 𝑦𝑗 − 𝐹 𝑥, 𝑦; 𝑊 + 𝐹 𝑥, 𝑦𝑗; 𝑊 Δ 𝑦, 𝑦𝑗 𝑦 𝑦𝑗 • 𝑦 = 𝑦𝑗 𝑦 ≠ 𝑦𝑗 • → arg max 𝑊 1 𝑛 ℓ(𝑥𝑖, 𝑦𝑖 𝑛 𝑖=1 ; 𝑊) 𝑊
- 103. 𝚯 𝑊 ℓ 𝑥, 𝑦; 𝑊 = max 0, Δ 𝑦, 𝑦𝑗 − 𝐹 𝑥, 𝑦; 𝑊 + 𝐹 𝑥, 𝑦𝑗; 𝑊𝑘 𝑗=1
- 104. 𝚯 𝑊 ℓ 𝑥, 𝑦; 𝑊 = max 0, Δ 𝑦, 𝑦𝑗 − 𝐹 𝑥, 𝑦; 𝑊 + 𝐹 𝑥, 𝑦𝑗; 𝑊𝑘 𝑗=1 𝑦 = , 𝑥+ = , 𝑥− = 𝐹 𝑥+, 𝑦; 𝑊 > 𝐹 𝑥−, 𝑦; 𝑊
- 105. 𝚯 𝑊 Δ 𝑦+, 𝑦− − 𝐹 𝑥, 𝑦+; 𝑊 + 𝐹 𝑥, 𝑦−; 𝑊 = Δ 𝑦+, 𝑦− − 𝑥 𝑇 𝑊 𝑦+ − 𝑦− →
- 106. 𝑊 𝚯 • •
- 107. 𝑊 𝚯 arg max 𝑊,Θ 1 𝑛 ℓ(𝑥𝑖, 𝑦𝑖 𝑛 𝑖=1 ; 𝑊, Θ) + 𝜆 2 Θ − Θ 𝑝𝑟𝑖𝑜𝑟 2 → • Θ = Θ 𝑝𝑟𝑖𝑜𝑟 𝑊 • Θ 𝑊
- 108. • • • •
- 109. • • • •
- 110. → • → • → → → →
- 111. • • →
- 112. •
- 113. • • → → → →
- 114. • • → → → → →
- 115. • • •
- 116. • • • • •
- 117. ∞