Classe 10 Visió

20391: Visió per Computador
Apunts de l’assignatura

Classe 10
Reconeixement
d’Objectes (II)

Jordi Vitrià 20391: Visió per Computador 1

Reconeixement basat en l’aparença Apunts de l’assignatura

L’aparença...

I si enlloc de guardar característiques o models 3D
guardéssim directament una col·lecció de vistes de
l’objecte?

Com podem emmagatzemar aquesta informació de
forma compacta i eficient?

Com podem codificar en aquesta representació
informació visual interessant?



Eina: Reducció de dimensionalitat de les dades
originals.

T : ( x1 , x2 ,K, xn ) → ( y1 , y2 ,K, ym ), m << n;

... Conservant la informació necessària per a
classificar, reconèixer, etc!

I eliminant – o minimitzant – aquella informació que no
es rellevant (il·luminació, petites variacions..)



Eina: Anàlisi de Components Principals (PCA).



4

3

2

1
Λ = Φ t ΣΦ

0

-1

-2

-3

-4
-9 -8 -7 -6 -5 -4 -3 -2 -1



Passos:
1) Obtenir la matriu de covariança de les dades.

T
Σ= XX



Passos:
2) Trobar els eigenvectors v i eigenvalors λ de la matriu Σ.
3) Ordenar els eigenvectors segons els seus eigenvalors i quedar-se
amb els m primers.
4) Crear la matriu V

V = [v1 | v2 | L | vm ]



Passos:
5) Quan tenim una nova dada (o les dades originals), la podem
projectar al nou espai:
i i
x = V T
x



Exemple: Eigenfaces per reconèixer.

La tasca consisteix en reconèixer la identitat d’una
persona (d’entre un conjunt donat de persones).

?

?



Exemple: Eigenfaces.

Necessitem la mitja i els valors propis (eigenfaces) de
la matriu de covariança de les cares:

Cara mitja

Eigenfaces




Interpretació: Expressem una cara com a combinació
lineal de cares.

= y1 + y2 + y3




Classificarem a l’espai de dimensió reduïda.

Eigenspace Classificació segons
projection el veí més proper



Si tenim m dades d’aprenentatge de dimensió n, amb
m<n, i no podem calcular els vectors propis (la matriu
de covariança és de dimensió n x n)!



Exemple: Eigenfaces per detectar.
L’espai definit per les eigenfaces es pot veure com un
subespai de l’espai de les imatges. Sempre podem
calcular la distància entre qualsevol imatge i aquest
subespai! I utilitzar-ho com a criteri per decidir si és
una cara o no.



Exemple: Eigenfaces per detectar.



Exemple: Detecció i reconeixement amb
Eigenobjectes.



Eigenobjectes.



Representacions paramètriques de l’aparença.

Aprenentatge visual de models d’objectes: adquirir un
model compacte de l’aparença dels objectes sota
diferents poses I il·luminacions.

Visual workspace: Each appearance model is parametrized by
the variables of the vision task at hand:
(a) Object recognition → object pose and illumination
parameters.
(b) Tracking → the coordinates of the hand-eye system with
respect to a moving object.




We define the variables of a vision task as the visual
degrees of freedom (DOF):

q=(q1, ..., qm)T

where m is the total number of DOF at work. For any
vector q, the vision sensor produces an image vector
i.




Images are normalized such that the total energy contained within is
unity, and projected in their corresponding eigenspace.
The result is a point f j in the eigenspace.
The discrete points obtained by projecting all the discrete samples of the
workspace can be assumed to lie on a manifold that represents a
continuous appearance function.

The discrete points can be interpolated using a
standard quadratic B-spline interpolation algorithm.
The resulting manifold can be expressed as
f(q) = f(q1 ,..., qm )

It resides in a low dimensional space and therefore is a compact
representation of appearance as a function of the task DOF q.




The parametric space representation enables us to
accomplish object detection in a very efficient manner:
looking for the closest point in the appearance
manifold and measuring the distance.

B-spline

d Projected
point

Visual Task parameters




It can be used for 3D object recognition and pose
estimation.

It can also be used for visual servoing: A sizable
image window is selected that represents the
appearance of the object when the robot is in the
desired position. A large set of object images is
then obtained by incrementally perturbing the robot
end-effector with respect to the desired position. The
appearance manifold in this case represents the
mapping between camera image and robot
displacement.



Interpretació: Expressem una imatge com a
combinació lineal de eigenvectors.



Eigenspaces for Navigation

Visual navigation requires fast and robust perception.
Traditional reconstruction approaches have not
provided and adequate solution for navigation.
Appearance-based vision techniques provides an alternative
approach by defining simple processes which transform images
into commands for displacement and steering and corrections to
estimated position and orientation.




ć ǩ  Task:
Navigate from home
position to an office in the
first floor of our building.
The environment is
structured and stable, but
not static.

Ā P ō Pćō PP ǩ




Goal

Start




Room 1

Room 3 Room 2


Apunts de l’assignatura

Exemple: Reconeixement de cares en temps real.


Classe 10 Visió

Recomendados

Recomendados

Mais conteúdo relacionado

Mais de Universitat de Barcelona

Mais de Universitat de Barcelona (6)

Classe 10 Visió