SlideShare uma empresa Scribd logo
1 de 78
Baixar para ler offline
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Visi´on Est´ereo Din´amica para la Producci´on
On-line de Contenido 3D.
V.E.D.P.O.C.3D
Ingenier´ıa T´ecnica de Inform´atica de Gesti´on.
Diego Izquierdo Fern´andez
Tutor: Francisco Javier Finat Codes
Julio 2011
Grupo MoBiVAP V.E.D.P.O.C.3D
VEDPOC3D
1 Introducci´on
2 Gesti´on Estereosc´opica
3 Resultados y conclusiones.
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Introducci´on
Ver el mundo en est´ereo:
Estereopsis Humana y Artificial.
Fig: Ilusi´on ´optica
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Introducci´on
Ver el mundo en est´ereo:
Estereopsis Humana y Artificial.
Informaci´on de Profundidad =
Disparidad → diferencias entre
puntos hom´ologos.
Fig: Modelo Visi´on Est´ereo
can´onico
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
La Taxonom´ıa de la Visi´on Est´ereo
A Taxonomy and Evaluation of Dense Two-Frame Stereo
Correspondence Algorithms. D. Scharstein y R. Szeliski
(2002).
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
La Taxonom´ıa de la Visi´on Est´ereo
A Taxonomy and Evaluation of Dense Two-Frame Stereo
Correspondence Algorithms. D. Scharstein y R. Szeliski
(2002).
Objetivo: Evaluaci´on del rendimiento de los algoritmos de
Correspondencia Estereosc´opica.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
La Taxonom´ıa de la Visi´on Est´ereo
A Taxonomy and Evaluation of Dense Two-Frame Stereo
Correspondence Algorithms. D. Scharstein y R. Szeliski
(2002).
Objetivo: Evaluaci´on del rendimiento de los algoritmos de
Correspondencia Estereosc´opica.
Soporte: Plataforma software com´un y data set.
Fig: Pares del datasetGrupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Metodolog´ıa por componentes
No existe una solo forma de abordar el problema: Conjuntos de
bloques para la puesta en correspondencia y la localizaci´on de
datos hom´ologos.
C´alculo del coste de
emparejamiento → medida de
similitud.
Fig: Ejemplos de costes
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Metodolog´ıa por componentes
No existe una solo forma de abordar el problema: Conjuntos de
bloques para la puesta en correspondencia y la localizaci´on de
datos hom´ologos.
C´alculo del coste de
emparejamiento → medida de
similitud.
Agregado/soporte para el coste →
ventana de b´usqueda.
Fig: Ejemplo de Agregado
para el coste
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Metodolog´ıa por componentes
No existe una solo forma de abordar el problema: Conjuntos de
bloques para la puesta en correspondencia y la localizaci´on de
datos hom´ologos.
C´alculo del coste de
emparejamiento → medida de
similitud.
Agregado/soporte para el coste →
ventana de b´usqueda.
Fig: Ventana de b´usqueda
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Metodolog´ıa por componentes
No existe una solo forma de abordar el problema: Conjuntos de
bloques para la puesta en correspondencia y la localizaci´on de
datos hom´ologos.
C´alculo del coste de
emparejamiento → medida de
similitud.
Agregado/soporte para el coste →
ventana de b´usqueda.
C´alculo del mapa de disparidad
(nivel local o global) →
optimizaci´on.
Fig: Mapa de disparidad
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Metodolog´ıa por componentes
No existe una solo forma de abordar el problema: Conjuntos de
bloques para la puesta en correspondencia y la localizaci´on de
datos hom´ologos.
C´alculo del coste de
emparejamiento → medida de
similitud.
Agregado/soporte para el coste →
ventana de b´usqueda.
C´alculo del mapa de disparidad
(nivel local o global) →
optimizaci´on.
Postprocesamiento → refinamiento
del mapa.
Fig: MD postprocesado
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Diversidad en los m´etodos de Stereo Matching
1 Reconstrucci´on Densa o Dispersa.
Fig: Divisi´on 1.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Diversidad en los m´etodos de Stereo Matching
1 Reconstrucci´on Densa o Dispersa.
2 M´etodos Directos e Indirectos.
Fig: Divisi´on 2.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Diversidad en los m´etodos de Stereo Matching
1 Reconstrucci´on Densa o Dispersa.
2 M´etodos Directos e Indirectos.
3 M´etodos Locales y Globales.
Fig: Divisi´on 3.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Formaci´on de la imagen 2D y 3D
1 El Modelo pinhole.
Fig: Pinhole
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Formaci´on de la imagen 2D y 3D
1 El Modelo pinhole.
2 Relaci´on entre los sistema de
coordenadas.
Fig: Sistemas de
coordenadas
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Formaci´on de la imagen 2D y 3D
1 El Modelo pinhole.
2 Relaci´on entre los sistema de
coordenadas.
3 Par´ametros Intr´ınsecos e
Extr´ınsecos.
Fig: Matrices de
intr´ınsecos/extr´ınsecos.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Formaci´on de la imagen 2D y 3D
1 El Modelo pinhole.
2 Relaci´on entre los sistema de
coordenadas.
3 Par´ametros Intr´ınsecos e
Extr´ınsecos.
4 Transformaci´on Proyectiva: Puntos
en la escena → Par Est´ereo. Fig: Matrices de
intr´ınsecos/extr´ınsecos.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Geometr´ıa Est´ereo
1 Correspondencia geom´etrica: Dado un punto en la primera
imagen Aleft, ¿cu´al es la posici´on del punto Aright en la
segunda vista?.
Fig: Par Est´ereo
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Geometr´ıa Est´ereo
1 Correspondencia geom´etrica: Dado un punto en la primera
imagen Aleft, ¿cu´al es la posici´on del punto Aright en la
segunda vista?.
2 Geometr´ıa de las c´amaras: Dado un conjunto de pares de
puntos correspondientes Al ↔ Ar, i = 1, ..., n, ¿cu´ales son las
matrices M, M para el par de vistas?.
Fig: Par Est´ereo
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Geometr´ıa Est´ereo
1 Correspondencia geom´etrica: Dado un punto en la primera
imagen Aleft, ¿cu´al es la posici´on del punto Aright en la
segunda vista?.
2 Geometr´ıa de las c´amaras: Dado un conjunto de pares de
puntos correspondientes Al ↔ Ar, i = 1, ..., n, ¿cu´ales son las
matrices M, M para el par de vistas?.
3 Geometr´ıa de la escena: Dados los pares de puntos
Aleft ↔ Aright y las c´amaras M, M , ¿cu´al es la posici´on de
A en el espacio 3D?.
Fig: Par Est´ereo
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Geometr´ıa Est´ereo
La geometr´ıa est´ereo → Geometr´ıa Epipolar:
Matriz Fundamental: describe la geometr´ıa epipolar en
t´erminos de las coordenadas p´ıxel ¯pT
r F ¯pl = 0.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Geometr´ıa Est´ereo
La geometr´ıa est´ereo → Geometr´ıa Epipolar:
Matriz Fundamental: describe la geometr´ıa epipolar en
t´erminos de las coordenadas p´ıxel ¯pT
r F ¯pl = 0.
Matrices Esencial: describe la geometr´ıa epipolar en t´erminos
de las coordenadas homog´eneas pT
r Epl = 0.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Captura de pares est´ereo.
1 Modelo de c´amara Est´atica
→ Im´agenes archivo.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Captura de pares est´ereo.
1 Modelo de c´amara Est´atica
→ Im´agenes archivo.
2 Modelo de c´amara Din´amica
→ Bumblebee XB3:
Fig: Dispositivo Est´ereo Can´onico
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Captura de pares est´ereo.
1 Modelo de c´amara Est´atica
→ Im´agenes archivo.
2 Modelo de c´amara Din´amica
→ Bumblebee XB3:
3 Sistema trinocular
pre-calibrado; 2 l´ıneas de
base (12/24), sensores
(Sony 1/3”)CCD ,
(1280x960 p´ıxels), (lente
50o HFOV), (distancia focal
6mm), (rate ≥ 50 Hz).
Fig: Dispositivo Est´ereo Can´onico
Grupo MoBiVAP V.E.D.P.O.C.3D
VEDPOC3D
1 Introducci´on
2 Gesti´on Estereosc´opica
3 Resultados y conclusiones.
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Metodolog´ıa
1 Preprocesamiento: [Input]→ Par Est´ereo
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Metodolog´ıa
1 Preprocesamiento: [Input]→ Par Est´ereo
1 Rectificaci´on.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Metodolog´ıa
1 Preprocesamiento: [Input]→ Par Est´ereo
1 Rectificaci´on.
2 Correcci´on de distorsiones.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Metodolog´ıa
1 Preprocesamiento: [Input]→ Par Est´ereo
1 Rectificaci´on.
2 Correcci´on de distorsiones.
3 Extracci´on de caracter´ısticas.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Metodolog´ıa
1 Preprocesamiento: [Input]→ Par Est´ereo
1 Rectificaci´on.
2 Correcci´on de distorsiones.
3 Extracci´on de caracter´ısticas.
2 Procesamiento: [Input]→ Par Est´ereo acondicionado.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Metodolog´ıa
1 Preprocesamiento: [Input]→ Par Est´ereo
1 Rectificaci´on.
2 Correcci´on de distorsiones.
3 Extracci´on de caracter´ısticas.
2 Procesamiento: [Input]→ Par Est´ereo acondicionado.
3 Postprocesamietno: [Input]→ Mapa de disparidad.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Metodolog´ıa
1 Preprocesamiento: [Input]→ Par Est´ereo
1 Rectificaci´on.
2 Correcci´on de distorsiones.
3 Extracci´on de caracter´ısticas.
2 Procesamiento: [Input]→ Par Est´ereo acondicionado.
3 Postprocesamietno: [Input]→ Mapa de disparidad.
1 Refinamiento.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Metodolog´ıa
1 Preprocesamiento: [Input]→ Par Est´ereo
1 Rectificaci´on.
2 Correcci´on de distorsiones.
3 Extracci´on de caracter´ısticas.
2 Procesamiento: [Input]→ Par Est´ereo acondicionado.
3 Postprocesamietno: [Input]→ Mapa de disparidad.
1 Refinamiento.
2 Tratamiento de regiones a diferentes profundidades.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Metodolog´ıa
1 Preprocesamiento: [Input]→ Par Est´ereo
1 Rectificaci´on.
2 Correcci´on de distorsiones.
3 Extracci´on de caracter´ısticas.
2 Procesamiento: [Input]→ Par Est´ereo acondicionado.
3 Postprocesamietno: [Input]→ Mapa de disparidad.
1 Refinamiento.
2 Tratamiento de regiones a diferentes profundidades.
3 Triangulaci´on.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Rectificaci´on y correcci´on de distorsiones
Rectificaci´on: transformaci´on definida mediante un par de
homograf´ıas.
Fig: Par Input
A trav´es de los par´ametros del
modelo.
Fig: Modelo Corregido y
calibrado.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Extracci´on de caracter´ısticas.
Extracci´on de ”hechos” significativos medibles:
Geom´etricos: aristas y junturas.
radiom´etricos: valores extremos en
funci´on de la intensidad.
Transformaci´on: paliar efectos como
reflejos, ruido o buscar invariantes
geom´etricos.
Filtros implementados:
Extracci´on: Roberts, Sobel, Canny,
Laplaciana de Gaussiana (LoG)
Transformaci´on: Respuesta Normalizada
→ insensibilidad a reflejos.
Fig: Ejemplos de
extracciones
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Procesamiento.
Aplicaci´on del algoritmo de puesta en correspondencia al par.
1 Correlaci´on basada en el ´area (Block Matching).
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Procesamiento.
Aplicaci´on del algoritmo de puesta en correspondencia al par.
1 Correlaci´on basada en el ´area (Block Matching).
2 Correlaci´on por Programaci´on din´amica:
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Procesamiento.
Aplicaci´on del algoritmo de puesta en correspondencia al par.
1 Correlaci´on basada en el ´area (Block Matching).
2 Correlaci´on por Programaci´on din´amica:
M´etodo Semiglobal Block Matching.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Procesamiento.
Aplicaci´on del algoritmo de puesta en correspondencia al par.
1 Correlaci´on basada en el ´area (Block Matching).
2 Correlaci´on por Programaci´on din´amica:
M´etodo Semiglobal Block Matching.
M´etodo Detecci´on de discontinuidades BT.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Procesamiento.
Aplicaci´on del algoritmo de puesta en correspondencia al par.
1 Correlaci´on basada en el ´area (Block Matching).
2 Correlaci´on por Programaci´on din´amica:
M´etodo Semiglobal Block Matching.
M´etodo Detecci´on de discontinuidades BT.
3 Corte de Grafos.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Correlaci´on basada en el ´area.
Componentes:
1 Preprocesado: LoG o
Respuesta Normalizada.
Fig: LoG y Respuesta Normalizada
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Correlaci´on basada en el ´area.
Componentes:
1 Preprocesado: LoG o
Respuesta Normalizada.
2 Coste y Soporte: Ventana
SAD.
Fig: LoG y Respuesta Normalizada
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Correlaci´on basada en el ´area.
Componentes:
1 Preprocesado: LoG o
Respuesta Normalizada.
2 Coste y Soporte: Ventana
SAD.
3 Optimizaci´on: WTA. Fig: LoG y Respuesta Normalizada
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
M´etodos de Programaci´on Din´amica (1).
Componentes:
1 Preprocesado: LoG.
Fig: Mapa de disparidad SBM del
sof´a
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
M´etodos de Programaci´on Din´amica (1).
Componentes:
1 Preprocesado: LoG.
2 Coste y Soporte: Ventana
SAD.
Fig: Mapa de disparidad SBM del
sof´a
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
M´etodos de Programaci´on Din´amica (1).
Componentes:
1 Preprocesado: LoG.
2 Coste y Soporte: Ventana
SAD.
3 Optimizaci´on: Selecci´on de
caminos ´optimos por
bloques.
Fig: Mapa de disparidad SBM del
sof´a
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
M´etodos de Programaci´on Din´amica (2).
Componentes:
1 Coste y Soporte: Medida de
disimilitud.
Fig: Mapa de disparidad BT de
Tsukuba
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
M´etodos de Programaci´on Din´amica (2).
Componentes:
1 Coste y Soporte: Medida de
disimilitud.
2 Optimizaci´on: Por l´ıneas de
barrido o scanlines.
Fig: Mapa de disparidad BT de
Tsukuba
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
M´etodo de Corte de Grafos.
Componentes:
1 Coste: AD.
Fig: Mapa de disparidad CG de
Tsukuba
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
M´etodo de Corte de Grafos.
Componentes:
1 Coste: AD.
2 Optimizaci´on: corte de
gr´afos → min cut/max flow.
Fig: Mapa de disparidad CG de
Tsukuba
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Post-procesamiento del mapa de disparidad
El refinamiento del mapa de disparidad se lleva a cabo de dos
formas:
1 Filtrado de disparidades.
Fig: MD BM sin filtrado.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Post-procesamiento del mapa de disparidad
El refinamiento del mapa de disparidad se lleva a cabo de dos
formas:
1 Filtrado de disparidades.
1 Introduce un umbral para la
detecci´on de correspondencias
´unicas.
Fig: MD BM con filtrado.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Post-procesamiento del mapa de disparidad
El refinamiento del mapa de disparidad se lleva a cabo de dos
formas:
1 Filtrado de disparidades.
1 Introduce un umbral para la
detecci´on de correspondencias
´unicas.
2 Introduce un umbral para
eliminar regiones faltas de
textura.
Fig: MD BM con filtrado.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Post-procesamiento del mapa de disparidad
El refinamiento del mapa de disparidad se lleva a cabo de dos
formas:
1 Filtrado de disparidades.
1 Introduce un umbral para la
detecci´on de correspondencias
´unicas.
2 Introduce un umbral para
eliminar regiones faltas de
textura.
2 ”Speckle” (moteado de disparidad)
Fig: MD SBM sin filtrado.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Post-procesamiento del mapa de disparidad
El refinamiento del mapa de disparidad se lleva a cabo de dos
formas:
1 Filtrado de disparidades.
1 Introduce un umbral para la
detecci´on de correspondencias
´unicas.
2 Introduce un umbral para
eliminar regiones faltas de
textura.
2 ”Speckle” (moteado de disparidad)
1 Introduce un umbral en la
ventana de b´usqueda.
Fig: MD SBM con filtrado y
speckle.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Postprocesamiento (2).
Segmentaci´on por regiones de profundidad:
1 Filtrado por umbrales de
disparidad.
Fig: MD - CG
Fig: Hist. de disparidad
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Postprocesamiento (2).
Segmentaci´on por regiones de profundidad:
1 Filtrado por umbrales de
disparidad.
2 Permite la divisi´on de por
niveles de profundidad.
Fig: MD - CG
Fig: Segmentaci´on
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Postprocesamiento (2).
Segmentaci´on por regiones de profundidad:
1 Filtrado por umbrales de
disparidad.
2 Permite la divisi´on de por
niveles de profundidad.
1 Background.
Fig: MD - CG
Fig: Background
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Postprocesamiento (2).
Segmentaci´on por regiones de profundidad:
1 Filtrado por umbrales de
disparidad.
2 Permite la divisi´on de por
niveles de profundidad.
1 Background.
2 Foreground.
Fig: MD - CG
Fig: Foreground
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Postprocesamiento (2).
Segmentaci´on por regiones de profundidad:
1 Filtrado por umbrales de
disparidad.
2 Permite la divisi´on de por
niveles de profundidad.
1 Background.
2 Foreground.
3 otros.
Fig: MD - CG
Fig: Regiones intermedias
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Postprocesamiento (3)
Obtenci´on de la nube de punto para la Reproyecci´on 3D.
puts: Mapa de disparidad 16bits, informaci´on est´ereo.
1 Nube de puntos obtenida del
usuario (SBM).
Fig: Reproyecci´on XYZ
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Postprocesamiento (3)
Obtenci´on de la nube de punto para la Reproyecci´on 3D.
puts: Mapa de disparidad 16bits, informaci´on est´ereo.
1 Nube de puntos obtenida del
usuario (SBM).
2 Nube de puntos obtenida del
sof´a (BM).
Fig: Reproyecci´on XYZ
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Postprocesamiento (3)
Obtenci´on de la nube de punto para la Reproyecci´on 3D.
puts: Mapa de disparidad 16bits, informaci´on est´ereo.
1 Nube de puntos obtenida del
usuario (SBM).
2 Nube de puntos obtenida del
sof´a (BM).
3 Nube de puntos obtenida del
usuario SBM sin post.
Fig: Sin postprocesos
Grupo MoBiVAP V.E.D.P.O.C.3D
VEDPOC3D
1 Introducci´on
2 Gesti´on Estereosc´opica
3 Resultados y conclusiones.
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
¿Qu´e es VEDPOC3D?
Fig: Captura de pantalla
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Resultados Est´aticos.
1 Pre-procesamiento.
Fig: Resultado pre-procesado
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Resultados Est´aticos.
1 Pre-procesamiento.
2 Procesamiento del
MD.
Fig: Resultado Procesamieto
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Resultados Est´aticos.
1 Pre-procesamiento.
2 Procesamiento del
MD.
3 Reproyecci´on. Fig: Res. reproyecci´on
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Resultados Est´aticos.
Los resultados de la generaci´on de contenido din´amico a trav´es de
los pares est´ereo capturados por el Bumblebee se muestran en los
v´ıdeos adjuntos al PFC.
El Algoritmo de CG se ha omitido de esta secci´on por no obtener
resultados a una velocidad inferior a 1 sec.
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Conclusiones.
Visi´on Est´ereo a nivel est´atico:
1 Nivel de densidad/eficiencia: CG, SBM, BM y BT.
Visi´on Est´ereo a nivel din´amico:
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Conclusiones.
Visi´on Est´ereo a nivel est´atico:
1 Nivel de densidad/eficiencia: CG, SBM, BM y BT.
2 Tiempo de respuesta: BM, BT, SBM y CG.
Visi´on Est´ereo a nivel din´amico:
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Conclusiones.
Visi´on Est´ereo a nivel est´atico:
1 Nivel de densidad/eficiencia: CG, SBM, BM y BT.
2 Tiempo de respuesta: BM, BT, SBM y CG.
3 Delimitaci´on de contornos: CG, SBM, BM y BT.
Visi´on Est´ereo a nivel din´amico:
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Conclusiones.
Visi´on Est´ereo a nivel est´atico:
1 Nivel de densidad/eficiencia: CG, SBM, BM y BT.
2 Tiempo de respuesta: BM, BT, SBM y CG.
3 Delimitaci´on de contornos: CG, SBM, BM y BT.
4 Regiones interiores: CG, SBM, BM y BT.
Visi´on Est´ereo a nivel din´amico:
Grupo MoBiVAP V.E.D.P.O.C.3D
Introducci´on
Gesti´on Estereosc´opica
Resultados y conclusiones.
Conclusiones.
Visi´on Est´ereo a nivel est´atico:
1 Nivel de densidad/eficiencia: CG, SBM, BM y BT.
2 Tiempo de respuesta: BM, BT, SBM y CG.
3 Delimitaci´on de contornos: CG, SBM, BM y BT.
4 Regiones interiores: CG, SBM, BM y BT.
Visi´on Est´ereo a nivel din´amico:
1 Al igual que el caso est´atico, excepto CG, que se ha omitido.
Grupo MoBiVAP V.E.D.P.O.C.3D

Mais conteúdo relacionado

Semelhante a Presentacion vedpoc3 d_final

k vector search technique (spanish)
k vector search technique (spanish)k vector search technique (spanish)
k vector search technique (spanish)El Suizo
 
Búsqueda Visual con Retroacción de Relevancia basada en Actualización de Pesos
Búsqueda Visual con Retroacción de Relevancia basada en Actualización de PesosBúsqueda Visual con Retroacción de Relevancia basada en Actualización de Pesos
Búsqueda Visual con Retroacción de Relevancia basada en Actualización de PesosUniversitat Politècnica de Catalunya
 
Estimación de la escala en ORB-SLAM2 monocular mediante redes convolucionales...
Estimación de la escala en ORB-SLAM2 monocular mediante redes convolucionales...Estimación de la escala en ORB-SLAM2 monocular mediante redes convolucionales...
Estimación de la escala en ORB-SLAM2 monocular mediante redes convolucionales...Víctor Martínez Batlle
 
Ortocorrecion radiometrica en envi
Ortocorrecion radiometrica en enviOrtocorrecion radiometrica en envi
Ortocorrecion radiometrica en enviIsaac Turpo
 
Pdiva 2012 2 balotario pc4
Pdiva 2012 2 balotario pc4Pdiva 2012 2 balotario pc4
Pdiva 2012 2 balotario pc4c09271
 
Utp pdiva_lab6_procesamiento digital de imagenes con matlab iv
 Utp pdiva_lab6_procesamiento digital de imagenes con matlab iv Utp pdiva_lab6_procesamiento digital de imagenes con matlab iv
Utp pdiva_lab6_procesamiento digital de imagenes con matlab ivjcbenitezp
 
Manual de usuario
Manual de usuarioManual de usuario
Manual de usuariokeinervilla
 
Electrónica digital: Ruta de datos multiplexores y demultiplexores
Electrónica digital: Ruta de datos multiplexores y demultiplexores Electrónica digital: Ruta de datos multiplexores y demultiplexores
Electrónica digital: Ruta de datos multiplexores y demultiplexores SANTIAGO PABLO ALBERTO
 
Tarea unidad n punto b
Tarea unidad n punto bTarea unidad n punto b
Tarea unidad n punto bjohanmolina12
 
CIRC DIG CI PN02 Boole y Karnaugh Eval_por_estudiante.pdf
CIRC DIG CI PN02 Boole y Karnaugh Eval_por_estudiante.pdfCIRC DIG CI PN02 Boole y Karnaugh Eval_por_estudiante.pdf
CIRC DIG CI PN02 Boole y Karnaugh Eval_por_estudiante.pdfAVINADAD MENDEZ
 
Capitulo 4 sistemas_de_ecuaciones_no_lineales
Capitulo 4 sistemas_de_ecuaciones_no_linealesCapitulo 4 sistemas_de_ecuaciones_no_lineales
Capitulo 4 sistemas_de_ecuaciones_no_linealesmiguellagos19
 
Teoria de errores con ejemplos
Teoria de errores con ejemplosTeoria de errores con ejemplos
Teoria de errores con ejemplosJimena Rachel
 
ATW2002_Becerra_ES.pdf.pdf
ATW2002_Becerra_ES.pdf.pdfATW2002_Becerra_ES.pdf.pdf
ATW2002_Becerra_ES.pdf.pdfLuLopez7
 

Semelhante a Presentacion vedpoc3 d_final (20)

k vector search technique (spanish)
k vector search technique (spanish)k vector search technique (spanish)
k vector search technique (spanish)
 
Búsqueda Visual con Retroacción de Relevancia basada en Actualización de Pesos
Búsqueda Visual con Retroacción de Relevancia basada en Actualización de PesosBúsqueda Visual con Retroacción de Relevancia basada en Actualización de Pesos
Búsqueda Visual con Retroacción de Relevancia basada en Actualización de Pesos
 
Estimación de la escala en ORB-SLAM2 monocular mediante redes convolucionales...
Estimación de la escala en ORB-SLAM2 monocular mediante redes convolucionales...Estimación de la escala en ORB-SLAM2 monocular mediante redes convolucionales...
Estimación de la escala en ORB-SLAM2 monocular mediante redes convolucionales...
 
[Code Camp 2009] Aplicaciones de .NET en la medicina (Armando A. Meabe)
[Code Camp 2009] Aplicaciones de .NET en la medicina (Armando A. Meabe)[Code Camp 2009] Aplicaciones de .NET en la medicina (Armando A. Meabe)
[Code Camp 2009] Aplicaciones de .NET en la medicina (Armando A. Meabe)
 
Ortocorrecion radiometrica en envi
Ortocorrecion radiometrica en enviOrtocorrecion radiometrica en envi
Ortocorrecion radiometrica en envi
 
Pdiva 2012 2 balotario pc4
Pdiva 2012 2 balotario pc4Pdiva 2012 2 balotario pc4
Pdiva 2012 2 balotario pc4
 
Utp pdiva_lab6_procesamiento digital de imagenes con matlab iv
 Utp pdiva_lab6_procesamiento digital de imagenes con matlab iv Utp pdiva_lab6_procesamiento digital de imagenes con matlab iv
Utp pdiva_lab6_procesamiento digital de imagenes con matlab iv
 
Optimizacion_Robusta_I
Optimizacion_Robusta_IOptimizacion_Robusta_I
Optimizacion_Robusta_I
 
Manual de usuario
Manual de usuarioManual de usuario
Manual de usuario
 
Lógica titulación
Lógica   titulaciónLógica   titulación
Lógica titulación
 
Electrónica digital: Ruta de datos multiplexores y demultiplexores
Electrónica digital: Ruta de datos multiplexores y demultiplexores Electrónica digital: Ruta de datos multiplexores y demultiplexores
Electrónica digital: Ruta de datos multiplexores y demultiplexores
 
Tarea unidad n punto b
Tarea unidad n punto bTarea unidad n punto b
Tarea unidad n punto b
 
Seminario Cámara Construcción - Instituto Estadísticas INE
Seminario Cámara Construcción - Instituto Estadísticas INESeminario Cámara Construcción - Instituto Estadísticas INE
Seminario Cámara Construcción - Instituto Estadísticas INE
 
CIRC DIG CI PN02 Boole y Karnaugh Eval_por_estudiante.pdf
CIRC DIG CI PN02 Boole y Karnaugh Eval_por_estudiante.pdfCIRC DIG CI PN02 Boole y Karnaugh Eval_por_estudiante.pdf
CIRC DIG CI PN02 Boole y Karnaugh Eval_por_estudiante.pdf
 
Capitulo 4 sistemas_de_ecuaciones_no_lineales
Capitulo 4 sistemas_de_ecuaciones_no_linealesCapitulo 4 sistemas_de_ecuaciones_no_lineales
Capitulo 4 sistemas_de_ecuaciones_no_lineales
 
Informe topografia final
Informe topografia finalInforme topografia final
Informe topografia final
 
Teoria de errores con ejemplos
Teoria de errores con ejemplosTeoria de errores con ejemplos
Teoria de errores con ejemplos
 
Teoria de errores con ejemplos
Teoria de errores con ejemplosTeoria de errores con ejemplos
Teoria de errores con ejemplos
 
Trabajo Fin de Máster
Trabajo Fin de MásterTrabajo Fin de Máster
Trabajo Fin de Máster
 
ATW2002_Becerra_ES.pdf.pdf
ATW2002_Becerra_ES.pdf.pdfATW2002_Becerra_ES.pdf.pdf
ATW2002_Becerra_ES.pdf.pdf
 

Presentacion vedpoc3 d_final

  • 1. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Visi´on Est´ereo Din´amica para la Producci´on On-line de Contenido 3D. V.E.D.P.O.C.3D Ingenier´ıa T´ecnica de Inform´atica de Gesti´on. Diego Izquierdo Fern´andez Tutor: Francisco Javier Finat Codes Julio 2011 Grupo MoBiVAP V.E.D.P.O.C.3D
  • 2. VEDPOC3D 1 Introducci´on 2 Gesti´on Estereosc´opica 3 Resultados y conclusiones.
  • 3. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Introducci´on Ver el mundo en est´ereo: Estereopsis Humana y Artificial. Fig: Ilusi´on ´optica Grupo MoBiVAP V.E.D.P.O.C.3D
  • 4. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Introducci´on Ver el mundo en est´ereo: Estereopsis Humana y Artificial. Informaci´on de Profundidad = Disparidad → diferencias entre puntos hom´ologos. Fig: Modelo Visi´on Est´ereo can´onico Grupo MoBiVAP V.E.D.P.O.C.3D
  • 5. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. La Taxonom´ıa de la Visi´on Est´ereo A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms. D. Scharstein y R. Szeliski (2002). Grupo MoBiVAP V.E.D.P.O.C.3D
  • 6. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. La Taxonom´ıa de la Visi´on Est´ereo A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms. D. Scharstein y R. Szeliski (2002). Objetivo: Evaluaci´on del rendimiento de los algoritmos de Correspondencia Estereosc´opica. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 7. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. La Taxonom´ıa de la Visi´on Est´ereo A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms. D. Scharstein y R. Szeliski (2002). Objetivo: Evaluaci´on del rendimiento de los algoritmos de Correspondencia Estereosc´opica. Soporte: Plataforma software com´un y data set. Fig: Pares del datasetGrupo MoBiVAP V.E.D.P.O.C.3D
  • 8. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Metodolog´ıa por componentes No existe una solo forma de abordar el problema: Conjuntos de bloques para la puesta en correspondencia y la localizaci´on de datos hom´ologos. C´alculo del coste de emparejamiento → medida de similitud. Fig: Ejemplos de costes Grupo MoBiVAP V.E.D.P.O.C.3D
  • 9. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Metodolog´ıa por componentes No existe una solo forma de abordar el problema: Conjuntos de bloques para la puesta en correspondencia y la localizaci´on de datos hom´ologos. C´alculo del coste de emparejamiento → medida de similitud. Agregado/soporte para el coste → ventana de b´usqueda. Fig: Ejemplo de Agregado para el coste Grupo MoBiVAP V.E.D.P.O.C.3D
  • 10. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Metodolog´ıa por componentes No existe una solo forma de abordar el problema: Conjuntos de bloques para la puesta en correspondencia y la localizaci´on de datos hom´ologos. C´alculo del coste de emparejamiento → medida de similitud. Agregado/soporte para el coste → ventana de b´usqueda. Fig: Ventana de b´usqueda Grupo MoBiVAP V.E.D.P.O.C.3D
  • 11. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Metodolog´ıa por componentes No existe una solo forma de abordar el problema: Conjuntos de bloques para la puesta en correspondencia y la localizaci´on de datos hom´ologos. C´alculo del coste de emparejamiento → medida de similitud. Agregado/soporte para el coste → ventana de b´usqueda. C´alculo del mapa de disparidad (nivel local o global) → optimizaci´on. Fig: Mapa de disparidad Grupo MoBiVAP V.E.D.P.O.C.3D
  • 12. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Metodolog´ıa por componentes No existe una solo forma de abordar el problema: Conjuntos de bloques para la puesta en correspondencia y la localizaci´on de datos hom´ologos. C´alculo del coste de emparejamiento → medida de similitud. Agregado/soporte para el coste → ventana de b´usqueda. C´alculo del mapa de disparidad (nivel local o global) → optimizaci´on. Postprocesamiento → refinamiento del mapa. Fig: MD postprocesado Grupo MoBiVAP V.E.D.P.O.C.3D
  • 13. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Diversidad en los m´etodos de Stereo Matching 1 Reconstrucci´on Densa o Dispersa. Fig: Divisi´on 1. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 14. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Diversidad en los m´etodos de Stereo Matching 1 Reconstrucci´on Densa o Dispersa. 2 M´etodos Directos e Indirectos. Fig: Divisi´on 2. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 15. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Diversidad en los m´etodos de Stereo Matching 1 Reconstrucci´on Densa o Dispersa. 2 M´etodos Directos e Indirectos. 3 M´etodos Locales y Globales. Fig: Divisi´on 3. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 16. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Formaci´on de la imagen 2D y 3D 1 El Modelo pinhole. Fig: Pinhole Grupo MoBiVAP V.E.D.P.O.C.3D
  • 17. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Formaci´on de la imagen 2D y 3D 1 El Modelo pinhole. 2 Relaci´on entre los sistema de coordenadas. Fig: Sistemas de coordenadas Grupo MoBiVAP V.E.D.P.O.C.3D
  • 18. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Formaci´on de la imagen 2D y 3D 1 El Modelo pinhole. 2 Relaci´on entre los sistema de coordenadas. 3 Par´ametros Intr´ınsecos e Extr´ınsecos. Fig: Matrices de intr´ınsecos/extr´ınsecos. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 19. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Formaci´on de la imagen 2D y 3D 1 El Modelo pinhole. 2 Relaci´on entre los sistema de coordenadas. 3 Par´ametros Intr´ınsecos e Extr´ınsecos. 4 Transformaci´on Proyectiva: Puntos en la escena → Par Est´ereo. Fig: Matrices de intr´ınsecos/extr´ınsecos. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 20. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Geometr´ıa Est´ereo 1 Correspondencia geom´etrica: Dado un punto en la primera imagen Aleft, ¿cu´al es la posici´on del punto Aright en la segunda vista?. Fig: Par Est´ereo Grupo MoBiVAP V.E.D.P.O.C.3D
  • 21. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Geometr´ıa Est´ereo 1 Correspondencia geom´etrica: Dado un punto en la primera imagen Aleft, ¿cu´al es la posici´on del punto Aright en la segunda vista?. 2 Geometr´ıa de las c´amaras: Dado un conjunto de pares de puntos correspondientes Al ↔ Ar, i = 1, ..., n, ¿cu´ales son las matrices M, M para el par de vistas?. Fig: Par Est´ereo Grupo MoBiVAP V.E.D.P.O.C.3D
  • 22. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Geometr´ıa Est´ereo 1 Correspondencia geom´etrica: Dado un punto en la primera imagen Aleft, ¿cu´al es la posici´on del punto Aright en la segunda vista?. 2 Geometr´ıa de las c´amaras: Dado un conjunto de pares de puntos correspondientes Al ↔ Ar, i = 1, ..., n, ¿cu´ales son las matrices M, M para el par de vistas?. 3 Geometr´ıa de la escena: Dados los pares de puntos Aleft ↔ Aright y las c´amaras M, M , ¿cu´al es la posici´on de A en el espacio 3D?. Fig: Par Est´ereo Grupo MoBiVAP V.E.D.P.O.C.3D
  • 23. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Geometr´ıa Est´ereo La geometr´ıa est´ereo → Geometr´ıa Epipolar: Matriz Fundamental: describe la geometr´ıa epipolar en t´erminos de las coordenadas p´ıxel ¯pT r F ¯pl = 0. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 24. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Geometr´ıa Est´ereo La geometr´ıa est´ereo → Geometr´ıa Epipolar: Matriz Fundamental: describe la geometr´ıa epipolar en t´erminos de las coordenadas p´ıxel ¯pT r F ¯pl = 0. Matrices Esencial: describe la geometr´ıa epipolar en t´erminos de las coordenadas homog´eneas pT r Epl = 0. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 25. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Captura de pares est´ereo. 1 Modelo de c´amara Est´atica → Im´agenes archivo. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 26. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Captura de pares est´ereo. 1 Modelo de c´amara Est´atica → Im´agenes archivo. 2 Modelo de c´amara Din´amica → Bumblebee XB3: Fig: Dispositivo Est´ereo Can´onico Grupo MoBiVAP V.E.D.P.O.C.3D
  • 27. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Captura de pares est´ereo. 1 Modelo de c´amara Est´atica → Im´agenes archivo. 2 Modelo de c´amara Din´amica → Bumblebee XB3: 3 Sistema trinocular pre-calibrado; 2 l´ıneas de base (12/24), sensores (Sony 1/3”)CCD , (1280x960 p´ıxels), (lente 50o HFOV), (distancia focal 6mm), (rate ≥ 50 Hz). Fig: Dispositivo Est´ereo Can´onico Grupo MoBiVAP V.E.D.P.O.C.3D
  • 28. VEDPOC3D 1 Introducci´on 2 Gesti´on Estereosc´opica 3 Resultados y conclusiones.
  • 29. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Metodolog´ıa 1 Preprocesamiento: [Input]→ Par Est´ereo Grupo MoBiVAP V.E.D.P.O.C.3D
  • 30. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Metodolog´ıa 1 Preprocesamiento: [Input]→ Par Est´ereo 1 Rectificaci´on. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 31. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Metodolog´ıa 1 Preprocesamiento: [Input]→ Par Est´ereo 1 Rectificaci´on. 2 Correcci´on de distorsiones. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 32. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Metodolog´ıa 1 Preprocesamiento: [Input]→ Par Est´ereo 1 Rectificaci´on. 2 Correcci´on de distorsiones. 3 Extracci´on de caracter´ısticas. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 33. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Metodolog´ıa 1 Preprocesamiento: [Input]→ Par Est´ereo 1 Rectificaci´on. 2 Correcci´on de distorsiones. 3 Extracci´on de caracter´ısticas. 2 Procesamiento: [Input]→ Par Est´ereo acondicionado. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 34. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Metodolog´ıa 1 Preprocesamiento: [Input]→ Par Est´ereo 1 Rectificaci´on. 2 Correcci´on de distorsiones. 3 Extracci´on de caracter´ısticas. 2 Procesamiento: [Input]→ Par Est´ereo acondicionado. 3 Postprocesamietno: [Input]→ Mapa de disparidad. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 35. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Metodolog´ıa 1 Preprocesamiento: [Input]→ Par Est´ereo 1 Rectificaci´on. 2 Correcci´on de distorsiones. 3 Extracci´on de caracter´ısticas. 2 Procesamiento: [Input]→ Par Est´ereo acondicionado. 3 Postprocesamietno: [Input]→ Mapa de disparidad. 1 Refinamiento. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 36. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Metodolog´ıa 1 Preprocesamiento: [Input]→ Par Est´ereo 1 Rectificaci´on. 2 Correcci´on de distorsiones. 3 Extracci´on de caracter´ısticas. 2 Procesamiento: [Input]→ Par Est´ereo acondicionado. 3 Postprocesamietno: [Input]→ Mapa de disparidad. 1 Refinamiento. 2 Tratamiento de regiones a diferentes profundidades. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 37. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Metodolog´ıa 1 Preprocesamiento: [Input]→ Par Est´ereo 1 Rectificaci´on. 2 Correcci´on de distorsiones. 3 Extracci´on de caracter´ısticas. 2 Procesamiento: [Input]→ Par Est´ereo acondicionado. 3 Postprocesamietno: [Input]→ Mapa de disparidad. 1 Refinamiento. 2 Tratamiento de regiones a diferentes profundidades. 3 Triangulaci´on. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 38. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Rectificaci´on y correcci´on de distorsiones Rectificaci´on: transformaci´on definida mediante un par de homograf´ıas. Fig: Par Input A trav´es de los par´ametros del modelo. Fig: Modelo Corregido y calibrado. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 39. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Extracci´on de caracter´ısticas. Extracci´on de ”hechos” significativos medibles: Geom´etricos: aristas y junturas. radiom´etricos: valores extremos en funci´on de la intensidad. Transformaci´on: paliar efectos como reflejos, ruido o buscar invariantes geom´etricos. Filtros implementados: Extracci´on: Roberts, Sobel, Canny, Laplaciana de Gaussiana (LoG) Transformaci´on: Respuesta Normalizada → insensibilidad a reflejos. Fig: Ejemplos de extracciones Grupo MoBiVAP V.E.D.P.O.C.3D
  • 40. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Procesamiento. Aplicaci´on del algoritmo de puesta en correspondencia al par. 1 Correlaci´on basada en el ´area (Block Matching). Grupo MoBiVAP V.E.D.P.O.C.3D
  • 41. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Procesamiento. Aplicaci´on del algoritmo de puesta en correspondencia al par. 1 Correlaci´on basada en el ´area (Block Matching). 2 Correlaci´on por Programaci´on din´amica: Grupo MoBiVAP V.E.D.P.O.C.3D
  • 42. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Procesamiento. Aplicaci´on del algoritmo de puesta en correspondencia al par. 1 Correlaci´on basada en el ´area (Block Matching). 2 Correlaci´on por Programaci´on din´amica: M´etodo Semiglobal Block Matching. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 43. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Procesamiento. Aplicaci´on del algoritmo de puesta en correspondencia al par. 1 Correlaci´on basada en el ´area (Block Matching). 2 Correlaci´on por Programaci´on din´amica: M´etodo Semiglobal Block Matching. M´etodo Detecci´on de discontinuidades BT. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 44. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Procesamiento. Aplicaci´on del algoritmo de puesta en correspondencia al par. 1 Correlaci´on basada en el ´area (Block Matching). 2 Correlaci´on por Programaci´on din´amica: M´etodo Semiglobal Block Matching. M´etodo Detecci´on de discontinuidades BT. 3 Corte de Grafos. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 45. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Correlaci´on basada en el ´area. Componentes: 1 Preprocesado: LoG o Respuesta Normalizada. Fig: LoG y Respuesta Normalizada Grupo MoBiVAP V.E.D.P.O.C.3D
  • 46. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Correlaci´on basada en el ´area. Componentes: 1 Preprocesado: LoG o Respuesta Normalizada. 2 Coste y Soporte: Ventana SAD. Fig: LoG y Respuesta Normalizada Grupo MoBiVAP V.E.D.P.O.C.3D
  • 47. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Correlaci´on basada en el ´area. Componentes: 1 Preprocesado: LoG o Respuesta Normalizada. 2 Coste y Soporte: Ventana SAD. 3 Optimizaci´on: WTA. Fig: LoG y Respuesta Normalizada Grupo MoBiVAP V.E.D.P.O.C.3D
  • 48. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. M´etodos de Programaci´on Din´amica (1). Componentes: 1 Preprocesado: LoG. Fig: Mapa de disparidad SBM del sof´a Grupo MoBiVAP V.E.D.P.O.C.3D
  • 49. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. M´etodos de Programaci´on Din´amica (1). Componentes: 1 Preprocesado: LoG. 2 Coste y Soporte: Ventana SAD. Fig: Mapa de disparidad SBM del sof´a Grupo MoBiVAP V.E.D.P.O.C.3D
  • 50. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. M´etodos de Programaci´on Din´amica (1). Componentes: 1 Preprocesado: LoG. 2 Coste y Soporte: Ventana SAD. 3 Optimizaci´on: Selecci´on de caminos ´optimos por bloques. Fig: Mapa de disparidad SBM del sof´a Grupo MoBiVAP V.E.D.P.O.C.3D
  • 51. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. M´etodos de Programaci´on Din´amica (2). Componentes: 1 Coste y Soporte: Medida de disimilitud. Fig: Mapa de disparidad BT de Tsukuba Grupo MoBiVAP V.E.D.P.O.C.3D
  • 52. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. M´etodos de Programaci´on Din´amica (2). Componentes: 1 Coste y Soporte: Medida de disimilitud. 2 Optimizaci´on: Por l´ıneas de barrido o scanlines. Fig: Mapa de disparidad BT de Tsukuba Grupo MoBiVAP V.E.D.P.O.C.3D
  • 53. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. M´etodo de Corte de Grafos. Componentes: 1 Coste: AD. Fig: Mapa de disparidad CG de Tsukuba Grupo MoBiVAP V.E.D.P.O.C.3D
  • 54. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. M´etodo de Corte de Grafos. Componentes: 1 Coste: AD. 2 Optimizaci´on: corte de gr´afos → min cut/max flow. Fig: Mapa de disparidad CG de Tsukuba Grupo MoBiVAP V.E.D.P.O.C.3D
  • 55. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Post-procesamiento del mapa de disparidad El refinamiento del mapa de disparidad se lleva a cabo de dos formas: 1 Filtrado de disparidades. Fig: MD BM sin filtrado. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 56. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Post-procesamiento del mapa de disparidad El refinamiento del mapa de disparidad se lleva a cabo de dos formas: 1 Filtrado de disparidades. 1 Introduce un umbral para la detecci´on de correspondencias ´unicas. Fig: MD BM con filtrado. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 57. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Post-procesamiento del mapa de disparidad El refinamiento del mapa de disparidad se lleva a cabo de dos formas: 1 Filtrado de disparidades. 1 Introduce un umbral para la detecci´on de correspondencias ´unicas. 2 Introduce un umbral para eliminar regiones faltas de textura. Fig: MD BM con filtrado. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 58. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Post-procesamiento del mapa de disparidad El refinamiento del mapa de disparidad se lleva a cabo de dos formas: 1 Filtrado de disparidades. 1 Introduce un umbral para la detecci´on de correspondencias ´unicas. 2 Introduce un umbral para eliminar regiones faltas de textura. 2 ”Speckle” (moteado de disparidad) Fig: MD SBM sin filtrado. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 59. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Post-procesamiento del mapa de disparidad El refinamiento del mapa de disparidad se lleva a cabo de dos formas: 1 Filtrado de disparidades. 1 Introduce un umbral para la detecci´on de correspondencias ´unicas. 2 Introduce un umbral para eliminar regiones faltas de textura. 2 ”Speckle” (moteado de disparidad) 1 Introduce un umbral en la ventana de b´usqueda. Fig: MD SBM con filtrado y speckle. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 60. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Postprocesamiento (2). Segmentaci´on por regiones de profundidad: 1 Filtrado por umbrales de disparidad. Fig: MD - CG Fig: Hist. de disparidad Grupo MoBiVAP V.E.D.P.O.C.3D
  • 61. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Postprocesamiento (2). Segmentaci´on por regiones de profundidad: 1 Filtrado por umbrales de disparidad. 2 Permite la divisi´on de por niveles de profundidad. Fig: MD - CG Fig: Segmentaci´on Grupo MoBiVAP V.E.D.P.O.C.3D
  • 62. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Postprocesamiento (2). Segmentaci´on por regiones de profundidad: 1 Filtrado por umbrales de disparidad. 2 Permite la divisi´on de por niveles de profundidad. 1 Background. Fig: MD - CG Fig: Background Grupo MoBiVAP V.E.D.P.O.C.3D
  • 63. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Postprocesamiento (2). Segmentaci´on por regiones de profundidad: 1 Filtrado por umbrales de disparidad. 2 Permite la divisi´on de por niveles de profundidad. 1 Background. 2 Foreground. Fig: MD - CG Fig: Foreground Grupo MoBiVAP V.E.D.P.O.C.3D
  • 64. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Postprocesamiento (2). Segmentaci´on por regiones de profundidad: 1 Filtrado por umbrales de disparidad. 2 Permite la divisi´on de por niveles de profundidad. 1 Background. 2 Foreground. 3 otros. Fig: MD - CG Fig: Regiones intermedias Grupo MoBiVAP V.E.D.P.O.C.3D
  • 65. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Postprocesamiento (3) Obtenci´on de la nube de punto para la Reproyecci´on 3D. puts: Mapa de disparidad 16bits, informaci´on est´ereo. 1 Nube de puntos obtenida del usuario (SBM). Fig: Reproyecci´on XYZ Grupo MoBiVAP V.E.D.P.O.C.3D
  • 66. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Postprocesamiento (3) Obtenci´on de la nube de punto para la Reproyecci´on 3D. puts: Mapa de disparidad 16bits, informaci´on est´ereo. 1 Nube de puntos obtenida del usuario (SBM). 2 Nube de puntos obtenida del sof´a (BM). Fig: Reproyecci´on XYZ Grupo MoBiVAP V.E.D.P.O.C.3D
  • 67. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Postprocesamiento (3) Obtenci´on de la nube de punto para la Reproyecci´on 3D. puts: Mapa de disparidad 16bits, informaci´on est´ereo. 1 Nube de puntos obtenida del usuario (SBM). 2 Nube de puntos obtenida del sof´a (BM). 3 Nube de puntos obtenida del usuario SBM sin post. Fig: Sin postprocesos Grupo MoBiVAP V.E.D.P.O.C.3D
  • 68. VEDPOC3D 1 Introducci´on 2 Gesti´on Estereosc´opica 3 Resultados y conclusiones.
  • 69. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. ¿Qu´e es VEDPOC3D? Fig: Captura de pantalla Grupo MoBiVAP V.E.D.P.O.C.3D
  • 70. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Resultados Est´aticos. 1 Pre-procesamiento. Fig: Resultado pre-procesado Grupo MoBiVAP V.E.D.P.O.C.3D
  • 71. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Resultados Est´aticos. 1 Pre-procesamiento. 2 Procesamiento del MD. Fig: Resultado Procesamieto Grupo MoBiVAP V.E.D.P.O.C.3D
  • 72. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Resultados Est´aticos. 1 Pre-procesamiento. 2 Procesamiento del MD. 3 Reproyecci´on. Fig: Res. reproyecci´on Grupo MoBiVAP V.E.D.P.O.C.3D
  • 73. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Resultados Est´aticos. Los resultados de la generaci´on de contenido din´amico a trav´es de los pares est´ereo capturados por el Bumblebee se muestran en los v´ıdeos adjuntos al PFC. El Algoritmo de CG se ha omitido de esta secci´on por no obtener resultados a una velocidad inferior a 1 sec. Grupo MoBiVAP V.E.D.P.O.C.3D
  • 74. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Conclusiones. Visi´on Est´ereo a nivel est´atico: 1 Nivel de densidad/eficiencia: CG, SBM, BM y BT. Visi´on Est´ereo a nivel din´amico: Grupo MoBiVAP V.E.D.P.O.C.3D
  • 75. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Conclusiones. Visi´on Est´ereo a nivel est´atico: 1 Nivel de densidad/eficiencia: CG, SBM, BM y BT. 2 Tiempo de respuesta: BM, BT, SBM y CG. Visi´on Est´ereo a nivel din´amico: Grupo MoBiVAP V.E.D.P.O.C.3D
  • 76. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Conclusiones. Visi´on Est´ereo a nivel est´atico: 1 Nivel de densidad/eficiencia: CG, SBM, BM y BT. 2 Tiempo de respuesta: BM, BT, SBM y CG. 3 Delimitaci´on de contornos: CG, SBM, BM y BT. Visi´on Est´ereo a nivel din´amico: Grupo MoBiVAP V.E.D.P.O.C.3D
  • 77. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Conclusiones. Visi´on Est´ereo a nivel est´atico: 1 Nivel de densidad/eficiencia: CG, SBM, BM y BT. 2 Tiempo de respuesta: BM, BT, SBM y CG. 3 Delimitaci´on de contornos: CG, SBM, BM y BT. 4 Regiones interiores: CG, SBM, BM y BT. Visi´on Est´ereo a nivel din´amico: Grupo MoBiVAP V.E.D.P.O.C.3D
  • 78. Introducci´on Gesti´on Estereosc´opica Resultados y conclusiones. Conclusiones. Visi´on Est´ereo a nivel est´atico: 1 Nivel de densidad/eficiencia: CG, SBM, BM y BT. 2 Tiempo de respuesta: BM, BT, SBM y CG. 3 Delimitaci´on de contornos: CG, SBM, BM y BT. 4 Regiones interiores: CG, SBM, BM y BT. Visi´on Est´ereo a nivel din´amico: 1 Al igual que el caso est´atico, excepto CG, que se ha omitido. Grupo MoBiVAP V.E.D.P.O.C.3D