Studio di tecniche per la rivelazione di traiettorie di veicoli in movimento in sequenze video - Giacomo Serini - AA 2005-2006 Relatori: Prof. Vito Cappellini, Dr. Roberto Caldelli

1. Dipartimento di Elettronica e Telecomunicazioni
Università di Firenze
Laboratorio Comunicazioni & Immagini
Studio di tecniche per la
rivelazione di traiettorie di veicoli
in movimento in sequenze video
Tesi di Laurea di:
Giacomo Serini
Corso di Laurea in Ingegneria delle Telecomunicazioni
Relatori:
Prof. Vito Cappellini
Ing. Roberto Caldelli

2. Sommario
Panoramica sull’Object Tracking: classificazione algoritmi
 Algoritmi Model Based
 Algoritmi Features Based
 Algoritmi Contour Based
 Algoritmi Region Based
Implementazione Algoritmo basato sul Block Matching
Il Block Matching Algorithm
Object Tracking basato sul BMA
Risultati sperimentali
Firenze, 18 Dicembre 2006
2

3. Object Tracking: applicazioni
 Videosorveglianza
Analisi del traffico
Firenze, 18 Dicembre 2006
3

4. Analisi del traffico
Pixel processing level:
Appartenenza di un pixel allo
sfondo o ad un oggetto in
movimento.
Frame processing level:
Analisi delle regioni in
movimento.
Tracking:
Inseguimento, riconoscimento e
classificazione degli oggetti.
Estrazione parametri rilevanti
(velocità).
Firenze, 18 Dicembre 2006
4

5. Algoritmi di Tracking
Algoritmi Features Based:
si focalizza l’attenzione solo su
alcuni particolari (Es: centroide).
Primi Bounding box
frame Individuazione OBJECT
Segmentazione
sequenza sfondo e centroidi TRACKING
(CTD 1  CTD 1)  (CTD 2  CTD 2 )  
M N M
2
N
2
M e N appartenenti a
due frame consecutivi
Firenze, 18 Dicembre 2006
5

6. Algoritmi di Tracking
Algoritmi Model Based:
richiedono un dettagliato modello geometrico.
Frame Distanza Stima MIN
Estrazione OBJECT
originale bordi I somiglianza
bordi TRACKING
(I) modello T
1
S (T , I ) 
N

t T
d I (t ) 2
Stima della
somiglianza Distanza tra il
Numero di punto t in T e
punti del il bordo più
Template vicino di I
Firenze, 18 Dicembre 2006
6

7. Algoritmi di Tracking
Algoritmi Contour Based:
si costruisce una rappresentazione del
contorno aggiornandolo di frame in frame.
Estrazione
I(t) contorno Stima del moto
I(t+1) Estrazione Confronto
contorno contorni
OBJECT
TRACKING
Firenze, 18 Dicembre 2006
7

8. Algoritmi Region Based
Ad ogni oggetto viene associata una regione
corrispondente
Si esegue una stima
del moto su sottoparti
dell’immagine
(blocchi) e si
Block Matching Algorithm
raggruppano quelle
con spostamenti
simili.
(B.M.A.)
Gli oggetti così
determinati
sono infine
riconosciuti
nella sequenza.
Firenze, 18 Dicembre 2006
8

9. Il Block Matching
Parametri fondamentali
 Dimensione dei blocchi FINESTRA DI
 Massimo spostamento RICERCA
Comprende tutti i
pixel relativi alle
posizioni che il
Criterio di scelta M.A.D. (Mean
blocco può assumere
Absolute
Determina la Entrambe le
Difference)
somiglianza funzioni devono
tra due essere
blocchi M.S.E. (Mean minimizzate
Square Error)
Firenze, 18 Dicembre 2006
9

10. Il Block Matching
Tecniche di B.M.A.
Esaustive :
Si cerca il miglior confronto ovunque (Fullsearch).
Multi step:
Si ricercano i blocchi solo in alcune posizioni (Three
Step Search).
Firenze, 18 Dicembre 2006
10

11. Il Block Matching
FRAME t-1 FRAME t
Firenze, 18 Dicembre 2006
11

12. Object Tracking con B.M.A.
Frame 1 Schema a blocchi
Elimina
Block Regolarizzazione zione Resized Map
Matching vettori moto Labelling etichette Resizing
Frame 2 1-2
rumorose
Elimina
Block Regolarizzazione zione Resized Map
vettori moto Labelling Resizing
Frame 3 Matching etichette 2-3 temp.
rumorose
Traslazione Resized Map 2-3 temp. Conteggio
di (-V) traslata di (-V) sovrapposizioni
Firenze, 18 Dicembre 2006
12

13. Object Tracking con B.M.A.
Estrazione dei Vettori di Moto
Per estrarre i vettori di moto si usa l’algoritmo Fullsearch.
Il criterio di scelta utilizzato è una variante del M.A.D.
N N
SAD   Y (i, j )  Z (i, j )
i 1 j 1
Sum of
Absolute Dimensione Valori
Difference blocco dei pixel
in Y e Z
Firenze, 18 Dicembre 2006
13

14. Object Tracking con B.M.A.
Regolarizzazione Vettori di Moto
Applicazione
filtro a soglia
e mediano
Errori di stima
del moto
Regolarizzazione
vettori di moto
Firenze, 18 Dicembre 2006
14

15. Object Tracking con B.M.A.
Etichettatura oggetti
Due criteri utilizzati:
Vicinanza spaziale
Somiglianza vettori di moto
 
|| u  v ||L2  ( xu  xv )  ( yu  yv )  ThL
2 2
I due vettori La soglia
di moto scelta
Firenze, 18 Dicembre 2006
15

16. Object Tracking con B.M.A.
Eliminazione etichette rumorose
Eliminazione
etichette
rumorose
Etichette
rumorose
Descrizione
scena reale
Firenze, 18 Dicembre 2006
16

17. Object Tracking con B.M.A.
Il 1-2
Sovrapposizioni > ThS ? temporanea
Resized Map
passo di Tracking Map 2-3
Resized
Resized Map 2-3
3 3 5
3
3 3 3 5 5
3 3 3 3
5 5
3 3
3 3 5
3
-V
Firenze, 18 Dicembre 2006
17

18. Risultati sperimentali
Parametri fondamentali
Bloch Matching:
Dimensione dei blocchi
N = 16
Massimo spostamento
Soglia filtro vettori di moto
P=7
Labelling:
Soglia confronto somiglianza vettori di moto
Soglia eliminazione etichette rumorose.
ThL = 3
Tracking:
Soglia sovrapposizioni
ThS = N x N
Firenze, 18 Dicembre 2006
18

19. Risultati sperimentali
Risultati con configurazione standard
Sequenza Taxi:
Sequenza Perdita del veicolo Sequenza
originale bianco a causa di elaborata
movimenti di rotazione 19
Firenze, 18 Dicembre 2006

20. Risultati sperimentali
Risultati con configurazione standard
Sequenza Highway:
Sequenza Sequenza
Buoni risultati.
originale elaborata
Sovrasegmentazione
dovuta a N grande
Firenze, 18 Dicembre 2006
20

21. Conclusioni
Panoramica sull’Object Tracking:
Classificazione algoritmi.
Implementazione Algoritmo basato sul Block Matching:
Descrizione dettagliata dell’algoritmo.
Buone prestazioni.
Difficoltà rilevazione movimenti rotatori.
Fortemente dipendente da stima del moto.
Necessità di immagini a buona risoluzione.
Sviluppi futuri:
Migliore regolarizzazione vettori di moto.
Assunzioni a priori per gli spostamenti dei veicoli.
Firenze, 18 Dicembre 2006
21