1. “COMPARACIÓN DE TÉCNICAS DE
DETECCIÓN DE CAMBIOS DE PLANO
SOBRE VÍDEO COMPRIMIDO APLICADAS
A ANUNCIOS DE TV”
Autora: Ana Torrent Contreras
Director: José Ramón Cerquides Bueno
UNIVERSIDAD DE SEVILLA
Escuela Superior de Ingenieros
Departamento de Teoría de la Señal y Comunicaciones

2. 2
1.- INTRODUCCIÓN
2.- COMPRESIÓN DE VÍDEO
3.- TÉCNICAS DE DETECCIÓN
4.- RESULTADOS
5.- CONCLUSIONES
ÍNDICE

3. 3
1.- INTRODUCCIÓN
Contratos publicitarios millonarios
Detección de anuncios en TV
Detección de cambios de plano

4. 4
Técnicas sobre vídeo
comprimido
Decodificación
mínima
Tratamiento de
menor volumen de
datos
+
 Rapidez procesamiento
 Sin pérdida de eficacia

5. 5
Digitalización de la señal de vídeo
Muestreo temporal
Muestreo espacial
.
2.- COMPRESIÓN DE VÍDEO

6. 6
Representación muestra espacio-temporal:
Píxel BkbGkgRkrY ⋅+⋅+⋅=
YBCb −=
YRCr −=
Espacio de color RGB
 Formato de muestreo 4:2:0
Espacio de color YCrCb
Más eficiente: reduce a la mitad la
información a transmitir
Y
Cr
Y
Cr
Y
Y

7. 7
• Es el proceso de compactar o condensar una
secuencia digital de video en un número pequeño
de bits.
• Se consigue eliminando los datos no necesarios
para una reproducción fiel del vídeo.
• Normalmente es con pérdidas: se consiguen
niveles de compresión mayores a costa de cierta
pérdida de calidad del vídeo.
 Compresión de vídeo

8. 8
Transformada Cuantización Reordenación
Codificador
de entropía
Señal
de vídeo
Compensación
de movimiento
Estimación
de movimiento
Cuantización inversa
Transformada inversa
Reducción redundancia espacial
Buffer
Reducción redundancia temporal
Proceso de compresión
Reducción redundancia estadística

9. 9
Redundancia temporal
 Clasificación de los cuadros: I (intra) o P (predicted).
 Cuadros P: estimación y compensación de movimiento:
• División en macrobloques de 16x16 píxeles
• Búsqueda de cada macrobloque en un área de
búsqueda del cuadro de referencia
Vector de
movimiento
“best-match”
MB en cuadro anterior Macrobloque
Área de
búsqueda

10. 10
 Codificación en modo intra (sin compensación de
movimiento): no hay región que cumpla el criterio.
 Codificación en modo inter (con compensación de
movimiento): se encuentra una región que se convierte
en la predicción.
 Información a transmitir:
• Residuo:
• Vector de movimiento: componentes x e y
Redundancia temporal
-=
Macrobloque Predicción

11. 11
Redundancia espacial
 Transformada DCT: NxN muestras NxN coeficientes
con menor correlación.
• Coeficiente DC posición (0,0): valor medio
• Coeficientes AC
 Cuantización
 Reordenación en zig-zag:
 Codificación Run-Level-Last:
Coeficientes: 64, 8, 0, 1, 0, 3
(0,64,0), (0,8,0), (1,1,0), (1,3,1)

12. 12
Codificación de entropía
Codificación predictiva: predicción de vector de
movimiento y coeficientes DC y AC
• Cálculo diferencia valores y predicciones
• El resultado se codifica y transmite
Codificación con códigos de longitud variable
• Códigos precalculados de longitud variable
• A palabras más frecuentes se les asignan
códigos más cortos Más compresión

13. 13
3.- DETECCIÓN DE CAMBIOS DE PLANO
 Datos de la secuencia de vídeo: obtención de
vectores de movimiento y coeficientes DC
 Reconstrucción vectores de movimiento
 Reconstrucción coeficientes DC
 Construcción imagen DC: luminancia, croma azul y
croma roja
Cuadro original Imagen DC luminancia

14. 14
Método 1: Histogramas de color
 Se utilizan las diferencias de histograma de color
entre cuadros
 Histograma de color: representa las frecuencias de
los niveles de energía del cuadro
-10 -5 0 5 10
0
100
200
300
-10 -5 0 5 10
0
100
200
300
-10 -5 0 5 10
0
100
200
300
Cuadro 1 Cuadro 2 Cuadro 3
Cambio de plano
∑=
+−=+
N
i
inhinhnn
hist
d
1
][1][)1,(
 Diferencia de histogramas
 Condición para la detección: diferencia máxima en una
ventana de 15 cuadros y superación de umbral
0 100 200 300 400 500
0
0.2
0.4
0.6
0.8
1
Numero de cuadro
Distanciahistogramadecolor
Distancia Cambios reales Cambios detectados

15. 15
Método 2: Imágenes DC
 Evalúa las diferencias entre las imágenes DC
• Ser el máximo en la ventana.
• Superar el doble del valor medio de la
distancia en la ventana.
• Superar en un 20% el valor el segundo
máximo de la ventana.
 Condiciones para la detección
0 100 200 300 400 500
0
0.2
0.4
0.6
0.8
1
Numero de cuadro
DiferenciaimágenesDC
Distancia Cambios reales Cambios detectados

16. 16
Método 3: TWAM
 Utiliza una combinación de las 3 diferencias
normalizadas de histogramas: luminancia y cromas
azul y roja.
∑=
−
−=
M
t
nn
i
i
thth
T
nD
1
1
)()(
1
)(
∑=
=
CrCbYi
i
nDnD
,,
)(
3
1
)(
 La distancia actual se sustituye por la media de la
distancia en una ventana:
∑
−
=
−=
1
0
)(
1
)),((
L
j
jnD
L
LnDF

17. 17
Método 3: TWAM
 La nueva distancia se multiplica por un factor: el
cociente entre las distancias medias de dos
ventanas diferentes a cada lado
∑
∑
∑ −
=
−
=
−
=
−∗




















−
−
=
=∗=
12
0
2
112
1
11
0
21
)(
1
)(
)(
)),(()),(()(
L
j
L
Lj
L
j
TWAM
jnD
L
jnD
jnD
LnDFLnDAnD
 De esta manera se amplifican las diferencias
0 50 100 150 200 250 300 350 400 450 500
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Número de cuadro
Distanciasinprocesar
0 50 100 150 200 250 300 350 400 450 500
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Numero de cuadro
DiferenciasmetodoTWAM
Distancia Cambios reales Cambios detectados

18. 18
Método 4: Tipos de cuadro
Diferencia por tipos de cuadro:
• Cuadros I: suma de las diferencias de
histogramas normalizadas. Diferencia con el
cuadro anterior tipo I
∑=
−=
Hist
i
YYY
ifHifH
Hist
Sum
0
21
),(),(
1 2
1 )( CrCbYf SumSumSumSum ++=
0 100 200 300 400 500
0
0.2
0.4
0.6
0.8
1
Cuadro
DistanciacuadrosI
• Cuadros P: cociente entre números de
macrobloques de cada tipo
InterMB
IntraMB
R p =
0 100 200 300 400 500 600
0
0.5
1
1.5
2
2.5
3
3.5
Cuadro
RP

19. 19
Método 5: Característica de secuencia
 Utiliza dos características de los planos:
12 +−= iiix σσ
∑=
+
−=
K
j
iii
jhjh
T
x
1
11
)()(
2
1
T
iii
xxx ],[ 21
=

21+
−= iii
xxd

 Se construye un vector con los dos valores:
 La distancia utilizada para la detección es la norma
del vector
0 100 200 300 400 500
0
0.2
0.4
0.6
0.8
1
Numero de cuadro
Diferenciasdecaracterísticageneral
Distancia Cambios reales Cambios detectados

20. 20
Método 6: LBDF
21
21
21
))(()(
),(
NTNT
bHWbH
HHLBDF b
⋅
⋅
=
∑
ybHWbHNT
b
xxx
∑ ⋅= ))(()(
∑ +=
w
wiHiHW )())((
 Utiliza una función diferencia basada en la luminancia
donde
 Mide el parecido con una correlación normalizada
de los histogramas de luminancia.
• H1, H2, histogramas
• b es una frecuencia del
histograma
• W: ventana centrada en i
0 100 200 300 400 500
0
0.2
0.4
0.6
0.8
1
Numero de cuadro
LBDF
Distancia Cambios reales Cambios detectados

21. 21
Método 7: Distancia χ2
∑
−
=
+
−
+
+
−
=
1
0
2
2
2
2
2
))()((
))()((
))()((
))()((
N
i
b
Cr
ia
Cr
i
b
Cr
ia
Cr
i
b
Cb
ia
Cb
i
b
Cb
ia
Cb
i
fHfH
fHfH
fHfH
fHfH
χ
 Se utiliza la medida χ2
con los dos histogramas de
color:
 Condición para la detección:
diferencia entre
cuadro actual y
anteriores
diferencias entre el
resto de cuadros
en una ventana
>>
0 100 200 300 400 500
0
0.2
0.4
0.6
0.8
1
Numero de cuadro
Distanciachicuadrado
Distancia Cambios reales Cambios detectados

22. 22
4.- RESULTADOS
Los bondad de los resultados se mide con dos parámetros:
FAC
C
NN
N
precisión
+
=
MDC
C
NN
N
recall
+
=
NC: número de cambios correctos; NFA: número de falsas alarmas
NMD: número de cambios no detectados
Número de cambios correctos detectados
=
Número total de cambios detectados
Número de cambios correctos detectados
=
Número total de cambios reales

23. 23
Método Precisión Recall
Histogramas color 89,32 85,19
Imágenes DC 76,67 63,89
TWAM 85,96 90,74
Tipos VOP 91,18 86,11
Característica 86,09 91,67
LBDF 82,88 85,19
Análisis Χ2
78,50 77,78
Tabla resultados

24. 24
Comparación de resultados
65
70
75
80
85
90
95
Histogramas color
Imágenes DC
TWAM
Tipos VOP
Característica
LBDF
Análisis X2
Precisión
Precisión
0
10
20
30
40
50
60
70
80
90
100
Histogramas color
Imágenes DC
TWAM
Tipos VOP
Característica
LBDF
Análisis X2
Recall
Recall
0
10
20
30
40
50
60
70
80
90
100
Histogramas color
Imágenes DC
TWAM
Tipos VOP
Característica
LBDF
Análisis X2
Precisión
Recall

25. 25
Estabilidad de los algoritmos
Pruebas de robustez:
• Adición de ruido AWGN a las imágenes DC: se
añade ruido de varias potencias a las imágenes
DC y al parámetro RP usados en la detección de
cambios de plano.
• Cambio del parámetro de codificación bitrate o
tasa de bits.

26. 26
Cambios frente al ruido
Precisión frente al ruido
50
55
60
65
70
75
80
85
90
95
5 10 15 20 25 30 35 40 45 50 55 60
SNR (dB)
Precisión(%)
Característica Histograma color Imágenes DC LBDF Tipos VOP TWAM Χ2

27. 27
Cambios frente al ruido

28. 28
Cambios frente a tasa de bits
Precisión frente a BR
65
70
75
80
85
90
95
100
150 286 420 572 700 900 1000
Bitrate (kbps)
Precisión(%)
Característica Histograma color Imágenes DC LBDF Tipos VOP TWAM Χ2

29. 29
Cambios frente a tasa de bits
Recall frente a BR
50
55
60
65
70
75
80
85
90
95
150 286 420 572 700 900 1000
Bitrate (kbps)
Recall(%)
Característica Histograma color Imágenes DC LBDF Tipos VOP TWAM Χ2

30. 30
5.- CONCLUSIONES
 La detección de cambios de plano sobre vídeo
comprimido funciona muy bien.
 Técnicas sencillas, rápidas y efectivas.
 La técnica que utiliza histogramas de color es la mejor
en resultados y estabilidad frente a cambios.
 Todas las técnicas probadas tienen problemas con las
falsas alarmas (movimientos de cámara, cambios de luz).
Futuras líneas de investigación: creación algoritmos más
sofisticados capaces de identificar estos efectos.