Utilização de técnicas de análise de áudio e vídeo para obtenção do resumo de uma partida de futebol. Pellizon, Lucas H. G.

1. Sumarizac¸˜ao Autom´atica de uma Partida de Futebol
Lucas Henrique Pellizon
Universidade Federal de S˜ao Paulo
Ciˆencias da Computac¸˜ao
Email: lucas.pellizon@unifesp.br
I. INTRODUC¸ ˜AO E MOTIVAC¸ ˜AO
O aumento de distribuic¸˜ao de m´ıdias perante os anos
anteriores ´e not´avel, tal crescimento se justifica pelos avanc¸os
tecnol´ogicos para obtenc¸˜ao e distribuic¸˜ao das mesmas, com-
binado com o aumento de demanda. Estamos vivenciando
uma ´epoca de sobrecarga de informac¸˜oes, e ent˜ao surge a
necessidade de buscar determinadas caracter´ısticas em um
grande dom´ınio de informac¸˜oes.
Para v´ıdeos, uma das t´ecnicas que pode ser utilizada ´e a
de sumarizac¸˜ao de v´ıdeos, que tem o objetivo de resum´ı-lo.
A Sumarizac¸˜ao de v´ıdeo ´e o processo de extrac¸˜ao de um
resumo do conte´udo original do v´ıdeo, cujo objetivo ´e fornecer
rapidamente a informac¸˜ao concisa do conte´udo do v´ıdeo,
preservando a mensagem do v´ıdeo original [1]. Este trabalho
tem como objetivo espec´ıfico a criac¸˜ao de um resumo de
uma partida de futebol, levando em considerac¸˜ao os momentos
onde ocorre um gol ou uma poss´ıvel chance de gol.
Como uma partida de futebol ´e extensa e os momentos de
pontuac¸˜ao ou de chance de pontuac¸˜ao n˜ao s˜ao frequentes,
existe sempre uma mudanc¸a de comportamento muito forte
quando ocorre um gol ou uma chance clara de gol, como por
exemplo a exaltac¸˜ao do narrador ou a corrida do jogador em
direc¸˜ao aos demais para comemorar o feito, causando uma
pequena parada no jogo e uma mudanc¸a percept´ıvel de padr˜ao.
Portanto, a tarefa de sumarizac¸˜ao dos melhores momentos de
uma partida de de futebol, consiste em t´ecnicas de processa-
mento de imagens e de an´alise de ´audio para verificar quando
ocorrem variac¸˜oes de comportamento caracter´ısticas.
Com objetivo de entregar uma experiˆencia melhor ao tele-
spectador, a gravac¸˜ao de uma partida de futebol conta tamb´em
com o ´audio produzido pelas torcidas presentes no est´adio, o
que gera ru´ıdo e picos intensos em certos momentos da partida,
criando uma dificuldade em analisar o ´audio do narrador
da partida. E ainda com objetivo de melhorar a experiˆencia
do telespectador, v´arias cˆameras s˜ao utilizadas para gravar
a partida, al´em de cˆameras que tamb´em filmam a torcida,
requerendo uma verificac¸˜ao da ´area de interesse antes do seu
processamento.
II. OBJETIVO
Este trabalho tem como objetivo analisar uma partida de
futebol e criar um v´ıdeo curto com os melhores momentos,
considerando que os melhores momentos podem ser destaca-
dos pelos acontecimentos de um gol, clara chance de gol e
recomec¸o de uma partida a partir do meio de campo. Para
alcanc¸ar o objetivo, ´e poss´ıvel destacar duas etapas: an´alise
das imagens e an´alise do ´audio da partida.
A. An´alise do ´audio
O narrador n˜ao tem apenas o objetivo de narrar a partida,
mas tamb´em de transmitir as emoc¸˜oes sentidas pelo torcedor
em momentos cr´ıticos do jogo, que s˜ao caracterizados pelo
aumento na intensidade da narrac¸˜ao, sendo na maioria das
vezes imparcial quanto aos times que est˜ao disputando a
partida.
O ´audio, sobre todas suas propriedades, pode ser destacado
pela sua frequˆencia, que varia entre 85Hz e 1100Hz na voz de
uma pessoa, diferenciando tons agudos de tons graves, e pela
sua amplitude, que demonstra a intensidade de um som, em
decib´eis(dB) [2]. Ent˜ao, para a elaborac¸˜ao deste trabalho, ser˜ao
analisadas faixas amplas e cont´ınuas entre 85Hz a 1100Hz,
demonstrando uma exaltac¸˜ao do narrador, e consequentemente
algum momento marcante no jogo. Para identificar momentos
de exaltac¸˜ao do narrador, foi gerado o espectrograma do ´audio
da partida de futebol, sem realizar operac¸˜oes de remoc¸˜ao
de ru´ıdo, pois a voz do narrador em momentos intensos
cobre os ru´ıdos gerados por outros fatores. Um espectrograma
demonstra graficamente a frequˆencia e intensidade de uma
amostragem em func¸˜ao de seu tempo [3].
Fig. 1. Exemplo de espectrograma
B. An´alise das imagem
Uma partida de futebol conta com a presenc¸a de v´arias
cˆameras de transmiss˜ao, quantidade que pode variar de acordo
com a transmissora e infraestrutura do est´adio. As cˆameras
n˜ao captam apenas imagens do jogo de futebol, mas tamb´em
imagens da torcida, do banco de reservas e at´e dos narradores.

2. Afim de verificar se a imagem que est´a sendo analisada
´e o campo de futebol, foi estudado o histograma de cores
no padr˜ao RGB, sendo que quando a cor mais presente ´e
o verde, assume-se que o campo est´a sendo filmado. Um
histograma consiste da quantidade de cores encontradas em
uma amostragem, em func¸˜ao de sua intensidade. O histograma
estudado conta com trˆes s´eries de dados, uma para cada
representac¸˜ao do RGB, como em Fig. 2.
Fig. 2. Exemplo de Histograma para representac¸˜ao RGB
Mesmo identificando se a imagem analisada ´e o campo
de futebol, a movimentac¸˜ao dos jogadores ´e muito in-
tensa e h´a muitas sobreposic¸˜oes de objetos, dificultando a
tarefa de identificac¸˜ao de momentos cr´ıticos. Entretanto, as
marcac¸˜oes do campo, como linha de fundo, linhas laterais
e demais, s˜ao objetos fixos, que variam de posic¸˜ao apenas
pela movimentac¸˜ao da cˆamera. Portanto, ´e poss´ıvel identificar
quando a cˆamera est´a centralizada no meio de campo a partir
da linha central do campo, fato que ocorre quando h´a um
recomec¸o da partida, uma paralisac¸˜ao, ou outros pequenos
eventos, que ser˜ao classificados como momentos marcantes.
Fig. 3. Destaque da linha central do campo
III. METODOLOGIA EXPERIMENTAL
Para desenvolver o trabalho, foi utilizada uma amostragem
de 8 minutos e 20 segundos, entre os 37 e 46 minutos do
2o
tempo da partida entre os times Santos e Palmeiras, que
disputaram o confronto final da copa do Brasil.
Na amostragem, a partir de uma an´alise subjetiva dos
melhores momentos, podem ser destacados:
Fig. 4. Momentos importantes da amostragem
Com o objetivo de concluir a sumarizac¸˜ao, foram adotados
os passos demonstrados na Fig. 5, detalhados nesta sec¸˜ao.
Fig. 5. Etapas do processo
A. Pr´e-Processamento
O v´ıdeo utilizado possui 30 quadros por segundo e resoluc¸˜ao
de 1280 por 720 pixels. Esse n´ıvel de detalhe para os obje-
tivos deste trabalho podem ser considerado como excesso de
informac¸˜ao, sendo que o jogo ´e extenso e poucos quadros por
segundo j´a s˜ao suficientes. A resoluc¸˜ao tamb´em ´e reduzida
para 640 por 360 pixels. Essas modificac¸˜oes reduzem o esforc¸o
do algoritmo para processar as imagens, diminuindo o tempo
necess´ario para conclus˜ao da sumarizac¸˜ao.
B. Identificac¸˜ao de gol e chance clara de gol
O gol ou uma clara chance de gol em uma partida de futebol,
´e o momento mais intenso e mais esperado, e com ele surge
as maiores variac¸˜oes de comportamento, tanto na narrac¸˜ao
do jogo, quanto na torcida. Essas variac¸˜oes s˜ao percebidas
principalmente pela alterac¸˜ao na frequˆencia e na intensidade
do ´audio da transmiss˜ao, que podem ser exibidas graficamente
a partir de um espectrograma. O espectro ´e obtido pela
transformada r´apida de Fourier, FFT, que nada mais ´e do
que um algoritmo otimizado para o c´alculo da transformada
direta de Fourier, DTF, apresentando a amostra do ´audio no
dom´ınio de frequˆencia. Como o interesse ´e saber a intensidade
de uma frequˆencia em func¸˜ao do tempo, ´e necess´ario estudar
o espectrograma da amostra, que ´e obtido a partir do espectro
de Fourier em func¸˜ao do tempo [4]. Um momento de destaque
na partida, n˜ao se d´a apenas pela alta variac¸˜ao na intensidade,
mas tamb´em pela sua continuidade em um pequeno espac¸o de
tempo quando h´a uma chance de gol, e em espac¸o de tempo
maior quando h´a o gol. Na Fig. 6. ´e mostrado o espectrograma
da amostra, e em destaque os momentos de gol.
Para avaliar se um momento importante no jogo aconteceu,
s˜ao consideradas alta intensidades e um intervalo de con-
tinuidade, para verificar se determinada frequˆencia ´e ao mesmo
tempo ampla e cont´ınua.

3. Fig. 6. Espectrograma da amostra e momentos de gol em destaque
C. Distinc¸˜ao entre a ´area da partida e demais ´areas
A transmiss˜ao de uma partida conta com v´arias cˆameras,
que n˜ao exibem somente o jogo, mas tamb´em a torcida
presente. Para distinguir a cˆamera que est´a captando o jogo
das demais cˆameras, ´e calculado o histograma RGB da cena
em destaque, onde uma cena com maior intensidade de tons
de verde pode ser considerada como a vis˜ao do campo, e para
os demais tons ´e considerado como uma cena que n˜ao faz
parte do campo, como o banco de reservas, torcida, etc. Na
Fig. 7. ´e poss´ıvel ver dois histogramas, de quando o campo
est´a sendo filmado e de quando a torcida est´a sendo filmada,
neste caso h´a uma grande intensidade de vermelho devido `a
publicidades e cor dos coletes dos organizadores. Sendo que
para n´ıveis altos de canal verde no sistema RGB assume-se a
vis˜ao de campo, enquanto para outros n´ıveis assume-se que o
campo n˜ao est´a na vis˜ao.
Fig. 7. Esquerda: Vis˜ao do campo. direita: Vis˜ao fora do campo
D. Identificac¸˜ao do recomec¸o de uma partida
Pela regra do jogo, ap´os um gol ou ap´os o intervalo de
descanso, os jogadores devem reiniciar a partida no centro do
campo, que ´e separado por uma linha paralela `a linha de fundo.
Portanto, reconhecer uma linha no centro do campo, tamb´em
no centro da transmiss˜ao por um longo per´ıodo pode ser
considerado como um rein´ıcio de partida, ou tamb´em um fato
relevante, como uma paralisac¸˜ao, que tamb´em ´e considerada
como uma cena para a sumarizac¸˜ao. Para isso, s˜ao feitos
alguns tratamentos no v´ıdeo afim de encontrar a linha central
em cenas cont´ınuas.
´E utilizado um filtro para embac¸ar a cena captada, afim de
eliminar pequenos ru´ıdos. Com a cena embac¸ada, a imagem
´e binarizada, ou seja, transforada em preto e branco, e ent˜ao
´e utilizado o m´etodo de Canny para detecc¸˜ao de borda. O
resultado do processo ´e exibido na Fig. 8
Fig. 8. Imagem obtida
Com as bordas detectadas, ´e poss´ıvel utilizar o m´etodo de
Hough para encontrar linhas, onde o interesse s˜ao linhas ver-
ticais e extensas, localizadas apenas no centro da transmiss˜ao
e por um per´ıodo extenso de tempo, concluindo que a cˆamera
est´a no centro do campo e h´a um poss´ıvel recomec¸o da partida,
ou uma paralisac¸˜ao.
E. P´os-Processamento
Como s˜ao feitas an´alises de ´audio e an´alises de imagem
durante o processamento, pode acontecer de momentos iden-
tificados ficarem muito pr´oximos, destacando que ambos os
tipos de an´alise identificaram momentos em comum. Para con-
tornar esse problema, ´e realizado um p´os-processamento afim
de verificar se existem momentos muito pr´oximos, excluindo
um dos momentos em comum.
F. Sumarizac¸˜ao
Com os melhores momentos identificados a partir das
premissas adotadas e expressas neste cap´ıtulo, ´e realizada uma
sumarizac¸˜ao dinˆamica, considerando que para cada momento
identificado deve haver a captura de um v´ıdeo verificando seus
10 segundos anteriores, e seus 5 segundos posteriores. Dessa
forma, para cada momento identificado ´e gerado um v´ıdeo de
15 segundos.
IV. RESULTADOS E DISCUSS ˜OES
Ap´os a execuc¸˜ao do algoritmo, foram identificados os
momentos destacados na Fig. 9, em comparac¸˜ao aos momentos
esperados.
A. An´alise dos resultados
1) Gol do Palmeiras: O gol do time do Palmeiras, que
acontece no segundo tempo, aos 39 minutos, ´e reconhecido
pelo algoritmo com 3 segundos de atraso, devido `a verificac¸˜ao
da voz do narrador do grito de gol.
2) Rein´ıcio da partida: Ap´os o gol do time do Palmeiras, os
jogadores se posicionam aos 41 minutos sobre a marcac¸˜ao do
meio de campo para rein´ıcio da partida, por´em os jogadores s´o
executam o rein´ıcio aos 41 minutos e 10 segundos, validando
o momento esperado.

4. Fig. 9. Momentos esperados e momentos reconhecidos
3) Chance de gol do Santos: O chute do jogador do time
do Santos que representa uma clara chance de gol acontece
aos 41 minutos e 20 segundos, por´em o algoritmo j´a reconhece
a chance com 4 segundos de antecedˆencia, devido ao narrador
que visualizou a chance e se exaltou antes mesmo do chute.
4) Gol do Santos: O gol ´e identificado com 5 segundos de
atraso, pois somente ap´os 5 segundos o algoritmo conseguiu
encontrar um padr˜ao cont´ınuo. Se fossem verificados picos ao
inv´es de padr˜oes cont´ınuos, esse problema n˜ao existiria, mas
qualquer tipo de ru´ıdo durante a partida poderia originar falsos
reconhecimentos.
5) Momento desconhecido: Foi encontrado um momento
que n˜ao fazia parte do dom´ınio de momentos esperados.
Apareceu pois foi encontrado um padr˜ao cont´ınuo e intenso
durante a narrac¸˜ao do jogo, problema que existe devido a
heterogeneidade da narrac¸˜ao, que n˜ao comp˜oe somente o jogo,
mas tamb´em an´uncios publicit´arios e recordac¸˜oes de partidas
anteriores.
6) Rein´ıcio da Partida: Ap´os o gol do Santos, a cobranc¸a
de meio de campo para recomec¸o da partida se d´a em 43
minutos e 10 segundos, por´em o momento ´e reconhecido em
42 minutos e 54 segundos, que ´e o momento em que os
jogadores est˜ao se posicionando sobre a linha do meio de
campo, se preparando para reiniciar o jogo.
7) Momento desconhecido: Momento captado devido a
uma grande pausa centralizada ao meio de campo, buscando
um recomec¸o de partida, que de fato n˜ao acontece.
V. CONCLUS ˜OES E TRABALHOS FUTUROS
O narrador tem o papel de transmitir ao espectador as
intensidades que ocorrem durante a partida, ent˜ao o trabalho
de an´alise do ´audio se mostrou forte e importante, incluindo
na sumarizac¸˜ao momentos importantes da partida. O proces-
samento de imagens se mostrou essencial pois nem todos
os momentos s˜ao captados pelo narrador, e a junc¸˜ao entre
processamento de imagens e de ´audio se mostra um forte
identificador de momentos importantes da partida.
A distinc¸˜ao entre a ´area do campo e demais ´area filmadas
pela t´ecnica de an´alise do histograma RGB se mostrou fraca,
exibindo diversos falsos positivos, em que ´areas fora do
campos foram classificadas como campo.
A an´alise do meio de campo se mostrou forte, por´em deve
se levar em considerac¸˜ao alguns outros fatores para concluir
se est´a havendo realmente uma cobranc¸a de meio de campo,
como por exemplo a localizac¸˜ao de dois jogadores no centro
da imagem.
A verificac¸˜ao do ´audio pelo histograma da partida foi capaz
de coletar momentos de gol e de chances claras de gol, se
mostrando uma forte t´ecnica.
Para melhorar o trabalho, deve ser estudado a imagem do
campo junto ao seu histograma, assim pode se verificar a cor
predominante e a ´area analisada, levando a conclus˜ao correta
se a imagem de fato ´e ou n˜ao o campo de futebol. Quanto
a an´alise de recomec¸o da partida, outros fatores podem ser
analisados, como o posicionamento dos jogadores. A an´alise
de ´audio trouxe bons resultados, por´em podem ser utilizadas
outras t´ecnicas em paralelo, como a estimac¸˜ao de Pitch,
proposto por [5]. Para o caso estudado, foram identificados
subjetivamente 5 momentos importantes, e o algoritmo recon-
heceu os 5 momentos, por´em gerou 2 falsos positivos.
REFERENCES
[1] S. Pfeiffer, R. Lienhart, S. Fischer, and W. Effelsberg. Abstracting digital
movies automatically. Technical report, University of Mannheim, 1996.
[2] Caracter´ısticas de um Som [Online]. Dispon´ıvel em:
http://www.aulas-fisica-quimica.com/8f_06.html
[3] Forma de onda, espectro e espectrograma [Online]. Dispon´ıvel em:
http://www.qsl.net/py4zbz/teoria/espectro.htm
[4] Frank Zalkow; Create audio spectograms with Python [Online].
Dispon´ıvel em:
http://www.frank-zalkow.de/en/code-snippets/create-audio-spe
[5] Vasconcelos, Luiz Gabriel L.B.M.; Sumarizac¸˜ao Autom´atica em Melhores
Momentos de Transmiss˜oes Televisivas de Futebol [Online]. Dispon´ıvel
em:
http://www02.smt.ufrj.br/˜eduardo/teses/luiz_gabriel_vasconc