O documento discute técnicas para detecção e reconstrução de oclusões parciais em imagens de face para reconhecimento biométrico. Ele apresenta métodos implementados como Eigenfaces, GPCA e APCA para detecção de oclusão e reconstrução de face e avalia seus resultados em termos de PSNR e taxa de acurácia em bases de dados como AR e Yale. Os resultados indicam que GPCA e EigenFaces tiveram os melhores desempenhos na reconstrução e reconhecimento de faces ocluídas.

1. Detecção e Reconstrução de oclusões parciais
em imagens de face visando Reconhecimento
Biométrico
Orientando: Jonas Mendonça Targino
Orientador: Dr. Clodoaldo Aparecido de Moraes Lima
Orientador: Dr.ª Sarajane Marques Peres
29 de Novembro de 2017
Universidade de São Paulo (USP)
Escola de Artes, Ciências e Humanidades (EACH)

2. Contextualização
Contexto:
• Grande quantidade de informações [5]
• Tecnologia tradicional obsoleta [6]
• Segurança da informação
• Necessidade de métodos mais eficazes
Motivação:
• Diversidade de tipos de biometria
• Possibilidade de Mensuração
• Análise dos aspectos físicos e comportamentais
• Os traços biológicos não podem ser forjados, extraviados,
furtados ou esquecidos
1

3. Biometria
Requisitos Principais [7]:
• Universalidade
• Distinção
• Permanência
• Mensurabilidade
Tipos de Biometria:
• Face
• Íris
• Impressão Digital
• Geometria da mão
• Voz
2

4. Biometria da Face
O que torna a face uma das modalidades biométricas mais
utilizadas para a identificação humana?
• Natureza biológica
• Não intrusiva
• Baixa cooperação do usuário
No entanto a face é a modalidade biométrica mais utilizada, por ser
universal, única para cada pessoa e possível mensurar
independente do ambiente de coleta
3

5. Coleta de Dados para a Biometria de Face
Ambientes Controlados
1. Cooperação do usuário
2. Ambiente propício de
coleta
3. Processo sistemático
4. Progresso satisfatório
Ambientes não Controlados
• Usuários não colaborativos
• Mudanças não previsíveis
• Ambientes do mundo real
• Progresso insatisfatório
4

6. Problema
• Diversidade de oclusões
• Variações de iluminação, pose e expressão
• Implica diretamente na acurácia de reconhecimento
• Características faltantes na face
• Necessidade de técnicas para detecção e reconstrução da
oclusão
Oclusão
Existem uma pequena quantidade de técnicas existentes para
detecção e reconstrução da oclusão parcial, sem contar que não
existe um estudo comparativo entre as técnicas.
5

7. Imagens Ocluídas
Figura 1: Exemplos de imagens ocluídas
6

8. Solução
Realizar um estudo comparativo entre as técnicas para detecção e
reconstrução de oclusões parciais em imagens de face.
• Abrangência do estado de arte das técnicas
• Contribuição com um artefato de consulta
• Disponibilização dos algoritmos
• Testes sobre diferentes cenários
• Cenários de vantagens e limitações de tal técnica
• possibilitando conhecimento holístico para estudiosos e
iniciantes da área
7

9. Estado Atual da Pesquisa
Tarefas concluídas
• Levantamento Bibliográfico
• Revisão Sistemática
Implementação
• Algoritmos para detecção da face
• Técnicas para detecção da oclusão
• Algoritmos para reconstrução da face
• Técnicas para extração de características
• Classificadores
8

10. Técnicas Implementadas
Detecção da Face
• Skin Color [2]
Detecção da Oclusão
• EigenFaces [10]
• FisherFaces [1]
• Skin Color
Reconstrução da Face
• GPCA [3]
• APCA [9]
• EigenFaces
Classificadores
• Redes Neurais
9

11. Configurações do Experimento
Bases de Dados Utilizadas
• AR [8]
• Yale extended [4]
Dimensões das Imagens
• 256x256
• 128x128
Técnica de análise da reconstrução: PSNR
10

12. Resultados
Figura 2: Imagens após a reconstrução
11

13. Resultados
Tabela 1: Valor de PSNR na base de dados
Base de Dados Estratégia Média PSNR Desvio Padrão
AR APCA 13,9977 ±1, 6922
Yale APCA 15,0039 ±0, 8383
AR Eigenfaces 20,6885 ±1, 9140
Yale Eigenfaces 23,6664 ±4, 5433
AR GPCA 21,4525 ±2, 0303
Yale GPCA 23,6992 ±6, 2001
12

14. Resultados
Tabela 2: Acurácia de reconhecimento via Eigenfaces após reconstrução com
APCA, GPCA e Eigenfaces
Estratégia Base de Dados Taxa de Acurácia
APCA AR 29,56 %
APCA Yale 60,00 %
GPCA AR 74,19 %
GPCA Yale 93,33 %
Eigenfaces AR 72,04 %
Eigenfaces Yale 93,33 %
13

15. Conclusões
• GPCA e EigenFaces atingiram resultados consideráveis
• É interessante tentar explorar um pouco mais as técnicas
derivadas do PCA.
• Tentar aplicar a técnica Viola-Jones [11] para detectar a face e
diminuir a influência do fundo na imagem.
14

16. Referências I
P. N. Belhumeur, J. P. Hespanha, and D. J. Kriegman.
Eigenfaces vs. fisherfaces: Recognition using class specific
linear projection.
IEEE Transactions on pattern analysis and machine intelligence,
19(7):711–720, 1997.
A. Cheddad, J. Condell, K. Curran, and P. Mc Kevitt.
A skin tone detection algorithm for an adaptive approach to
steganography.
Signal Processing, 89(12):2465–2478, 2009.
A. Colombo, C. Cusano, and R. Schettini.
Gappy pca classification for occlusion tolerant 3d face
detection.
Journal of mathematical imaging and vision, 35(3):193–207, 2009.
15

17. Referências II
A. Georghiades, P. Belhumeur, and D. Kriegman.
Yale face database.
Center for computational Vision and Control at Yale University,
http://cvc. yale. edu/projects/yalefaces/yalefa, 2, 1997.
R. Jafri and H. R. Arabnia.
A survey of face recognition techniques.
Jips, 5(2):41–68, 2009.
A. Jain, P. Flynn, and A. A. Ross.
Handbook of biometrics.
Springer Science & Business Media, 2007.
16

18. Referências III
A. K. Jain, A. Ross, and S. Prabhakar.
An introduction to biometric recognition.
IEEE Transactions on circuits and systems for video technology,
14(1):4–20, 2004.
A. M. Martinez.
The ar face database.
CVC technical report, 24, 1998.
U. Söderström and H. Li.
Asymmetrical principal component analysis theory and its
applications to facial video coding.
INTECH Open Access Publisher, 2011.
17

19. Referências IV
M. A. Turk and A. P. Pentland.
Face recognition using eigenfaces.
In Computer Vision and Pattern Recognition, 1991. Proceedings
CVPR’91., IEEE Computer Society Conference on, pages 586–591.
IEEE, 1991.
P. Viola and M. J. Jones.
Robust real-time face detection.
International journal of computer vision, 57(2):137–154, 2004.
18

20. Detecção e Reconstrução de oclusões parciais
em imagens de face visando Reconhecimento
Biométrico
Orientando: Jonas Mendonça Targino
Orientador: Dr. Clodoaldo Aparecido de Moraes Lima
Orientador: Dr.ª Sarajane Marques Peres
29 de Novembro de 2017
Universidade de São Paulo (USP)
Escola de Artes, Ciências e Humanidades (EACH)