1. Politecnico di Bari
Facoltà di Ingegneria
Corso di Laurea in: Ingegneria Informatica
A.A. 2010/2011
Tesi di Laurea in:
ELEMENTI DI SISTEMI ESPERTI
Riconoscimento intelligente delle Emozioni
dalle espressioni facciali
Relatore: Prof. Ing. Vitoantonio BEVILACQUA
Laureando: Marco SUMA
Data: 05/10/2011

2. Argomenti trattati:
• Le emozioni primarie;
• Facial Action Coding System (FACS);
• Valutazione delle emozioni tramite tecniche di
Image Processing;
• Valutazione delle emozioni tramite tecniche di
soft computing;

3. Le emozioni
«Sono stati mentali e fisiologici associati a modificazioni psicofisiologiche, a
stimoli interni o esterni, naturali o appresi.»
Secondo la teoria di J. Ekman (Teoria Differenziale), le emozioni primarie:
• Possono essere pensate come entità discrete;
• Sono universali e chiaramente distinguibili;
• Sono sei: Felicità, Tristezza, Rabbia, Paura, Sorpresa, Disgusto;

4. Facial Action Coding System (FACS)
È un sistema realizzato da J. Ekman e W. Friesen
La codifica avviente mediante l’utilizzo di
Action Units (AUs):
• Sono unità fondamentali che rappresentano azioni
facciali minime, non ulteriormente scomponibili;
• Sono costituite dall’azione combinata di uno o più
muscoli facciali.

5. Action Units (AUs)
Action Unit Descrizione Immagine
Innalzamento interno
1
delle sopracciglia
Abbassamento delle
4
sopracciglia
Compressione delle
7
palpebre
Innalzamento del labbro
10
superiore
Trazione degli angoli
12
delle labbra
Arrotondamento degli
13
angoli delle labbra
20 Stiramento delle labbra

6. Riconoscimento delle AUs mediante
elaborazione delle immagini
1) Acquisizione immagini da webcam;
2) Individuazione del volto e della regione degli occhi;
3) Ricerca dei 14 punti caratteristici del volto;
4) Costruzione dei poligoni per la determinazione delle AUs.

7. Costruzione dei poligoni per il
riconoscimento delle Emozioni

8. Riconoscimento delle AUs
mediante Reti Neurali
(Funzionamento)
AU-10
AU-12
AU-13

9. Riconoscimento delle AUs
mediante Reti Neurali
(Training set)
Training set: 200 esempi di bocche
Training set: 100 esempi di nasi
Reti Neurali ad apprendimento supervisionato
basate sull’algoritmo di retro-propagazione dell’errore.

10. Riconoscimento delle AUs
mediante Reti Neurali
(Risultati)
0,9518 0,0105
0,9518 0,9660
Risposte corrette: 85%
0,9518 0,9660
0,9518 0,9660
0,0331 0,0105
Risposte corrette: 90%
0,0386 0,0105

11. Conclusioni
Principali impieghi:
• colloqui di lavoro, videoconferenze, …;
• Monitoraggio pazienti affetti da malattie neurodegenerative;
Articoli pubblicati:
A New Tool to Support Diagnosis of Neurological Disorders by Means of Facial
Expressions - Vitoantonio Bevilacqua, Dario D‟Ambruoso, Giovanni Mandolino, Marco
Suma, M.:. In: IEEE Proc. of MeMeA, pp. 544–549;
A Supervised Approach to Support the Analysis and the Classification of Non Verbal
Humans Communications - Vitoantonio Bevilacqua, Marco Suma, Dario D’Ambruoso,
Giovanni Mandolino, Michele Caccia, Simone Tucci, Emanuela De Tommaso, and
Giuseppe Mastronardi - D.-S. Huang et al. (Eds.): ICIC 2011, LNCS 6838, pp. 426–431, 2011.
© Springer-Verlag Berlin Heidelberg 2011;

12. Sviluppi futuri

13. GRAZIE
PER
L’ATTENZIONE