Presentation.pptx

Presentation.pptx
1 ‫ی‬‫شنیدآر‬ ‫یند‬‫آ‬‫ر‬‫ف‬ ‫همجوشی‬‫بر‬ ‫مبتنی‬ ‫هیجان‬ ‫بازشناسی‬ - ‫سی‬ ‫ی‬‫دیدآر‬ ‫لیمبیک‬ ‫ستم‬ ‫مغز‬ ‫آلرحیم‬‫آلرحمن‬ ‫هللا‬‫بسم‬ ‫دهنده‬ ‫آئه‬‫ر‬‫آ‬ : ‫فرهودی‬‫زینب‬ ‫آهنما‬‫ر‬‫آساتید‬ : ‫ربیعی‬‫اعظم‬ ‫تر‬‫دک‬ ،‫ستایشی‬‫سعید‬ ‫تر‬‫دک‬ ‫ر‬‫مشاو‬ ‫آستاد‬ : ‫ی‬‫از‬‫ز‬‫ر‬‫فربد‬ ‫تر‬‫دک‬ ‫مهندسی‬‫و‬‫فنی‬‫دانشکده‬ ‫بهمن‬ 96
‫مطالب‬ ‫روئس‬ 2  ‫مقدمه‬  ‫معرفی‬ ‫مدل‬ ‫های‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬  ‫معرفی‬ ‫مدل‬ ‫های‬ ‫ژی‬‫بیولو‬ ‫بازشناسی‬ ‫هیجان‬  ‫آحی‬‫ر‬‫ط‬ ‫و‬ ‫یابی‬‫ز‬‫آر‬ ‫مدل‬ ‫پیشنهادی‬ ‫بازشناسی‬ ‫هیجان‬  ‫فتار‬‫گ‬‫هیجان‬‫بازشناسی‬‫پیشنهادی‬‫مدل‬  ‫چهره‬‫حاالت‬‫بازشناسی‬‫پیشنهادی‬‫مدل‬  ‫همجوشی‬‫بر‬‫مبتنی‬‫هیجان‬‫بازشناسی‬‫پیشنهادی‬‫مدل‬  ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫ی‬‫گیر‬ Emotion Recognition Based on Audio-Visual processing Fusion of Brain Limbic System
‫مقدمه‬ 3 ‫بازشناسی‬ ‫هیجان‬ ‫چندمدالیتی‬ : ‫فرآیندی‬ ‫است‬ ‫که‬ ‫طی‬ ‫آن‬ ‫یک‬ ‫سیستم‬ ‫کامپیوتری‬ ‫با‬ ‫استفاده‬ ‫از‬ ‫اطالعاتی‬ ‫که‬ ‫از‬ ‫منابع‬ ‫حسی‬ ( ‫مدالیتی‬ ‫های‬ ) ‫مختلف‬ ‫می‬ ‫گیرد؛‬ ‫بطور‬ ‫خودکار‬ ‫هیجان‬ ‫انسان‬ ‫را‬ ‫بازشناسی‬ ‫می‬ ‫کند‬ . ‫کاربردها‬ :  ‫طبیعی‬ ‫تعامل‬ ‫ماشین‬ ‫و‬ ‫انسان‬  ‫مجازی‬ ‫آموزش‬  ‫پزشکی‬  ‫نظارتی‬ ‫سیستم‬  ‫روحی‬ ‫حاالت‬ ‫شناخت‬ ‫راننده‬ ‫مقدمه‬ ‫بازشناس‬‫محاسباتی‬‫های‬ ‫مدل‬ ‫ی‬ ‫هیجان‬ ‫بازشناسی‬‫بیولوژی‬‫های‬ ‫مدل‬ ‫هیجان‬ ‫پیشنهادی‬ ‫مدل‬ ‫یابی‬‫ز‬‫آر‬‫و‬‫آحی‬‫ر‬‫ط‬ ‫گی‬‫نتیجه‬ ‫و‬ ‫بندی‬‫جمع‬ ‫ری‬
‫مقدمه‬ – ‫تحقیق‬‫رت‬‫و‬‫ضر‬‫و‬‫اهمیت‬ - ‫تحقیق‬‫سواالت‬ 4 ‫تحقیق‬ ‫سواالت‬ :  ‫از‬ ‫چه‬ ‫مدلی‬ ‫برای‬ ‫همجوشی‬ ‫اطالعات‬ ‫بینایی‬ ‫و‬ ‫شنوایی‬ ‫استفاده‬ ‫شود‬ ‫؟‬  ‫تا‬ ‫چه‬ ‫اندازه‬ ‫دقت‬ ‫بازشناسی‬ ‫هیجان‬ ‫پس‬ ‫از‬ ‫همجوشی‬ ‫افزایش‬ ‫می‬ ‫یابد‬ ‫؟‬ ‫تحقیق‬ ‫ضرورت‬ ‫و‬ ‫اهمیت‬  ‫ابهام‬ ‫در‬ ‫بازشناسی‬ ‫هیجان‬ ‫تک‬ ‫مدالیتی‬ ‫و‬ ‫تأثیر‬ ‫همجوشی‬ ‫در‬ ‫بازشناسی‬ ‫هیجان‬  ‫تعامل‬ ‫چندمدالیتی‬ ‫بودن‬ ‫انسان‬ ‫ها‬ ‫مقدمه‬ ‫بازشناس‬‫محاسباتی‬‫های‬ ‫مدل‬ ‫ی‬ ‫هیجان‬ ‫بازشناسی‬‫بیولوژی‬‫های‬ ‫مدل‬ ‫هیجان‬ ‫پیشنهادی‬ ‫مدل‬ ‫یابی‬‫ز‬‫آر‬‫و‬‫آحی‬‫ر‬‫ط‬ ‫گی‬‫نتیجه‬ ‫و‬ ‫بندی‬‫جمع‬ ‫ری‬
5 ‫مقدمه‬ - ‫انگیزش‬‫و‬‫هش‬‫و‬‫پژ‬‫هدف‬  ‫ارائه‬ ‫مدلی‬ ‫برای‬ ‫همجوشی‬ ‫اطالعات‬ ‫گفتار‬ ‫و‬ ‫چهره‬ ‫مبتنی‬ ‫بر‬ ‫سیستم‬ ‫لیمبیک‬ ‫مغز‬  ‫محور‬ ‫اصلی‬ ‫پژوهش‬ : ‫همجوشی‬ ‫اطالعات‬ ‫هیجان‬ ‫گفتار‬ ‫و‬ ‫حاالت‬ ‫چهره‬  ‫محور‬ ‫فرعی‬ ‫پژوهش‬ : ‫بازشناسی‬ ‫هیجان‬ ‫از‬ ‫روی‬ ‫هیجان‬ ‫گفتار‬ ‫و‬ ‫حاالت‬ ‫چهره‬ Fusio n Multimodal Data Input ‫مقدمه‬ ‫بازشناس‬‫محاسباتی‬‫های‬ ‫مدل‬ ‫ی‬ ‫هیجان‬ ‫بازشناسی‬‫بیولوژی‬‫های‬ ‫مدل‬ ‫هیجان‬ ‫پیشنهادی‬ ‫مدل‬ ‫یابی‬‫ز‬‫آر‬‫و‬‫آحی‬‫ر‬‫ط‬ ‫گی‬‫نتیجه‬ ‫و‬ ‫بندی‬‫جمع‬ ‫ری‬
‫مقدمه‬ – ‫مسئله‬‫بیان‬ ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پیشنهادی‬ ‫و‬ ‫بندی‬ ‫جمع‬ ‫گیری‬ ‫نتیجه‬ 6  ‫ارائه‬ ‫یک‬ ‫چارچوب‬ ‫کلی‬ ‫برای‬ ‫بازشناسی‬ ‫هیجان‬ ‫مبتنی‬ ‫بر‬ ‫همجوشی‬ ‫فرآیند‬ ‫شنیداری‬ - ‫دیداری‬ ‫با‬ ‫الهام‬ ‫از‬ ‫سازوکارهای‬ ‫عصبی‬ ‫مغز‬ ‫عصبانی‬ ‫ت‬ ‫تنفر‬ ‫ترس‬ ‫خوشحال‬ ‫ی‬ ‫ناراحت‬ ‫ی‬ ‫تعجب‬
‫مقدمه‬ - ‫هیجان‬ ‫ری‬‫تئو‬ 7  ‫با‬ ‫همراه‬ ‫فیزیولوژیکی‬ ‫و‬ ‫ذهنی‬ ‫حالت‬ ‫یک‬ ،‫هیجان‬ ‫می‬ ‫رفتار‬ ‫و‬ ‫افکار‬ ،‫احساسات‬ ‫از‬ ‫ای‬ ‫گسترده‬ ‫طیف‬ ‫باشد‬ . ‫هیجان‬ ‫بندی‬ ‫طبقه‬ :  ‫گسسته‬ ‫ساختار‬ : 6 ‫پایه‬ ‫هیجان‬ : ،‫خوشحالی‬ ،‫عصبانیت‬ ‫تنفر‬ ‫و‬ ‫ناراحتی‬ ،‫تعجب‬ ،‫ترس‬  ‫پیوسته‬ ‫ساختار‬ : ‫ارزش‬ ‫میزان‬ ‫بعدی‬ ‫دو‬ ‫فضای‬ - ‫برانگیختگی‬ (Valence-Arousal) ‫ارزش‬ ‫برانگیخ‬ ‫تگی‬ ‫مقدمه‬ ‫بازشناس‬‫محاسباتی‬‫های‬ ‫مدل‬ ‫ی‬ ‫هیجان‬ ‫بازشناسی‬‫بیولوژی‬‫های‬ ‫مدل‬ ‫هیجان‬ ‫پیشنهادی‬ ‫مدل‬ ‫یابی‬‫ز‬‫آر‬‫و‬‫آحی‬‫ر‬‫ط‬ ‫گی‬‫نتیجه‬ ‫و‬ ‫بندی‬‫جمع‬ ‫ری‬
8 ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ ‫هیجانی‬ ‫حاالت‬ ‫چهره‬ ‫همجوشی‬ ‫چندمدالی‬ ‫تی‬ ‫عروضی‬ ‫فرکانس‬ ‫گام‬ ، ‫انرژی‬ ، ‫فرمنت‬ ، ‫دامنه‬ ، ‫نرخ‬ ‫عبور‬ ‫از‬ ‫صفر‬ ‫طیفی‬ MFCC, LPC, RASTA, PLP ‫استخراج‬ ‫ویژگی‬ ‫های‬ ‫اکوستیک‬ ‫ترکیبی‬ ( ‫عروضی‬ ‫و‬ ‫)طیفی‬ ‫فتار‬‫گ‬‫هیجان‬ ‫بازشناسی‬ ‫مقدمه‬ ‫مدل‬ ‫های‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫مدل‬ ‫های‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مد‬ ‫ارزیابی‬ ‫ل‬ ‫پیشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ SVM: 78 % 15 ‫های‬ ‫ویژگی‬ ‫طیفی‬ ‫و‬ ‫عروضی‬ Wang (2008) 78.2 % SVM: 261 ‫های‬ ‫ویژگی‬ ‫عروضی‬ - ‫طیفی‬ Bitouk et al. (2010) Fusion (HMM): 66.7 % Log-likelihood: 93.4 % MFCC, pitch, wavelet domain Ntalampiras et al. (2012) SVM: 72.9 % eNterface Zhalehpour et al. (2016) MS-HMM: 68 % Zeng et al. (2008) F-HMM: 58 % Lin (2013)
9 ‫بازشناسی‬ ‫حاالت‬ ‫چهره‬ ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ ‫هیجانی‬ ‫حاالت‬ ‫چهره‬ ‫همجوشی‬ ‫چندمدالی‬ ‫تی‬ ‫مبتنی‬ ‫بر‬ ‫هندس‬ ‫ه‬ ‫مبتنی‬ ‫بر‬ ‫ظاهر‬ ‫موجک‬ ‫گابور‬ Haar AAM LBP ‫روش‬ ‫های‬ ‫غیرکالسیک‬ ‫کالسیک‬ ‫مقدمه‬ ‫مدل‬ ‫های‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫مدل‬ ‫های‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مد‬ ‫ارزیابی‬ ‫ل‬ ‫پیشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ ‫دقت‬ ‫بازشناس‬ ‫ی‬ ‫پایگاه‬ ‫داده‬ ‫استخراج‬ ‫ویژگی‬ ‫مراجع‬ 87 % Cohn ‫موجک‬ ‫گابور‬ Wang et al. (2013) 87 % Cohn Haar Satian et al. (2010) 96 % Cohn (4) LBP Zhao et al. (2007) 88 % Cohn Facial point Wu et al. (2013) 95 % Cohn (4) AAM Lucy et al. (2007) ‫دقت‬ ‫بازشن‬ ‫اسی‬ ‫پایگا‬ ‫ه‬ ‫داده‬ ‫استخراج‬ ‫ویژگی‬ ‫مراجع‬ 53 % AFEW CNN Kahou et al. (2015) 53 % AFEW CNN-RNN C3D Yin et al. (2016) 59 % AFEW Deep CNN Kim et al. (2016) 55 % eNterfa ce 3D-CNN Zhang et al. (2017)
‫مدالیتی‬‫چند‬‫هیجان‬ ‫بازشناسی‬ - ‫همجوشی‬ 10 S.T. Shivappa, “Audiovisual Information Fusion in Human-Computer Interfaces and Intelligent Environment: A Survey” 2010 • ‫آطالعات‬ ‫همجوشی‬ : ‫تر‬‫دقیق‬‫و‬ ‫بیشتر‬‫اطالعات‬ ‫به‬ ‫منبع‬‫چندین‬‫اطالعات‬‫از‬ ‫استفاده‬‫با‬ ‫که‬‫شود‬ ‫می‬‫اطالق‬ ‫ی‬‫های‬‫فعالیت‬ ‫مجموعه‬ ‫به‬ ‫موضوع‬‫یک‬ ‫درباره‬ ‫کنند‬‫می‬‫پیدا‬ ‫دست‬ . • ‫آطالعات‬ ‫همجوشی‬‫آنوآع‬ :  ‫ها‬‫ویژگی‬‫سطح‬ ( ‫اول‬ )  ‫گیری‬‫تصمیم‬‫سطح‬ ( ‫خر‬‫ا‬ )  ‫های‬ ‫ش‬‫و‬‫ر‬‫ترکیب‬ ‫همجوشی‬  ‫بند‬‫طبقه‬‫سطح‬ ( ‫میانی‬ ) Core ‫آین‬ ‫پژوهش‬ ‫مقدمه‬ ‫مدل‬ ‫های‬ ‫محاسباتی‬ ‫بازشن‬ ‫اسی‬ ‫هیجان‬ ‫مدل‬ ‫های‬ ‫بیولوژی‬ ‫هیجان‬‫بازشناسی‬ ‫مد‬ ‫یابی‬‫ز‬‫آر‬‫و‬‫آحی‬‫ر‬‫ط‬ ‫ل‬ ‫پیشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬
11 ‫بازشناسی‬ ‫هیجان‬ ‫چندمدالیتی‬ ‫اول‬ (‫ویژگی‬ ) ‫میانی‬ ( ‫طبقه‬ ‫)بندی‬ ‫آخر‬ (‫تصمی‬ ‫)م‬ ‫ترکیب‬ ‫ی‬ LDA PCA KPCA ‫کاهش‬ ‫ابعاد‬ ‫ویژگی‬ ‫انتخاب‬ ‫ویژگی‬ Canonical correlation Analysis ‫رأی‬ ‫گیری‬ ‫سطح‬ ‫اول‬ ‫و‬ ‫آخر‬ ‫همجوشی‬ ‫چندمدالی‬ ‫تی‬ ‫مقدمه‬ ‫مدل‬ ‫های‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫مدل‬ ‫های‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مد‬ ‫ارزیابی‬ ‫ل‬ ‫پیشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ 11 ‫م‬ ‫بتنی‬ ‫بر‬ ‫کرنل‬ ‫شبکه‬ ‫های‬ ‫عصبی‬ ‫های‬ ‫مدل‬ ‫گرافیکی‬ ‫ترکیب‬ ‫قواعد‬ (Bucak , 2014) Multi Kernel SVM Coupled HMM Multi-Fused HMM Zeng, 2013 ‫مدل‬ ‫همجوشی‬ ‫مراجع‬ MLP Kahou et al. (2015) RNN Chen et al. (2015) MV-LSTM Rajagopalan et al. (2016) Deep Belief Network Zhang et al. (2017) Dynamic Bayesian Network
‫مدالیتی‬‫چند‬‫هیجان‬ ‫بازشناسی‬ - ‫همجوشی‬ 12  ‫ویژگی‬ ‫سطح‬ ‫در‬ ‫همجوشی‬  ‫مزایا‬ ‫ی‬ ‫روش‬ ‫این‬ :  ‫روش‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫جداسازی‬ ‫در‬ ‫بهتر‬ ‫قابلیت‬ ‫دیداری‬ ‫و‬ ‫شنیداری‬ ‫های‬ ‫ویژگی‬ ‫بین‬ ‫همبستگی‬  ‫روش‬ ‫این‬ ‫معایب‬ :  ‫عدم‬ ‫ها‬ ‫سیگنال‬ ‫که‬ ‫هنگامی‬ ‫روش‬ ‫این‬ ‫از‬ ‫استفاده‬ ‫نیستند‬ ‫همزمان‬ .  ‫افزایش‬ ‫کاهش‬ ‫و‬ ‫ها‬ ‫ویژگی‬ ‫بردار‬ ‫ابعاد‬ ‫کارایی‬  ‫تصمیم‬ ‫سطح‬ ‫در‬ ‫همجوشی‬  ‫مزایا‬ ‫ی‬ ‫روش‬ ‫این‬ : ‫که‬ ‫هنگامی‬ ‫روش‬ ‫این‬ ‫از‬ ‫استفاده‬ ‫نیستند‬ ‫همزمان‬ ‫ها‬ ‫سیگنال‬  ‫معایب‬ ‫روش‬ ‫این‬ : ‫های‬ ‫ویژگی‬ ‫بین‬ ‫همبستگی‬ ‫گرفتن‬ ‫نادیده‬ ‫مختلف‬ ‫حسگرهای‬ ‫از‬ ‫ناشی‬ ‫مقدمه‬ ‫دلیل‬ ‫به‬ ‫دو‬ ‫محدودیت‬ ‫اول‬ ‫استراتژی‬ ‫آخر‬ ‫و‬ ‫از‬ ‫استفاده‬ ‫در‬ ‫همجوشی‬ ‫روش‬ ‫با‬ ‫میانی‬ ‫سطح‬ ‫از‬ ‫استفاده‬ ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مدل‬ ‫های‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫مدل‬ ‫های‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مد‬ ‫ارزیابی‬ ‫ل‬ ‫پیشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬
13 ‫مدالیتی‬‫چند‬‫هیجان‬ ‫بازشناسی‬ - ‫همجوشی‬ ‫ها‬ ‫چالش‬ :  ‫ورودی‬ ‫های‬ ‫سیگنال‬ ‫در‬ ‫هیجان‬ ‫بروز‬ ‫بودن‬ ‫ناهمزمان‬  ‫ها‬ ‫ویژگی‬ ‫بین‬ ‫همبستگی‬ ‫نگرفتن‬ ‫نظر‬ ‫در‬ ‫حل‬ ‫راه‬ : ‫بندی‬ ‫طبقه‬ ‫سطح‬ ‫در‬ ‫همجوشی‬  ‫ویژگی‬ ‫ایجاد‬ ‫برای‬ ‫عمیق‬ ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫از‬ ‫استفاده‬ ‫باالتر‬ ‫سطوح‬ ‫های‬  ‫های‬ ‫مدالیتی‬ ‫از‬ ‫شده‬ ‫گرفته‬ ‫یاد‬ ‫های‬ ‫ویژگی‬ ‫وزنی‬ ‫ترکیب‬ ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫باالتر‬ ‫سطوح‬ ‫در‬ ‫مختلف‬ ‫مقدمه‬ ‫مدل‬ ‫های‬ ‫محاسباتی‬ ‫بازشن‬ ‫اسی‬ ‫هیجان‬ ‫مدل‬ ‫های‬ ‫بیولوژی‬ ‫هیجان‬‫بازشناسی‬ ‫مد‬ ‫یابی‬‫ز‬‫آر‬‫و‬‫آحی‬‫ر‬‫ط‬ ‫ل‬ ‫پیشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬
‫هیجان‬ ‫بازشناسی‬ ‫ژی‬‫بیولو‬‫مدل‬ 14 ‫اتبی‬‫ر‬‫م‬‫سلسله‬‫پردازش‬‫نمایش‬ ‫مغز‬‫در‬ ‫چندمدالیتی‬ ‫مقدمه‬ ‫مدل‬ ‫های‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫مدل‬ ‫های‬ ‫بیولوژی‬ ‫بازشناس‬ ‫ی‬ ‫هیجان‬ ‫یابی‬‫ز‬‫آر‬‫و‬‫آحی‬‫ر‬‫ط‬ ‫مدل‬ ‫پیشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ ‫سازوکار‬ ‫از‬ ‫الهام‬ ‫در‬ ‫مغز‬ ‫عصبی‬ ‫اطالعات‬ ‫همجوشی‬ ‫بازشناسی‬ ‫برای‬ ‫هیجان‬ Slavova, et al., “Multi-modal emotion recognition- more cognitive machines,” in New Trends in Intelligent Technologies: International Journal Information Technologies and Knowledge, Vol. 3, 2009.
‫مدل‬ ‫یادگیری‬ ‫هیجانی‬ ‫مغز‬ (BEL) 15 15 ‫با‬ ‫در‬ ‫نظر‬ ‫گرفتن‬ (Ath) ‫بدون‬ ‫در‬ ‫نظر‬ ‫گرفتن‬ (Ath) ‫خروجی‬ Amg ‫خروجی‬ OFC ‫به‬ ‫روزرسانی‬ ‫وزن‬ Amg ‫به‬ ‫روزرسانی‬ ‫وزن‬ OFC ‫ورود‬ ‫ی‬ ‫خروجی‬ ‫تاالموس‬ ‫مقدمه‬ ‫مدل‬ ‫های‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫مدل‬ ‫های‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫ارزیابی‬ ‫مدل‬ ‫پیشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ J. Moren, and C. Balkenius, "A Computational Model of Emotional Learning in the Amygdala,“ 2001 max( ) th i A S  i i i A SV  i i i O SW  ( max(0,Re )) i i j j V S w A      ' ( Re ) i i W S E w     i i i i E A O     ' i i i i E A O    
Primary Visual Cortex ‫کورتکس‬ ‫بینایی‬ Primary Audio Cortex ‫کورتکس‬ ‫شنوایی‬ Orbitofrontal Amygdala ‫ادغام‬ ‫اطالعات‬ ‫در‬ ‫سیستم‬ ‫لیمبیک‬ ‫عملیات‬ ‫پیش‬ ‫پردازش‬ ‫بازنمایی‬ ‫ویژگی‬ ‫ها‬ ‫در‬ ‫سطوح‬ ‫باالتر‬ ‫ساختار‬ ‫مدل‬ ‫پیشنهادی‬ ‫مسیر‬ ‫پردازش‬  ‫مسیر‬ ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬  ‫مسیر‬ ‫بازشناسی‬ ‫حاالت‬ ‫چهره‬ ‫همجوشی‬ ‫بندی‬ ‫طبقه‬ ‫و‬ ‫اطالعات‬  ‫مدل‬ ‫پایه‬ ‫ای‬ BEL ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫ارزیابی‬ ‫مدل‬ ‫پیشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ 16 ‫ویژگی‬ ‫یادگیری‬ ‫مکان‬ ‫های‬ - ‫زمان‬ ‫هیجان‬ ‫الگوهای‬ ‫الگوهای‬ ‫هیجان‬
16  ‫استفاده‬ ‫از‬ ‫پایگاه‬ ‫داده‬ eNterface’05 ‫برای‬ ‫بازشناسی‬ ‫هیجان‬ ‫چندمدالیتی‬  ‫بازشناسی‬ ‫یک‬ ‫حالت‬ ‫هیجان‬ ‫در‬ ‫هر‬ ‫ویدئو‬ ‫کلیپ‬  ‫بازشناسی‬ ‫هیجان‬ ‫مستقل‬ ‫از‬ ‫گوینده‬  ‫بین‬ ‫داده‬ ‫پایگاه‬ ‫در‬ ‫ویدئو‬ ‫هر‬ ‫مدت‬ ‫طول‬ 2.5 ‫الی‬ 4 ‫است‬ ‫ثانیه‬  ‫بصورت‬ ‫هیجان‬ ‫بازشناسی‬ offline ‫گیرد‬ ‫می‬ ‫صورت‬  ‫مدل‬ ‫پایه‬ ‫ای‬ BEL ‫مبنای‬ ‫استفاده‬ ‫از‬ ‫مدل‬ ‫الهام‬ ‫گرفته‬ ‫شده‬ ‫از‬ ‫سیستم‬ ‫لیمبیک‬ ‫مغز‬ ‫مفروضات‬ ‫تحقیق‬ ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫ارزیابی‬ ‫مدل‬ ‫پیشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ 17
‫مدل‬ ‫پیشنهادی‬ - ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ 17 ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ ‫با‬ ‫استفاده‬ ‫از‬ ‫مدل‬ BELBLA:  ‫استفاده‬ ‫از‬ ‫اتوماتای‬ ‫یادگیر‬ ‫برای‬ ‫بهبود‬ ‫پارامترهای‬ ‫مدل‬ BEL ‫در‬ ‫هنگام‬ ‫آموزش‬ ‫استخراج‬ ‫ویژگی‬ ‫های‬ ‫گفتار‬ : ‫عروضی‬ ‫و‬ MFCC ‫طبقه‬ ‫بند‬ BELBLA (BEL Based Learning Automata)  ‫استفاده‬ ‫از‬ ‫اتوماتای‬ ‫یادگیر‬ ‫در‬ ‫گرادیان‬ ‫نزولی‬ ‫هنگام‬ ‫پس‬ ‫انتشار‬ ‫خطا‬ ‫و‬ ‫به‬ ‫روزرسانی‬ ‫وزن‬ ‫ها‬  ‫اتوماتای‬ ‫یادگیر‬ ‫یک‬ ‫مدل‬ ‫قوی‬ ‫یادگیری‬ ‫برای‬ ‫پیش‬ ‫بینی‬ ‫در‬ ‫محیط‬ ‫های‬ ‫پویا‬ ‫و‬ ‫بی‬ - ‫درنگ‬ ‫می‬ ‫باشد‬ ‫و‬ ‫خروجی‬ ‫آن‬ ‫بصورت‬ ‫احتمالی‬ ‫و‬ ‫پیوسته‬ ‫است‬ . 18 ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫ارزیابی‬ ‫مدل‬ ‫پیشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬
‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ - ‫آموزش‬ ‫مدل‬ BELBLA 18 ‫مدل‬ ‫خطای‬ ‫آموزش‬ ‫الگوریتم‬ : ‫احتمال‬ ‫کنش‬ ‫انتخاب‬ ‫بعدی‬ ‫های‬ ‫وزن‬ ‫روزرسانی‬ ‫به‬ ‫ضریب‬ ‫بهبود‬ ‫با‬ ‫آمیگدال‬ ‫یادگیری‬ ‫نرخ‬ ‫و‬ ‫مومنتوم‬ If MSE(iteration) < MSE(iteration-1) then α = call_LA(0) // β is 0 , ‫پاداش‬ else α = call_LA(1) // β is 1 , ‫جریمه‬ endif 19 ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬
‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ - ‫مدل‬ BELBLA  ‫پایگاه‬ ‫داده‬ ‫صوتی‬ ‫برلین‬ ‫شامل‬ 62 ‫نفر‬ ‫است‬ ‫که‬ ‫هر‬ ‫نفر‬ 7 ‫حالت‬ ‫هیجان‬ ‫پایه‬  ‫ویژگی‬ ‫های‬ ‫استفاده‬ ‫شده‬ ‫میانگین‬ ‫زمان‬ - ‫کوتاه‬ ‫فرکانس‬ ‫گام‬ ، ‫انرژی‬ ، ‫دامنه‬ ، ‫فورمنت‬ ، ‫نرخ‬ ‫عبور‬ ‫از‬ ‫صفر‬ ‫و‬ 12 ‫ضرایب‬ ‫اول‬ MFCC ‫شکل‬ ‫مقایسه‬ ‫سرعت‬ ‫همگرا‬ ‫تعداد‬ ‫مراحل‬ ‫تکرار‬ ‫خطای‬ ‫آموزش‬ ‫جدول‬ ‫ماتریس‬ ‫درهم‬ ‫ریختگی‬ ‫مدل‬ BELBLA 20 ‫مدل‬ ‫پیشنهادی‬ ‫عصبانیت‬ ‫خوشحالی‬ ‫ناراحتی‬ ‫بازشناسی‬ ‫دقت‬ (%) ‫عصبانیت‬ % 68 31 % 0 68.2 % ‫خوشحالی‬ 27 % 63 % 9 % 63.6 % ‫ناراحتی‬ 0 0.8 % 99 % 99 % Precision (%) 71.4 % 66.7 % 91.7 % Acc = 77.3 % ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬
30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 50 100 150 Recognition rate (%) epoch BELBLA BEL MLP 20 ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ - ‫مدل‬ BELBLA ‫میانگین‬ ‫دقت‬ ‫بازشناسی‬ ‫برای‬ 3 ‫هیجان‬ ‫با‬ ‫استفاده‬ ‫از‬ ‫طبقه‬ ‫بندهای‬ ‫مختلف‬ Algorithms All Emotions Anger Happiness Sadness MLP 68.7% 69.7% 45.4% 90.9% KNN (k=3) 71.3% 69% 55% 90% SVM 72.6% 68% 60% 90% HMM 74.7% 68% 62% 93% GMM 75.6% 68 % 64% 95% BEL 73.7% 69.7% 54.5% 96.9% BELFIS (parsapoor, 2012) 55% 40% 37.5% 87.5% Motamed et al. (2017) 72.5% 67.5% 52.5% 97.5% BELBLA 77.3% 68.3% 65.7% 98% ‫بازشناسی‬ ‫در‬ ‫مراحل‬ ‫تکرار‬ ‫مختلف‬ 21
21 ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ ‫از‬ ‫استفاده‬ ‫با‬ CNN ‫تنفر‬ ‫تعجب‬ ‫خوشحالی‬ ‫فرمول‬ ‫خروجی‬ ‫فیلتر‬ ‫مل‬ 10 ( ) 2595log (1 ) 700 HZ mel f f f   22 ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ 6 ‫مل‬ ‫تصاویر‬ - ‫مختلف‬ ‫های‬ ‫هیجان‬ ‫برای‬ ‫اسپکتروگرام‬
‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ ‫از‬ ‫استفاده‬ ‫با‬ CNN 22 ‫ساختار‬ ‫الیه‬ ‫های‬ ‫بکار‬ ‫رفته‬ ‫در‬ ‫مدل‬ CNN 23 ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ 32 Conv 7×7 Max Pool 2×2 64 Conv 3×3 Max Pool 2×2 128 Conv 3×3 256 Conv 3×3 Max Pool 2×2 Max Pool 2×2 256 Conv 3×3 Max Pool 2×2 Dense 256 J. Donahue et al., “Long-Term Recurrent Convolutional Networks for Visual Recognition and Description,” in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 4, pp. 677-691, April 2017 ‫مدل‬ ‫از‬ ‫استفاده‬ ‫دلیل‬ CNN  ‫گفتار‬ ‫هیجان‬ ‫های‬ ‫ویژگی‬ ‫باناظر‬ ‫یادگیری‬ ‫الگوریتم‬ ‫باالتر‬ ‫سطوح‬ ‫در‬  ‫خودکار‬ ‫بطور‬ ‫ویژگی‬ ‫یادگیری‬ ‫الگوریتم‬  CNN ‫در‬ ‫ها‬ ‫ویژگی‬ ‫استخراج‬ ‫برای‬ ‫شده‬ ‫اثبات‬ ‫روش‬ ‫یک‬ ‫ایستا‬ ‫تصاویر‬  ‫های‬ ‫ویژگی‬ ‫بین‬ ‫مکانی‬ ‫ارتباط‬ ‫کردن‬ ‫پیدا‬ ‫در‬ ‫مناسب‬ ‫گفتار‬
24 ‫ماتریس‬ ‫درهم‬ ‫ریختگی‬ ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ ‫بر‬ ‫روی‬ ‫پایگاه‬ ‫داده‬ ‫برلین‬ ‫با‬ ‫استفاده‬ ‫از‬ ‫مدل‬ CNN-RNN ‫ناراحت‬ ‫ی‬ ‫خوشحال‬ ‫ی‬ ‫ترس‬ ‫تنفر‬ ‫خستگی‬ ‫عصبانی‬ ‫ت‬ 0 % 4 % 4 % 4 % 0 % 88 % ‫عصبانی‬ ‫ت‬ 0 % 6 % 6 % 0 % 88 % 0 % ‫خستگی‬ 0 % 0 % 2 % 60 % 2 % 0 % ‫تنفر‬ 0 % 7 % 71 % 7 % 7 % 7 % ‫ترس‬ 0 % 37 % 7 % 7 % 13 % 37 % ‫خوشحال‬ ‫ی‬ ‫ناراحت‬ ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ ‫از‬ ‫استفاده‬ ‫با‬ CNN ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ ‫سازی‬ ‫پیاده‬  ‫مل‬ ‫لگاریتم‬ ‫از‬ ‫استفاده‬ - ‫با‬ ‫اسپکتروگرام‬ 96 ‫ضریب‬ ‫اول‬ MFCC  ‫پنجره‬ ‫طول‬ 30 ‫همپوشانی‬ ‫زمان‬ ‫طول‬ ‫و‬ ‫ثانیه‬ ‫میلی‬ 10 ‫ثانیه‬ ‫میلی‬  ‫از‬ ‫استفاده‬ zero-padding ‫کمتر‬ ‫ویدئو‬ ‫مدت‬ ‫طول‬ ‫برای‬ ‫از‬ 3 ‫ثانیه‬
‫دقت‬ ‫بازشناسی‬ ‫استخراج‬ ‫ویژگی‬ ‫و‬ ‫نوع‬ ‫طبقه‬ ‫بندی‬ ‫مدل‬ ‫ارائه‬ ‫شده‬ 74.5 % Mel-spectrogram + CNN ‫مدل‬ ‫پیشنهادی‬ ‫با‬ ‫استفاده‬ ‫از‬ CNN 66 % (12-MFCC, pitch, formant, energy, amplitude, ZCR) + BELBLA ‫مدل‬ ‫پیشنهادی‬ ‫با‬ ‫استفاده‬ ‫از‬ BELBLA 65.5 % Spectrogram + CNN Badshah ‫و‬ ‫همکارانش‬ (2017) 71 % Prosody + SVM Mansoorizadeh ‫و‬ ‫همکارانش‬ (2007) ‫مقایسه‬ ‫دقت‬ ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ ‫بر‬ ‫روی‬ ‫پایگاه‬ ‫داده‬ ‫برلین‬ ‫مقایسه‬ ‫دقت‬ ‫بازشناسی‬ ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ ‫بر‬ ‫روی‬ ‫پایگاه‬ ‫داده‬ ‫برلین‬ ‫بین‬ ‫مدل‬ BELBLA ‫و‬ CNN-RNN 23 25 ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ ‫از‬ ‫استفاده‬ ‫با‬ CNN ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ 0 10 20 30 40 50 60 70 80 90 100 Anger Boredom Disgust Fear Happy Neutral Sad accuracy rate BELBLA melspectrogram+CNN
 ‫پایگاه‬ ‫داده‬ ‫صوتی‬ - ‫تصویری‬ eNterface2005 ‫شامل‬ 43 ‫بازیگر‬ ، 6 ‫هیجان‬ ‫پایه‬ ‫و‬ 5 ‫جمله‬ ‫مختلف‬ ‫و‬ ‫در‬ ‫مجموع‬ 1290 ‫ویدئو‬ ‫کلیپ‬ ‫ماتریس‬ ‫درهم‬ ‫ریختگی‬ ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ ‫بر‬ ‫روی‬ ‫پایگاه‬ ‫داده‬ eNterface 26 ‫تعجب‬ ‫ناراحت‬ ‫ی‬ ‫خوشحال‬ ‫ی‬ ‫ترس‬ ‫تنفر‬ ‫عصبانی‬ ‫ت‬ 5 % 3 % 3 % 0 % 7 % 82 % ‫عصبانی‬ ‫ت‬ 10 % 7 % 7 % 10 % 55 % 12 % ‫تنفر‬ 5 % 14 % 14 % 60 % 5 % 2 % ‫ترس‬ 10 % 2 % 69 % 5 % 2 % 12 % ‫خوشحال‬ ‫ی‬ 10 % 71 % 0 % 10 % 5 % 5 % ‫ناراحت‬ ‫ی‬ 63 % 5 % 15 % 2 % 10 % 5 % ‫تعجب‬ ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ ‫از‬ ‫استفاده‬ ‫با‬ CNN ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬
‫دقت‬ ‫بازشناسی‬ ‫استخراج‬ ‫ویژگی‬ ‫و‬ ‫طبقه‬ ‫بندی‬ ‫مدل‬ ‫ارائه‬ ‫شده‬ 66.7 % Mel-spectrogram + CNN ‫مدل‬ ‫پیشنهادی‬ ‫ما‬ 43 % prosody, LDA, Kalman filter Mansoorizadeh ‫و‬ ‫همکارانش‬ (2010) 54.9 % Prosody+ MFCC Bejani ‫و‬ ‫همکارانش‬ (2014) 57 % MFCC, HMM Sahoo ‫و‬ ‫همکارانش‬ (2016) 62.7 % Prosody+spectral (602 features) Zhang ‫و‬ ‫همکارانش‬ (2014) 72.9 % MFCC-RASTA-PLP Zhalehpour ‫و‬ ‫همکارانش‬ (2016) ‫مقایسه‬ ‫دقت‬ ‫بازشناسی‬ ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ ‫بر‬ ‫روی‬ ‫پایگاه‬ ‫داده‬ eNterface 25 27 ‫دقت‬ ‫بازشناسی‬ ‫و‬ ‫خطای‬ loss ‫به‬ ‫ازای‬ ‫تعداد‬ ‫تکرار‬ ‫مختلف‬ ‫در‬ ‫مرحله‬ ‫آموزش‬ ‫بازشناسی‬ ‫هیجان‬ ‫گفتار‬ ‫از‬ ‫استفاده‬ ‫با‬ CNN ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬
‫بازشناسی‬ ‫حاالت‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫چهره‬ 3D-CNN ‫تصویر‬ ‫خاکستری‬ ‫اصلی‬ Conv1 Pool1 Conv3 ‫دقت‬ ‫بازشناسی‬ ‫تعداد‬ ‫دنباله‬ ‫تصاویر‬ ‫به‬ ‫اندازه‬ 100 × 96 57 % 10 62 % 12 62.5 % 14 ‫مقایسه‬ ‫دقت‬ ‫بازشناسی‬ ‫به‬ ‫ازای‬ ‫تعداد‬ ‫دنباله‬ ‫های‬ ‫مختلف‬ 26 ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ D. Tran, L. Bourdev, R. Fergus, L. Torresani, and M. Paluri, “Learning spatiotemporal features with 3D convolutional networks,” in IEEE International Conference on Computer Vision (ICCV), 2015. ‫شده‬ ‫استفاده‬ ‫مدل‬ ‫در‬ ‫اول‬ ‫فریم‬ ‫میانی‬ ‫تصاویر‬ ‫شکل‬ ‫شبکه‬ ‫ساختار‬ ‫در‬ ‫تغییر‬ 3D-sport-1M ‫آن‬ ‫دقیق‬ ‫تنظیم‬ ‫و‬ 28
‫تعجب‬ ‫ناراحتی‬ ‫خوشحالی‬ ‫ترس‬ ‫تنفر‬ ‫عصبانیت‬ 5 % 10 % 3 % 15 % 2 % 47 % ‫عصبانیت‬ 2 % 5 % 0 % 5 % 86 % 2 % ‫تنفر‬ 10 % 17 % 5 % 55 % 7 % 7 % ‫ترس‬ 10 % 5 % 67 % 5 % 12 % 2 % ‫خوشحالی‬ 10 % 67 % 2 % 14 % 2 % 5 % ‫ناراحتی‬ 44 % 15 % 10 % 17 % 5 % 10 % ‫تعجب‬ 27 ‫ماتریس‬ ‫درهم‬ ‫ریختگی‬ ‫بازشناسی‬ ‫حاالت‬ ‫چهره‬ ‫با‬ ‫استفاده‬ ‫از‬ 3D-CNN ‫بازشناسی‬ ‫حاالت‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫چهره‬ 3D-CNN 29 ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ ‫عصبان‬ ‫یت‬ ‫تنفر‬ ‫ترس‬ ‫خوشحا‬ ‫لی‬ ‫ناراح‬ ‫تی‬ ‫تعجب‬
‫مراجع‬ ‫استخراج‬ ‫ویژگی‬ ‫در‬ ‫بازشناسی‬ ‫حاالت‬ ‫چهره‬ ‫دقت‬ ‫بازشناسی‬ Mansoorizadeh ‫و‬ ‫همکارانش‬ ( 2010 ) ‫نقاط‬ ‫برجسته‬ ‫حاالت‬ ‫چهره‬ 37 % Bejani ‫و‬ ‫همکارانش‬ ( 2014 ) QIM 39.27 % Zhalephpour ‫و‬ ‫همکارانش‬ ( 2016 ) LPQ 42.16 % Sahoo ‫و‬ ‫همکارانش‬ ( 2016 ) LBP 45 % ‫مدل‬ ‫پیشنهادی‬ ‫ما‬ 3D-CNN 62 % 28 ‫مقایسه‬ ‫دقت‬ ‫بازشناسی‬ ‫بازشناسی‬ ‫حاالت‬ ‫چهره‬ ‫بر‬ ‫روی‬ ‫پایگاه‬ ‫داده‬ eNterface ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ 30 ‫بازشناسی‬ ‫حاالت‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫چهره‬ 3D-CNN ‫از‬ ‫استفاده‬ ‫دلیل‬ 3D-CNN  ‫زمانی‬ ‫های‬ ‫ویژگی‬ ‫هم‬ ‫همزمان‬ ‫بطور‬ ‫پویا‬ ‫تصاویر‬ ‫در‬ ‫گیرد‬ ‫می‬ ‫یاد‬ ‫را‬ ‫مکانی‬ ‫هم‬ .
29 ‫ماتریس‬ ‫درهم‬ ‫ریختگی‬ ‫بازشناسی‬ ‫حاالت‬ ‫چهره‬ ‫با‬ ‫استفاده‬ ‫از‬ CNN-RNN ‫دقت‬ ‫بازشناسی‬ ‫کل‬ : 57 % ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ 31 ‫بازشناسی‬ ‫حاالت‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫چهره‬ CNN-RNN ‫تعجب‬ ‫ناراحتی‬ ‫خوشحالی‬ ‫ترس‬ ‫تنفر‬ ‫عصبانیت‬ 3 % 10 % 3 % 20 % 10 % 55 % ‫عصبانیت‬ 7 % 5 % 5 % 7 % 67 % 10 % ‫تنفر‬ 10 % 14 % 7 % 55 % 5 % 10 % ‫ترس‬ 14 % 5 % 67 % 2 % 7 % 5 % ‫خوشحالی‬ 17 % 57 % 0 % 17 % 0 % 10 % ‫ناراحتی‬ 46 % 15 % 12 % 12 % 0 % 15 % ‫تعجب‬
30 ‫تی‬ ‫مبتنی‬ ‫بر‬ ‫همجوشی‬ ‫تصمیم‬ ‫با‬ ‫استفاده‬ ‫از‬ ‫روش‬ ‫های‬ ‫ترکیب‬ ‫قواعد‬ ‫مقایسه‬ ‫دقت‬ ‫بازشناسی‬ ‫هیجان‬ ‫دومدالیتی‬ ‫مبتنی‬ ‫بر‬ ‫همجوشی‬ ‫تصمیم‬ ‫با‬ ‫استفاده‬ ‫از‬ ‫طبقه‬ ‫بندهای‬ ‫مختلف‬ ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫همجوشی‬ ‫در‬ ‫سطح‬ ‫تصمیم‬ ‫گیری‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ 32 ‫هیجان‬ ‫بازشناسی‬ ‫پیشنهادی‬ ‫مدل‬ - ‫تصمیم‬ ‫همجوشی‬ ‫روش‬ ‫انواع‬ ‫قواعد‬ ‫های‬ ‫ترکیب‬ ‫ماکزیم‬ ‫م‬ ‫مینیمم‬ ‫جمع‬ ‫میانگین‬ ‫حاصلضرب‬ ‫هیجان‬ ‫بازشناسی‬ ‫دقت‬ % 68.6 % 71 % 71.4 % 71.4 % 74.3 ‫طبقه‬ ‫بند‬ ‫سطح‬ ‫در‬ ‫هیجان‬ ‫بازشناسی‬ ‫دقت‬ ‫تصمیم‬ BEL % 73.9 MLP % 71.5 SVM % 72.5 KNN % 72
‫عصبانیت‬ ‫تنفر‬ ‫ترس‬ ‫خوشحالی‬ ‫ناراحتی‬ ‫تعجب‬ ‫عصبانیت‬ % 82.5 % 3 % 7.5 % 4 % 0 % 2.5 ‫تنفر‬ % 7.1 % 71.4 % 0 % 7.1 % 11.9 % 2.3 ‫ترس‬ % 4.7 % 2.3 % 57.1 % 4.7 % 26 % 4.7 ‫خوشحالی‬ % 7.1 % 7.1 % 2.3 % 73.8 % 2.3 % 7.1 ‫ناراحتی‬ % 2.3 % 0 % 9.5 % 0 % 81 % 7.1 ‫تعجب‬ % 7.1 % 0 % 4.7 % 7.1 % 7.1 % 73.2 33 ‫همجوشی‬ ‫در‬ ‫سطح‬ ‫تصمیم‬ ‫گیری‬ ‫ماتریس‬ ‫درهم‬ ‫ریختگی‬ ‫بازشناسی‬ ‫هیجان‬ ‫دومدالیتی‬ ‫مبتنی‬ ‫بر‬ ‫همجوشی‬ ‫تصمیم‬ ‫روی‬ ‫بر‬ 33 ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ ‫هیجان‬ ‫بازشناسی‬ ‫پیشنهادی‬ ‫مدل‬ - ‫تصمیم‬ ‫همجوشی‬
‫همجوشی‬ ‫در‬ ‫سطح‬ ‫ویژگی‬ 31 ‫دلیل‬ ‫استفاده‬ ‫از‬ ‫مدل‬ BEL ‫جهت‬ ‫همجوشی‬ ‫و‬ ‫طبقه‬ ‫بندی‬ :  ‫دارای‬ ‫مشخصه‬ ‫یادگیری‬ ‫هیجانی‬ ‫و‬ ‫الهام‬ ‫گرفته‬ ‫شده‬ ‫از‬ ‫سیستم‬ ‫لیمبیک‬ ‫دال‬ ‫یل‬ ‫استفاده‬ ‫از‬ ‫مدل‬ ‫اختالط‬ ‫خبره‬ ‫ها‬ ‫مبتنی‬ ‫بر‬ BEL ‫جهت‬ ‫همجوشی‬ :  ‫پیچیدگی‬ ‫مسأله‬ ‫و‬ ‫ارتباط‬ ‫غیرخطی‬ ‫ویژگی‬ ‫های‬ ‫گفتار‬ ‫و‬ ‫چهره‬  ‫شواهدی‬ ‫وجود‬ ‫دارد‬ ‫که‬ ‫نورون‬ ‫های‬ ‫رقابتی‬ ‫در‬ ‫مغز‬ ‫از‬ ‫مجموعه‬ ‫ای‬ ‫از‬ ‫اتصاالت‬ ‫برانگیختگی‬ ‫و‬ ‫مهارکننده‬ ‫تشکیل‬ ‫شده‬ . 34 ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ ‫هیجان‬ ‫بازشناسی‬ ‫اول‬ ‫پیشنهادی‬ ‫مدل‬ - ‫ویژگی‬ ‫همجوشی‬ Fino E, Yuste R, Dense inhibitory connectivity in neocortex. Neuron 69(6):1188–1203, 2011.
32 ‫مدل‬ ‫اختالط‬ ‫خبره‬ ‫ها‬ ‫مبتنی‬ ‫بر‬ ‫مدل‬ BEL ‫جی‬ ‫شبکه‬ ‫میانجی‬ ‫مقدار‬ Rew ‫در‬ ‫شبکه‬ ‫میانجی‬ : ‫جی‬ ‫نهایی‬ ‫شبکه‬ ‫هر‬ ‫کدام‬ ‫از‬ ‫خبره‬ ‫ها‬ 35 ‫هیجان‬ ‫بازشناسی‬ ‫پیشنهادی‬ ‫مدل‬ - ‫ویژگی‬ ‫همجوشی‬
33 ‫مدل‬ ‫اختالط‬ ‫خبره‬ ‫ها‬ ‫مبتنی‬ ‫بر‬ ‫مدل‬ BEL 36 ‫هیجان‬ ‫بازشناسی‬ ‫پیشنهادی‬ ‫مدل‬ - ‫ویژگی‬ ‫همجوشی‬ ‫اوربیتوفرانتال‬ ‫و‬ ‫آمیگدال‬ ‫های‬ ‫وزن‬ ‫روزرسانی‬ ‫به‬ ‫ها‬ ‫خبره‬ ‫از‬ ‫کدام‬ ‫هر‬ ‫در‬ ‫اوربیتوفرانتال‬ ‫و‬ ‫آمیگدال‬ ‫های‬ ‫وزن‬ ‫روزرسانی‬ ‫به‬ ‫میانجی‬ ‫شبکه‬ ‫در‬ ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬
37 37 ‫هیجان‬ ‫بازشناسی‬ ‫اول‬ ‫پیشنهادی‬ ‫مدل‬ - ‫ارزیابی‬ ‫تعجب‬ ‫ناراحت‬ ‫ی‬ ‫خوشحال‬ ‫ی‬ ‫ترس‬ ‫تنفر‬ ‫عصبانی‬ ‫ت‬ 2.3 % 0 % 2.3 % 2.3 % 7.1 % 85 % ‫عصبانی‬ ‫ت‬ % 0 4.7 % % 2.3 % 2.3 88.1 % 2.3 % ‫تنفر‬ 2.3 % % 14 % 7.1 73.8 % % 0 2.3 % ‫ترس‬ 4.7 % 2.3 % 78.6 % 4.7 % 2.3 % 7.1 % ‫خوشحال‬ ‫ی‬ 9.5 % 81 % 0 % 9.5 % 0 % 2.3 % ‫ناراحت‬ ‫ی‬ 78 % 7.1 % 7.1 % 4.7 % 0 % 2.3 % ‫تعجب‬ ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ ‫درهم‬ ‫ماتریس‬ ‫همجوشی‬ ‫بر‬ ‫مبتنی‬ ‫هیجان‬ ‫بازشناسی‬ ‫ریختگی‬ ‫ویژگی‬ ‫ها‬ ‫با‬ ‫استفاده‬ ‫خبره‬ ‫اختالط‬ ‫مدل‬ ‫از‬ ‫مدل‬ ‫بر‬ ‫مبتنی‬ ‫ها‬ BEL 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% ‫عصبانیت‬ ‫تنفر‬ ‫ترس‬ ‫خوشحالی‬ ‫ناراحتی‬ ‫تعجب‬ ‫بازشناسی‬ ‫دقت‬ ‫هیجان‬ ‫گفتار‬ ‫چهره‬ ‫حاالت‬ ‫مقایسه‬ ‫دقت‬ ‫بازشناسی‬ ‫هیجان‬ ‫از‬ ‫روی‬ ‫حاالت‬ ،‫چهره‬ ‫هیجان‬ ‫گفتار‬ ‫و‬ ‫همجوشی‬ ‫ویژگی‬ ‫های‬ ‫گفتار‬ ‫و‬ ‫چهره‬
38 ‫بازشناسی‬ ‫دقت‬ ‫طبقه‬ ‫انواع‬ ‫بندها‬ % 78 MLP % 78.7 BEL % 77.9 SVM % 78 Weighted KNN % 71 RBF % 80.0 Mixture of NN % 80.7 Mixture of BEL ( ‫مدل‬ ‫پیشنهادی‬ ) ‫طبقه‬ ‫بین‬ ‫دومدالیتی‬ ‫هیجان‬ ‫بازشناسی‬ ‫دقت‬ ‫مقایسه‬ ‫بندهای‬ ‫مختلف‬ ‫هیجان‬ ‫بازشناسی‬ ‫اول‬ ‫پیشنهادی‬ ‫مدل‬ - ‫ارزیابی‬ ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ ‫مدل‬ ‫بر‬ ‫مبتنی‬ ‫ها‬ ‫خبره‬ ‫اختالط‬ ‫مدل‬ ‫مزایای‬ BEL  ‫یا‬ ‫ماژوالر‬ ‫صورت‬ ‫به‬ ‫شبکه‬ ‫این‬ ‫از‬ ‫استفاده‬ End-to-End ‫در‬ ‫هیجان‬ ‫بازشناسی‬ ‫سیستم‬  ‫مدل‬ BEL ‫و‬ ‫کارامد‬ ،‫پردازش‬ ‫سرعت‬ ‫و‬ ‫مصرفی‬ ‫حافظه‬ ‫منظر‬ ‫از‬ ‫است‬ ‫مناسب‬ .  ‫پارامترهای‬ ‫تعداد‬ Mixture of BEL ‫مدل‬ ‫از‬ ‫کمتر‬ ‫بسیار‬ Mixture of NN
39 ‫هیجان‬ ‫بازشناسی‬ ‫دوم‬ ‫پیشنهادی‬ ‫مدل‬ - ‫ها‬ ‫ویژگی‬ ‫همجوشی‬ ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ 39 3D-CNN ‫دنباله‬ ‫وزنی‬ ‫ترکیب‬ ‫طریق‬ ‫از‬ ‫که‬ ‫است‬ ‫کوتاه‬ ‫زمانی‬ ‫حافظه‬ ‫دارای‬ ‫مکانی‬ ‫ارتباط‬ ‫دنبال‬ ‫به‬ ‫همزمان‬ ،‫ورودی‬ - ‫است‬ ‫زمانی‬ . ‫شواهدی‬ ‫که‬ ‫دارد‬ ‫وجود‬ ‫مغز‬ ‫از‬ ‫هایی‬ ‫قسمت‬ ‫در‬ ‫ادغام‬ ‫عملیات‬ ‫صورت‬ ‫به‬ ‫سلسله‬ ‫مراتبی‬ ‫از‬ ‫و‬ ‫ابتدا‬ ‫انجام‬ ‫می‬ ‫شود‬ . A. A. Ghazanfar and C. E. Schroeder, "Is neocortex essentially multisensory," Trends in Cognitive Sciences, vol. 10, pp. 278-285, 2006.
‫تعجب‬ ‫ناراحتی‬ ‫خوشحالی‬ ‫ترس‬ ‫تنفر‬ ‫عصبانیت‬ % 2.3 0 % % 2.3 % 2.3 % 4.7 % 87.5 ‫عصبانیت‬ 0 % % 2.3 % 2.3 % 4.7 % 90.5 0 % ‫تنفر‬ 0 % % 14 % 4.7 % 76.2 % 2.3 % 2.3 ‫ترس‬ % 4.7 0 % % 81 % 7.1 % 2.3 % 4.7 ‫خوشحالی‬ % 9.5 % 81 0 % % 9.5 0 % 0 % ‫ناراحتی‬ % 75.6 9.5 % % 4.7 % 7.1 0 % % 2.3 ‫تعجب‬ 40 ‫ماتریس‬ ‫درهم‬ ‫ریختگی‬ ‫بازشناسی‬ ‫هیجان‬ ‫دومدالیتی‬ ‫بر‬ ‫اساس‬ ‫مدل‬ ‫پیشنهادی‬ ‫دوم‬ ‫ها‬ ‫ویژگی‬ ‫همجوشی‬ ‫از‬ ‫پس‬ ‫دوم‬ ‫پیشنهادی‬ ‫مدل‬ - ‫ها‬ ‫ویژگی‬ ‫همجوشی‬ ‫تعجب‬ ‫ناراحتی‬ ‫خوشحالی‬ ‫ترس‬ ‫تنفر‬ ‫عصبانیت‬ % 2.3 0 % % 0 % 2.3 % 7.1 % 82 ‫عصبانیت‬ % 2 % 5 % 2 % 7 % 81 % 2.3 ‫تنفر‬ % 14 % 17 % 0 % 60 % 7 % 2.3 ‫ترس‬ % 7 % 2.3 % 74 % 4.7 % 5 % 5 ‫خوشحالی‬ % 12 % 79 0 % % 5 2 % % 2.3 ‫ناراحتی‬ % 61 % 7.1 % 5 % 15 5 % % 7 ‫تعجب‬ ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ 40 ‫درهم‬ ‫ماترس‬ ‫هیجان‬ ‫بازشناسی‬ ‫ریختگی‬ ‫دومدالیتی‬ ‫در‬ ‫پیشنهادی‬ ‫مدل‬ ‫سوم‬ ‫مسیر‬ ‫بازشناسی‬ ‫دقت‬ ‫بطور‬ ‫هیجان‬ ‫کلی‬ : 72.8 % ‫بازشناسی‬ ‫دقت‬ ‫بطور‬ ‫هیجان‬ ‫کلی‬ : 81.9 %
41 41 ‫دقت‬ ‫بازشناس‬ ‫کل‬ ‫ی‬ ‫دقت‬ ‫بازشناسی‬ ‫حاالت‬ ‫چهره‬ ‫دقت‬ ‫بازشناسی‬ ‫گفتار‬ ‫همجوشی‬ ‫روش‬ ‫منابع‬ 71 % 37 % 43 % ‫ترکیبی‬ ‫همجوشی‬ Mansoorizadeh ‫همکارانش‬ ‫و‬ ( 2010 ) 77.7 % 39.2 % 54.9 % ‫ترکیبی‬ ‫همجوشی‬ Bejani ‫همکارانش‬ ‫و‬ ( 2014 ) 77 % 42.1 % 72.9 % ‫سطح‬ ‫همجوشی‬ ‫تصمیم‬ Zhalehpour ‫همکارانش‬ ‫و‬ ( 2016 ) 77.02 % 45 % 57 % ‫سطح‬ ‫همجوشی‬ ‫تصمیم‬ ‫بر‬ ‫مبتنی‬ ‫قواعد‬ Sahoo ‫همکارانش‬ ‫و‬ ( 2016 ) 67.4 % 44.7 % 62.7 % ‫سطح‬ ‫همجوشی‬ ‫تصمیم‬ ‫حاصلضرب‬ Zhang ‫همکارانش‬ ‫و‬ ( 2014 ) 80.7 % 62 % 66 % ‫اختالط‬ ‫مدل‬ ‫مبتنی‬ ‫ها‬ ‫خبره‬ ‫مدل‬ ‫بر‬ BEL ‫پیشنهادی‬ ‫مدل‬ ‫اول‬ ‫همجوشی‬ ‫مدل‬ ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ ‫روش‬ ‫سایر‬ ‫با‬ ‫دومدالیتی‬ ‫هیجان‬ ‫بازشناسی‬ ‫در‬ ‫پیشنهادی‬ ‫مدل‬ ‫کارایی‬ ‫مقایسه‬ ‫های‬ ‫داده‬ ‫پایگاه‬ ‫روی‬ ‫بر‬ ‫شده‬ ‫انجام‬ eNterface ‫هیجان‬ ‫بازشناسی‬ ‫اول‬ ‫پیشنهادی‬ ‫مدل‬ - ‫ارزیابی‬
42 ‫مقایسه‬ ‫دقت‬ ‫بازشناسی‬ ‫مدل‬ ‫های‬ ‫پیشنهادی‬ ‫به‬ ‫ازای‬ ‫حاالت‬ ‫مختلف‬ ‫هیجان‬ ‫در‬ ‫پایگاه‬ ‫داده‬ eNterface ‫هیجان‬ ‫بازشناسی‬ ‫پیشنهادی‬ ‫مدل‬ - ‫ارزیابی‬ ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پ‬ ‫یشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ ‫مدل‬ ‫های‬ ‫پیشنهادی‬ ‫عصبانی‬ ‫ت‬ ‫تنفر‬ ‫ترس‬ ‫خوشحالی‬ ‫ناراحت‬ ‫ی‬ ‫تعجب‬ ‫دقت‬ ‫بازشناس‬ ‫کل‬ ‫ی‬ ‫گفتار‬ ‫هیجان‬ 82 % 55 % 60 % 69 % 71 % 63 % 66.7 % ‫چهره‬ ‫حاالت‬ 47 % 86 % 55 % 67 % 67 % 44 % 62 % ‫در‬ ‫همجوشی‬ ‫تصمیم‬ 82.5 % 71.4 % 57.1 % 73.8 % 81 % 73.2 % 74 % ‫ویژگی‬ ‫همجوشی‬ - ‫ها‬ ( ‫مدل‬ ‫پیشنهادی‬ ‫اول‬ ) 85 % 88.1 % 73.8 % 78.6 % 81 % 78 % 80.7 % ‫ویژگی‬ ‫همجوشی‬ - ‫ها‬ ( ‫مدل‬ ‫پیشنهادی‬ ‫دوم‬ ) 87.5 % 90.5 % 76.2 % 81 % 81 % 75.6 % 81.9 % Mansoorizadeh ‫و‬ ‫همکارانش‬ ( 2010 ) 73 % 69 % 69 % 70 % 70 % 73 % 71 % Zhalehpour ‫و‬ ‫همکارانش‬ 83.6 % 74.9 % 65.5 % 86.1 % 79.5 % 72.3 % 77 %
 ‫ارائه‬ ‫ساختار‬ ‫شبکه‬ ‫عمیق‬ 3D-CNN ‫برای‬ ‫یادگیری‬ ‫ویژگی‬ ‫های‬ ‫مکان‬ - ‫زمان‬ ‫حاالت‬ ‫چهره‬  ‫ارائه‬ ‫ساختار‬ ‫شبکه‬ CNN ‫برای‬ ‫یادگیری‬ ‫ویژگی‬ ‫های‬ ‫هیجان‬ ‫گفتار‬  ‫بازنمایی‬ ‫ویژگی‬ ‫های‬ ‫گفتار‬ ‫هیجانی‬ ‫و‬ ‫حاالت‬ ‫چهره‬ ‫الهام‬ ‫گرفته‬ ‫از‬ ‫کورتکس‬ ‫شنوایی‬ ‫و‬ ‫بینایی‬  ‫ارائه‬ ‫یک‬ ‫راهکار‬ ‫نمونه‬ ‫برای‬ ‫همجوشی‬ ‫اطالعات‬ ‫در‬ ‫سطح‬ ‫میانی‬ ( ‫طبقه‬ ‫بندی‬ ) ‫با‬ ‫الهام‬ ‫از‬ ‫سازوکار‬ ‫عصبی‬ ‫مغز‬ ‫که‬ ‫همجوشی‬ ‫به‬ ‫صورت‬ ‫سلسله‬ ‫مراتبی‬ ‫و‬ ‫غیرخطی‬ ‫است‬ .  ‫الهام‬ ‫از‬ ‫مدل‬ ‫سیستم‬ ‫لیمبیک‬ ‫مغز‬ ‫که‬ ‫مسئول‬ ‫پاسخ‬ ‫به‬ ‫هیجان‬ ‫است‬ ‫برای‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫همجوشی‬ ‫ویژگی‬ ‫های‬ ‫یاد‬ ‫گرفته‬ ‫شده‬ ‫از‬ ‫کورتکس‬ ‫شنوایی‬ ‫و‬ ‫بینایی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ 43 ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پیشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬
44 ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬ ‫از‬ ‫منظر‬ ‫کارایی‬  ‫کارایی‬ ‫بهتر‬ ‫مدل‬ ‫های‬ ‫ارائه‬ ‫شده‬ ‫بازنمایی‬ ‫ویژگی‬ ‫های‬ ‫حاالت‬ ‫چهره‬ ‫و‬ ‫هیجان‬ ‫گفتار‬ ‫نسبت‬ ‫به‬ ‫سایر‬ ‫روش‬ ‫های‬ ‫استخراج‬ ‫ویژگی‬ ‫دستی‬  ‫کارایی‬ ‫کل‬ ‫سیستم‬ ‫با‬ ‫استفاده‬ ‫از‬ ‫مدل‬ ‫اختالط‬ ‫خبره‬ ‫ها‬ ‫مبتنی‬ ‫بر‬ ‫مدل‬ BEL ‫جهت‬ ‫همجوشی‬ ‫و‬ ‫طبقه‬ ‫بندی‬ ‫بهتر‬ ‫از‬ ‫سایر‬ ‫روش‬ ‫های‬ ‫همجوشی‬  ‫مدل‬ BEL ‫دارای‬ ‫یک‬ ‫الیه‬ ‫پنهان‬ ‫است‬ ‫و‬ ‫به‬ ‫دلیل‬ ‫ساختاری‬ ‫که‬ ‫دارد‬ ‫از‬ ‫نظر‬ ‫حافظه‬ ‫مصرفی‬ ‫بسیار‬ ‫بصرفه‬ ‫تر‬ ‫از‬ ‫شبکه‬ ‫های‬ ‫عصبی‬ MLP ‫است‬ .  ‫سیستم‬ ‫بازشناسی‬ ‫هیجان‬ ‫دارای‬ ‫استراتژی‬ ‫یادگیری‬ ‫و‬ ‫بازشناسی‬ ‫به‬ ‫صورت‬ end-to-end ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پیشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬
45 ‫آینده‬ ‫کارهای‬ ‫برای‬ ‫پیشنهادهایی‬ ‫مقدمه‬ ‫های‬ ‫مدل‬ ‫محاسباتی‬ ‫بازشناسی‬ ‫هیجان‬ ‫های‬ ‫مدل‬ ‫بیولوژی‬ ‫بازشناسی‬ ‫هیجان‬ ‫و‬ ‫طراحی‬ ‫مدل‬ ‫ارزیابی‬ ‫پیشنهادی‬ ‫جمع‬ ‫بندی‬ ‫و‬ ‫نتیجه‬ ‫گیری‬  ‫محدودیت‬ ‫اول‬ : ‫در‬ ‫مدل‬ ‫پیشنهادی‬ ‫از‬ ‫کل‬ ‫طول‬ ‫ویدئو‬ ‫پایگاه‬ ‫داده‬ eNterface ‫برای‬ ‫بازنمایی‬ ‫حاالت‬ ‫چهره‬ ‫و‬ ‫هیجان‬ ‫گفتار‬ ‫و‬ ‫همجوشی‬ ‫آنها‬ ‫استفاده‬ ‫شد‬ .  ‫ایده‬ ‫اول‬ : ‫ویدئو‬ ‫به‬ ‫قطعاتی‬ ‫بطول‬ ‫ا‬ ‫مثال‬ 2 ‫ثانیه‬ ‫تقسیم‬ ‫شود‬ ‫و‬ ‫در‬ ‫هر‬ ،‫قطعه‬ ‫همجوشی‬ ‫ویژگی‬ ‫ها‬ ‫انجام‬ ‫شده‬ ‫و‬ ‫با‬ ‫استفاده‬ ‫از‬ ‫شبکه‬ LSTM ‫ارتباط‬ ‫بین‬ ‫قطعات‬ ‫بدست‬ ‫آید‬ .  ‫ایده‬ ‫دوم‬ : ‫در‬ ‫مدل‬ ‫پیشنهادی‬ ‫از‬ ‫مدل‬ BEL ‫با‬ ‫ناظر‬ ‫برای‬ ‫همجوشی‬ ‫و‬ ‫طبقه‬ ‫بندی‬ ‫استفاده‬ ‫شد‬ ‫می‬ ‫توان‬ ‫مدل‬ BEL ‫را‬ ‫از‬ ‫طریق‬ ‫یادگیری‬ ‫تقویتی‬ ‫در‬ ‫سیگنال‬ ‫پاداش‬ / ‫جریمه‬ ‫آن‬ ‫بهبود‬ ‫داد‬ .  ‫ایده‬ ‫سوم‬ : ‫در‬ ‫مدل‬ ‫پیشنهادی‬ ‫از‬ ‫روش‬ CNN ‫برای‬ ‫بازنمایی‬ ‫ویژگی‬ ‫های‬ ‫هیجان‬ ‫گفتار‬ ‫استفاده‬ ‫شد‬ . ‫ایده‬
‫مقاالت‬ 40  Farhoudi Z., Setayeshi S., Rabiee A., “Using learning automata in brain emotional learning for speech emotion recognition,” Springer, Int J Speech Technol, 2017.  Farhoudi Z., Setayeshi S., F. Razazi, S. Rabiee, “Audio-Visual Emotion Recognition with a Brain Emotional Learning Fusion,” submitted in IEEE Transaction on Affective Computing
‫با‬ ‫تشکر‬ ‫از‬ ‫توجه‬ ‫شما‬

Check these out next

Presentation.pptx

Recomendados

Mais conteúdo relacionado

Último(20)

Destaque(20)

Presentation.pptx

Notas do Editor