، جلد ۲۱، شماره ۴، صفحات ۱۱۳-۱۲۷
عنوان فارسی بازشناسی هیجان مبتنی بر همجوشی اطلاعات چندوجهی با استفاده از مدل ترکیبی یادگیری هیجانی مغز
چکیده فارسی مقاله مقدمه: بازشناسی هیجان چندوجهی به واسطه دریافت اطلاعات از منابع حسی (وجه­‌های) مختلف از یک ویدیو دارای چالش­‌های فراوانی است و به عنوان روش جدیدی برای تعامل طبیعی انسان با رایانه مورد توجه محققان زیادی قرار گرفته است. هدف از این پژوهش، بازشناسی هیجان به طور خودکار از روی گفتار هیجانی و حالات چهره، مبتنی بر ساز و کارهای عصبی مغز بود. بنابراین، با توجه به مطالعات صورت گرفته در زمینه مدل­‌های الهام گرفته از مغز، یک چارچوب کلی برای بازشناسی هیجان دومدالیتی با الهام از عملکرد کورتکس شنوایی و بینایی و سیستم لیمبیک مغز ارائه شود. روش کار: مدل ترکیبی و سلسله مراتبی پیشنهادی از دو مرحله یادگیری تشکیل شده بود. مرحله اول: مدل­‌های یادگیری عمیق برای بازنمایی ویژگی­‌های بینایی و شنوایی و مرحله دوم: مدل ترکیبی یادگیری هیجانی مغز (MoBEL) بدست آمده از مرحله قبل برای همجوشی اطلاعات شنیداری_دیداری. برای بازنمایی ویژگی­‌های بینایی به منظور یادگیری ارتباط مکانی بین پیکسل­‌ها و ارتباط زمانی بین فریم­‌های ویدئو از مدل شبکه عصبی یادگیری عمیق 3D-CNN استفاده شد. همچنین به منظور بازنمایی ویژگی­‌های شنوایی، ابتدا سیگنال گفتار به تصویر لگاریتم مل_اسپکتروگرام تبدیل شده سپس به مدل یادگیری عمیق CNN برای استخراج ویژگی­‌های مکانی_زمانی داده شد. در نهایت، اطلاعات به دست آمده از دو جریان فوق به شبکه عصبی ترکیبی MoBEL داده شد تا با در نظر گرفتن همبستگی بین وجه­‌های بینایی و شنوایی و همجوشی اطلاعات در سطح ویژگی، کارایی سیستم بازشناسی هیجان را بهبود بخشد. یافته­‌ها: نرخ بازشناسی هیجان در ویدیو با استفاده از مدل ارائه شده بر روی پایگاه داده eNterface'05 به طور میانگین 82 درصد شد. نتیجه­‌گیری: نتایج تجربی در پایگاه داده مذکور نشان می­‌دهد که کارکرد روش پیشنهادی بهتر از روش­‌های استخراج ویژگی­های دستی و سایر مدل­‌های همجوشی در بازشناسی هیجان است.
کلیدواژه‌های فارسی مقاله بازشناسی هیجان چندوجهی، یادگیری هیجانی مغز، مدل ترکیب شبکه­‌های عصبی، همجوشی، یادگیری عمیق
عنوان انگلیسی Emotion recognition based on multimodal fusion using mixture of brain emotional learning
چکیده انگلیسی مقاله Introduction: Multimodal emotion recognition due to receiving information from different sensory resources (modalities) from a video has a lot of challenges and has attracted many researchers as a new method of human computer interaction. The purpose of this paper was to automatically recognize emotion from emotional speech and facial expression based on the neural mechanisms of the brain. Therefore, based on studies on brain-inspired models, a general framework for bimodal emotion recognition inspired by the functionality of the auditory and visual cortics and brain limbic system is presented. Methods: The hybrid and hierarchical proposed model consisted of two learning phases. The first step: the deep learning models for the representation of visual and auditory features, and the second step: a Mixture of Brain Emotional Learning (MoBEL) model, obtained from the previous stage, for fusion of audio-visual information. For visual feature representation, 3D-convolutional neural network (3D-CNN) was used to learn the spatial relationship between pixels and the temporal relationship between the video frames. Also, for audio feature representation, the speech signal was first converted to the log Mel-spectrogram image and then fed to the CNN. Finally, the information obtained from the two above streams was given to the MoBEL neural network model to improve the efficiency of the emotional recognition system by considering the correlation between visual and auditory and fusion of information at the feature level. Results: The accuracy rate of emotion recognition in video in the eNterface'05 database using the proposed method was on average of 82%. Conclusion: The experimental results in the database show that the performance of the proposed method is better than the hand-crafted feature extraction methods and other fusion models in the emotion recognition.
کلیدواژه‌های انگلیسی مقاله Multimodal emotion recognition, Brain emotional learning, Mixture of neural networks, Fusion, Deep learning
نویسندگان مقاله زینب فرهودی | Zeinab Farhoudi
PhD Student of Artificial Intelligence, Department of Computer Engineering, Science and Reserach Branch, Islamic Azad University, Tehran, Iran
دانشجوی دکتری هوش مصنوعی، دانشکده فنی و مهندسی، دانشگاه آزاد اسلامی واحد علوم و تحقیقات، تهران، ایران

سعید ستایشی | Saeed Setayeshi
Professor of Department of Energy Engineering and Physics, Amirkabir University of Technology, Tehran, Iran
استاد گروه مهندسی پرتوپزشکی، دانشگاه صنعتی امیرکبیر، تهران، ایران

فربد رزازی | Farbod Razazi
Professor of Department of Electrical and Computer Engineering, Science and Reserach Branch, Islamic Azad University, Tehran, Iran
استاد گروه الکترونیک و مهندسی رایانه، دانشگاه علوم و تحقیقات آزاد اسلامی، تهران، ایران

اعظم ربیعی | Azam Rabiee
Professor of Department of Computer Science, Dolatabad Branch, Islamic Azad University, Isfahan, Iran
استاد دانشکده مهندسی رایانه، دانشگاه آزاد اسلامی واحد دولت آباد، اصفهان، ایران

نشانی اینترنتی http://icssjournal.ir/browse.php?a_code=A-10-1-58&slc_lang=fa&sid=1
فایل مقاله فایلی برای مقاله ذخیره نشده است
کد مقاله (doi)
زبان مقاله منتشر شده fa
موضوعات مقاله منتشر شده روان شناسی شناختی
نوع مقاله منتشر شده مروری
برگشت به: صفحه اول پایگاه   |   نسخه مرتبط   |   نشریه مرتبط   |   فهرست نشریات