Derin Öğrenme Modeli ile Yüz İfadelerinden Duygu Tanıma


Creative Commons License

Akar F., Akgül İ.

Iğdır Üniversitesi Fen Bilimleri Enstitüsü Dergisi, cilt.12, sa.1, ss.69-79, 2022 (Hakemli Dergi)

Özet

Yüz ifadesinden duygu tanıma; insan-bilgisayar etkileşimi, duygusal hesaplama vb. gibi birçok bilgisayarla görme alanında uygulanabilen güncel bir araştırma konusudur. Bu çalışmada, KDEF ve PICS veri setleri kullanılarak derin öğrenme ile duygu tanımaya yönelik bir uygulama yapılmıştır. Öznitelik çıkarımı için derin öğrenme tekniklerinden olan ve yapay sinir ağları içeren bir yapay zekâ yaklaşımı olan Evrişimsel Sinir Ağı (ESA) kullanılarak yeni bir model geliştirilmiştir. Derin öğrenmenin yüksek başarımı için büyük veri setine ihtiyaç duyulmaktadır. KDEF veri setinde 4900, PICS veri setinde 322 görüntü bulunmaktadır. Bu amaçla öncelikle PICS veri setindeki görüntü sayısının az olmasından dolayı veri artırma yöntemi ile görüntü çoğaltma işlemi uygulanmıştır ve PICS veri seti 4830 görüntüye çıkarılmıştır. Daha sonra bu iki farklı veri seti üzerinde ayrı ayrı eğitim gerçekleştirilerek geliştirilen yeni model test edilmiştir. ESA modellerinden olan VGGNet temel alınarak geliştirilen yeni model ile gerçekleştirilen çalışmada, her bir veri setinde yedi farklı duygu sınıfı (korku, öfke, iğrenme, mutluluk, nötr, üzüntü, şaşırma) ele alınmıştır. Geliştirilen model ile KDEF veri setinin geçerleme kümesinde %97.44, PICS veri setinin geçerleme kümesinde %98.24 doğruluk değerleri elde edilerek yüksek bir başarı oranına ulaşılmıştır. 

Emotion recognition from facial expression is a current research topic that can be applied in the many fields of computer vision, such as human-computer interaction, emotional computing, etc. In this study, an application for emotion recognition through deep learning was made using KDEF and PICS datasets. A new model was established using the convolutional neural network (CNN), an artificial intelligence approach that involves artificial neural networks, which is one of the deep learning techniques for attribute inference. Large datasets are needed for the high performance of deep learning. There are 4900 images in the KDEF dataset and 322 images in the PICS dataset. For this purpose, primarily due to the small number of images in the PICS dataset, image iteration was applied with the data augmentation method, and the PICS dataset was increased to 4830 images. Then, the new model developed by conducting separate training on these two different datasets was tested. Seven different classes of emotion (afraid, angry, disgusted, happy, neutral, sad, surprised) were covered in each dataset in the study conducted with a new model developed based on VGGNet which is one of the CNN models. With the developed model, a high success rate was achieved by obtaining 97.44% accuracy values in the validation set of the KDEF and 98.24% accuracy values in the validation set of the PICS dataset.