Identifikasi Emosi Pengguna Konferensi Video Menggunakan Convolutional Neural Network

Abstract

Pandemi COVID-19 telah menyebabkan pergeseran bentuk komunikasi antar individu maupun antar kelompok. Komunikasi lisan antar individu dilakukan dengan bantuan teknologi secara daring. Berbagai teknologi konferensi video secara daring banyak dikembangkan, seperti Zoom, MS Teams, Google Meet, dan lain sebagainya. Dengan penggunaan teknologi tersebut, pengguna dapat saling berinteraksi secara visual dan verbal. Umumnya peserta konferensi video dengan mudah menangkap sinyal verbal dari lawan bicara. Namun untuk menginterpretasikan sinyal visual, peserta memerlukan proses analisis yang lebih kompleks. Makalah ini membahas tentang sistem identifikasi emosi secara otomatis dari peserta konferensi video. Sistem yang dikembangkan dapat diterapkan pada semua jenis teknologi konferensi video, baik versi rekaman maupun versi langsung. Aplikasi yang dikembangkan dapat digunakan untuk keperluan umum, seperti dalam rapat kelompok, kuliah, webinar, dan jenis rapat lainnya. Dalam eksperimen yang dilakukan, terdapat empat kelas emosi manusia yang digunakan, yaitu netral, senang, sedih, dan marah. Sistem melakukan deteksi area wajah dalam citra dari video masukan dengan algoritma Viola-Jones, dan melakukan identifikasi emosi pada wajah yang terdeteksi menggunakan metode Convolutional Neural Network (CNN) dengan arsitektur VGG-16. Hasil eksperimen menunjukkan bahwa sistem mampu secara otomatis melakukan pendeteksian area wajah dengan tingkat akurasi sebesar 93.15% dan melakukan identifikasi emosi dengan akurasi sebesar 88.39% untuk data latih dan 70.17% untuk data pengujian. AbstractThe COVID-19 pandemic has caused a shift in the form of communication between individuals and between groups. Oral communication between individuals is carried out with the help of online technology. Various online video conferencing technologies have been developed, such as Zoom, MS Teams, Google Meet, etc. With the use of this technology, users can interact with each other visually and verbally. Generally, video conference participants can easily receive verbal signals from the speaker. However, a more complex analysis is required to interpret other signals such as visual signals from face, gesture, etc.This paper discusses an automatic emotion identification system of video conferencing participants. The developed system can be applied to all types of video conference technology, both recorded or live versions, The developed application can be used for general purpose, such as in group meetings, lectures, webinars, and other types of meetings. In the experiments, four classes of human emotion are examined, such as neutral, happy, angry, and sad. The system detects facial areas in video frames using the Viola-Jones algorithm and identifies the emotions on the detected faces using the Convolutional Neural Network (CNN) method with the VGG-16 architecture. The experimental results show that the proposed system is able to automatically detect facial areas with an accuracy of 93.15% and identify emotions from the detected faces with an accuracy of 88.39% for training data and 70.17% for test data.