Pembangunan Model Speech Emotion Recognition Menggunakan SVM dan KNN pada Emosi Korban Kekerasan Berbasis Gender

Abstract

Bahasa Indonesia

Data terkini menunjukkan bahwa angka tindak kekerasan berbasis gender (KBG) di Indonesia masih tinggi. Oleh karena itu, optimalisasi layanan dukungan penanganan bagi korban KBG perlu dilakukan, bahkan hal ini menjadi salah satu tindakan prioritas. Salah satu yang dapat dilakukan adalah pemanfaatan machine learning untuk mengklasifikasi dan memonitor kondisi kesehatan mental berdasarkan deteksi dan pengenalan emosi. Pada penelitian ini diusulkan model Speech Emotion Recognition (SER) dengan menggunakan algoritma Support Vector Machine (SVM) dan K-Nearest Neighbor (KNN). Alur pemodelan dimulai dari akuisisi dataset yang kemudian dilanjutkan dengan pre-processing data. Adapun class emosi dalam penelitian ini lebih spesifik pada spektrum emosi masalah kesehatan mental, yaitu: emosi terkejut, getir, tertekan, takut; dengan jumlah dataset sebanyak 1000. Setelah itu dilakukan feature extraction yang pada penelitian ini menggunakan gabungan dari Short-Time Fourier Transform (STFT), Mel Frequency Cepstral Coefficient (MFCC), Chroma, Mel Spectogram, dan Tonnetz. Dari feature yang dihasilkan, dilanjutkan melakukan pemodelan dan simulasi menggunakan SVM dan KNN. Model yang dihasilkan kemudian dievaluasi dimana hasilnya menunjukkan bahwa model SER dengan akurasi tertinggi dihasilkan oleh SVM, yaitu 0,97. Hasil F1-score baik pada model SVM maupun KNN menunjukkan nilai yang cukup baik yaitu lebih dari 0.84. Hal ini dikarenakan persebaran dataset pada setiap class bersifat imbang. Dari kelima label yang digunakan, label depressed emotion memiliki presisi tertinggi baik pada model SVM maupun KNN. Abstract Recent data shows that the number of gender-based violence (GBV) in Indonesia is still high. Therefore, optimization of support services for handling GBV victims needs to be done, in fact this is one of the priority actions. One that can be done is the use of machine learning to classify and monitor mental health conditions based on emotion detection and recognition. In this study, a speech emotion recognition (SER) model is proposed using the SVM and KNN algorithms. The modeling flow starts from dataset acquisition which is then continued with data pre-processing. The emotion class in this study is more specific to the spectrum of emotions of mental health problems, namely: emotions of surprise, bitterness, depression, fear; with a dataset of 1000. After that, feature extraction was carried out which in this study used a combination of Short-Time Fourier Transform (STFT), Mel Frequency Cepstral Coefficient (MFCC), Chroma, Mel Spectrogram, and Tonnetz. From the resulting features, modeling and simulation were continued using SVM and KNN. The resulting model was then evaluated where the results showed that the SER model with the highest accuracy was produced by SVM, which was 0.97. The F1-score results for both the SVM and KNN models showed quite good values, namely more than 0.84. This is because the distribution of the dataset in each class is balanced. Of the five labels used, the depressed emotion label has the highest precision in both the SVM and KNN models.

English

Data terkini menunjukkan bahwa angka tindak kekerasan berbasis gender (KBG) di Indonesia masih tinggi. Oleh karena itu, optimalisasi layanan dukungan penanganan bagi korban KBG perlu dilakukan, bahkan hal ini menjadi salah satu tindakan prioritas. Salah satu yang dapat dilakukan adalah pemanfaatan machine learning untuk mengklasifikasi dan memonitor kondisi kesehatan mental berdasarkan deteksi dan pengenalan emosi. Pada penelitian ini diusulkan model Speech Emotion Recognition (SER) dengan menggunakan algoritma Support Vector Machine (SVM) dan K-Nearest Neighbor (KNN). Alur pemodelan dimulai dari akuisisi dataset yang kemudian dilanjutkan dengan pre-processing data. Adapun class emosi dalam penelitian ini lebih spesifik pada spektrum emosi masalah kesehatan mental, yaitu: emosi terkejut, getir, tertekan, takut; dengan jumlah dataset sebanyak 1000. Setelah itu dilakukan feature extraction yang pada penelitian ini menggunakan gabungan dari Short-Time Fourier Transform (STFT), Mel Frequency Cepstral Coefficient (MFCC), Chroma, Mel Spectogram, dan Tonnetz. Dari feature yang dihasilkan, dilanjutkan melakukan pemodelan dan simulasi menggunakan SVM dan KNN. Model yang dihasilkan kemudian dievaluasi dimana hasilnya menunjukkan bahwa model SER dengan akurasi tertinggi dihasilkan oleh SVM, yaitu 0,97. Hasil F1-score baik pada model SVM maupun KNN menunjukkan nilai yang cukup baik yaitu lebih dari 0.84. Hal ini dikarenakan persebaran dataset pada setiap class bersifat imbang. Dari kelima label yang digunakan, label depressed emotion memiliki presisi tertinggi baik pada model SVM maupun KNN. Abstract Recent data shows that the number of gender-based violence (GBV) in Indonesia is still high. Therefore, optimization of support services for handling GBV victims needs to be done, in fact this is one of the priority actions. One that can be done is the use of machine learning to classify and monitor mental health conditions based on emotion detection and recognition. In this study, a speech emotion recognition (SER) model is proposed using the SVM and KNN algorithms. The modeling flow starts from dataset acquisition which is then continued with data pre-processing. The emotion class in this study is more specific to the spectrum of emotions of mental health problems, namely: emotions of surprise, bitterness, depression, fear; with a dataset of 1000. After that, feature extraction was carried out which in this study used a combination of Short-Time Fourier Transform (STFT), Mel Frequency Cepstral Coefficient (MFCC), Chroma, Mel Spectrogram, and Tonnetz. From the resulting features, modeling and simulation were continued using SVM and KNN. The resulting model was then evaluated where the results showed that the SER model with the highest accuracy was produced by SVM, which was 0.97. The F1-score results for both the SVM and KNN models showed quite good values, namely more than 0.84. This is because the distribution of the dataset in each class is balanced. Of the five labels used, the depressed emotion label has the highest precision in both the SVM and KNN models.

Keywords

• kekerasan berbasis gender
• speech emotion recognition
• klasifikasi
• deteksi emosi
• SVM
• KNN