ANALISIS SENTIMEN ULASAN APLIKASI WATTPAD DI GOOGLE PLAY STORE DENGAN METODE RANDOM FOREST

Abstract

English

Wattpad is an application and online community site that allows users to write or read informational content in the literary sphere with various genres or categories such as short stories, classics, action, adventure, romance, fantasy, humor, spiritual, mystery, horror, poetry, science fiction, historical fiction, teen fiction, general fiction, fan fiction, and non-fiction. By December 2023, 90 million users spent more than 23 billion minutes accessing the app each month. This study aims to provide an overview of user sentiment while classifying it as negative or positive sentiment text using Random Forest and Random Forest methods optimized with the SMOTE (Synthetic Minority Oversampling Technique) on Wattpad App user reviews that experience class imbalance. The results showed that out of 9.975 data collection results, only 8.743 data could be used with a percentage of positive sentiment of 64,2% (5.616) and 35,8% (3.127) negative sentiment. The Random Forest method without SMOTE optimization tends to be superior in predicting unbalanced sentiment classification, this can be seen from the accuracy value which reaches 84,05%, precision 84,71%, recall 91,60%, F1-Score 88,02%, FPR 8,40%, and AUC value 0,9166 are categorized as excellent classification. SMOTE Random Forest modeling is able to improve the ability to classify the minority class, negative sentiment, as can be seen from the increase in precision value from 84,71 % to 86,70% (1,99%). Unfortunately, this class balancing resulted in a decrease in the performance of accuracy, recall, f1-score and AUC values. In addition, based on the feature importance values, the most influential features in both models are the word attributes "kecewa", "bagus", and "baik".

Bahasa Indonesia

Wattpad merupakan salah satu aplikasi dan situs komunitas daring yang memungkinkan pengguna menulis atau membaca konten informasi dalam lingkup sastra dengan berbagai genre atau kategori seperti cerita pendek, klasik, aksi, petualangan, romansa, fantasi, humor, spiritual, misteri, horor, puisi, fiksi ilmiah, fiksi sejarah, fiksi remaja, fiksi umum, fiksi penggemar, dan non fiksi. Hingga Desember 2023, 90 juta pengguna menghabiskan lebih dari 23 miliar menit mengakses aplikasi ini setiap bulannya. Penelitian ini bertujuan untuk memberikan gambaran sentimen pengguna sekaligus mengklasifikasikannya sebagai teks sentimen negatif atau positif menggunakan metode Random Forest dan Random Forest yang di optimasi dengan SMOTE (Synthetic Minority Oversampling Technique) pada ulasan pengguna Aplikasi Wattpad yang mengalami ketidakseimbangan kelas. Hasil penelitian menunjukkan bahwa dari 9.975 hasil pengumpulan data, hanya 8.743 data yang dapat digunakan dengan persentase sentimen positif sebesar 64,2% (5.616) dan 35,8% (3.127) sentimen negatif. Metode Random Forest tanpa optimasi SMOTE cenderung lebih unggul dalam memprediksi klasifikasi sentimen yang tidak seimbang, ini dapat dilihat dari nilai akurasi yang mencapai 84,05%, presisi 84,71%, recall 91,60%, F1-Score 88,02%, FPR 8,40%, dan nilai AUC 0,9166 yang dikategorikan sebagai klasifikasi yang sangat baik. Pemodelan SMOTE Random Forest mampu meningkatkan kemampuan untuk mengklasifikasikan kelas minoritas yakni sentimen negatif, dapat dilihat dari naiknya nilai presisi dari dari 84,71% ke 86,70% (1,99%). Sayangnya, penyeimbangan kelas ini berdampak pada penurunan performa akurasi, recall, f1-score dan nilai AUC. Selain itu, berdasarkan nilai feature importance, fitur yang paling berpengaruh pada kedua model adalah atribut kata “kecewa”, “bagus”, dan “baik”.

Keywords

• Wattpad
• Analisis Sentimen
• Random Forest
• SMOTE