Open access Journal SINTA 5
ANALISIS SENTIMEN ULASAN APLIKASI WATTPAD DI GOOGLE PLAY STORE DENGAN METODE RANDOM FOREST
AnoaTIK: Jurnal Teknologi Informasi dan Komputer · Vol. 2 No. 1 (2024) · pp. 6–15
- ISSN
- 2987-7652
- Published
- 2024-06-20
- Publisher
- Program Studi Ilmu Komputer FMIPA-UHO
- Language
- ind
Abstract
English
Wattpad is an application and online community site that allows users to write or read informational content in the literary sphere with various genres or categories such as short stories, classics, action, adventure, romance, fantasy, humor, spiritual, mystery, horror, poetry, science fiction, historical fiction, teen fiction, general fiction, fan fiction, and non-fiction. By December 2023, 90 million users spent more than 23 billion minutes accessing the app each month. This study aims to provide an overview of user sentiment while classifying it as negative or positive sentiment text using Random Forest and Random Forest methods optimized with the SMOTE (Synthetic Minority Oversampling Technique) on Wattpad App user reviews that experience class imbalance. The results showed that out of 9.975 data collection results, only 8.743 data could be used with a percentage of positive sentiment of 64,2% (5.616) and 35,8% (3.127) negative sentiment. The Random Forest method without SMOTE optimization tends to be superior in predicting unbalanced sentiment classification, this can be seen from the accuracy value which reaches 84,05%, precision 84,71%, recall 91,60%, F1-Score 88,02%, FPR 8,40%, and AUC value 0,9166 are categorized as excellent classification. SMOTE Random Forest modeling is able to improve the ability to classify the minority class, negative sentiment, as can be seen from the increase in precision value from 84,71 % to 86,70% (1,99%). Unfortunately, this class balancing resulted in a decrease in the performance of accuracy, recall, f1-score and AUC values. In addition, based on the feature importance values, the most influential features in both models are the word attributes "kecewa", "bagus", and "baik".
Indonesian
Wattpad merupakan salah satu aplikasi dan situs komunitas daring yang memungkinkan pengguna menulis atau membaca konten informasi dalam lingkup sastra dengan berbagai genre atau kategori seperti cerita pendek, klasik, aksi, petualangan, romansa, fantasi, humor, spiritual, misteri, horor, puisi, fiksi ilmiah, fiksi sejarah, fiksi remaja, fiksi umum, fiksi penggemar, dan non fiksi. Hingga Desember 2023, 90 juta pengguna menghabiskan lebih dari 23 miliar menit mengakses aplikasi ini setiap bulannya. Penelitian ini bertujuan untuk memberikan gambaran sentimen pengguna sekaligus mengklasifikasikannya sebagai teks sentimen negatif atau positif menggunakan metode Random Forest dan Random Forest yang di optimasi dengan SMOTE (Synthetic Minority Oversampling Technique) pada ulasan pengguna Aplikasi Wattpad yang mengalami ketidakseimbangan kelas. Hasil penelitian menunjukkan bahwa dari 9.975 hasil pengumpulan data, hanya 8.743 data yang dapat digunakan dengan persentase sentimen positif sebesar 64,2% (5.616) dan 35,8% (3.127) sentimen negatif. Metode Random Forest tanpa optimasi SMOTE cenderung lebih unggul dalam memprediksi klasifikasi sentimen yang tidak seimbang, ini dapat dilihat dari nilai akurasi yang mencapai 84,05%, presisi 84,71%, recall 91,60%, F1-Score 88,02%, FPR 8,40%, dan nilai AUC 0,9166 yang dikategorikan sebagai klasifikasi yang sangat baik. Pemodelan SMOTE Random Forest mampu meningkatkan kemampuan untuk mengklasifikasikan kelas minoritas yakni sentimen negatif, dapat dilihat dari naiknya nilai presisi dari dari 84,71% ke 86,70% (1,99%). Sayangnya, penyeimbangan kelas ini berdampak pada penurunan performa akurasi, recall, f1-score dan nilai AUC. Selain itu, berdasarkan nilai feature importance, fitur yang paling berpengaruh pada kedua model adalah atribut kata “kecewa”, “bagus”, dan “baik”.
Keywords
Collaboration network of the authors
40 authors · 151 co-authorship links · 11 across different organisations · showing the 40 most connected
Hover or tap a name to highlight its co-authors. Double-click to open the author's page.
- Universitas Halu Oleo
- Hasanuddin University
- Institut Agama Islam Negeri Kendari
- Affiliation unknown
- Different organisations
- Same organisation
- Affiliation unknown
- Thicker line = more joint articles · bigger circle = more articles
Show as table
| Co-author | Organisation | Joint articles |
|---|---|---|
| Makkulau Makkulau | Universitas Halu Oleo | 14 |
| Agusrawati Agusrawati | Universitas Halu Oleo | 9 |
| Agusrawati Agusrawati | Affiliation unknown | 8 |
| Irma Yahya | Universitas Halu Oleo | 4 |
| Lilis Laome | Affiliation unknown | 3 |
| Baharuddin Baharuddin | Universitas Halu Oleo | 3 |
| Rahmaliah Sahupala | Affiliation unknown | 2 |
| Ahid Hidayat | Universitas Halu Oleo | 2 |
| Wayan Somayasa | Affiliation unknown | 2 |
| Gusti N.A. Wibawa | Affiliation unknown | 2 |
| Bahriddin Abapihi | Affiliation unknown | 2 |
| Lilis Laome | Universitas Halu Oleo | 2 |
| Mukhsar Mukhsar | Universitas Halu Oleo | 2 |
| Iskandar Pattih | Universitas Halu Oleo | 2 |
| Nana Sumarna | Universitas Halu Oleo | 1 |
| Kamiluddin Kamiluddin | Universitas Halu Oleo | 1 |
| I Gusti Ngurah Adhi Wibawa | Affiliation unknown | 1 |
| Baharuddin Said | Affiliation unknown | 1 |
| Putri Ike Pratiwi | Affiliation unknown | 1 |
| Marliani Marliani | Affiliation unknown | 1 |
| Budiono Rahman | Affiliation unknown | 1 |
| Sartiah Yusran | Universitas Halu Oleo | 1 |
| Ningtias Eka Saputri | Affiliation unknown | 1 |
| Baharuddin Said | Universitas Halu Oleo | 1 |
| Ruslan Ruslan | Universitas Halu Oleo | 1 |
| Hamirul Hadin | Universitas Halu Oleo | 1 |
| Andi Tenriawaru | Universitas Halu Oleo | 1 |
| Baharuddin Baharuddin | Hasanuddin University | 1 |
| Ida Usman | Universitas Halu Oleo | 1 |
| Rahmalia Sahupala | Universitas Halu Oleo | 1 |
| Lestari Daswan | Institut Agama Islam Negeri Kendari | 1 |
| Bahriddin Abapihi | Universitas Halu Oleo | 1 |
| Hartini Hartini | Affiliation unknown | 1 |
| Andi Tenri Ampa | Universitas Halu Oleo | 1 |
| Ruslan Ruslan | Universitas Halu Oleo | 1 |
Affiliations come from OpenAlex; journal OAI-PMH metadata carries none. Authors without an OpenAlex ID are matched by name, which can merge or split people.