Melola Discovery

← Melola Discovery

Open access Journal SINTA 5

ANALISIS SENTIMEN ULASAN APLIKASI WATTPAD DI GOOGLE PLAY STORE DENGAN METODE RANDOM FOREST

AnoaTIK: Jurnal Teknologi Informasi dan Komputer · Vol. 2 No. 1 (2024) · pp. 6–15

DOI
10.33772/anoatik.v2i1.32
ISSN
2987-7652
Published
2024-06-20
Publisher
Program Studi Ilmu Komputer FMIPA-UHO
Language
ind
License
creativecommons.org/licenses/by-sa/4.0

Abstract

English

Wattpad is an application and online community site that allows users to write or read informational content in the literary sphere with various genres or categories such as short stories, classics, action, adventure, romance, fantasy, humor, spiritual, mystery, horror, poetry, science fiction, historical fiction, teen fiction, general fiction, fan fiction, and non-fiction. By December 2023, 90 million users spent more than 23 billion minutes accessing the app each month. This study aims to provide an overview of user sentiment while classifying it as negative or positive sentiment text using Random Forest and Random Forest methods optimized with the SMOTE (Synthetic Minority Oversampling Technique) on Wattpad App user reviews that experience class imbalance. The results showed that out of 9.975 data collection results, only 8.743 data could be used with a percentage of positive sentiment of 64,2% (5.616) and 35,8% (3.127) negative sentiment. The Random Forest method without SMOTE optimization tends to be superior in predicting unbalanced sentiment classification, this can be seen from the accuracy value which reaches 84,05%, precision 84,71%, recall 91,60%, F1-Score 88,02%, FPR 8,40%, and AUC value 0,9166 are categorized as excellent classification. SMOTE Random Forest modeling is able to improve the ability to classify the minority class, negative sentiment, as can be seen from the increase in precision value from 84,71 % to 86,70% (1,99%). Unfortunately, this class balancing resulted in a decrease in the performance of accuracy, recall, f1-score and AUC values. In addition, based on the feature importance values, the most influential features in both models are the word attributes "kecewa", "bagus", and "baik".

Indonesian

Wattpad merupakan salah satu aplikasi dan situs komunitas daring yang memungkinkan pengguna menulis atau membaca konten informasi dalam lingkup sastra dengan berbagai genre atau kategori seperti cerita pendek, klasik, aksi, petualangan, romansa, fantasi, humor, spiritual, misteri, horor, puisi, fiksi ilmiah, fiksi sejarah, fiksi remaja, fiksi umum, fiksi penggemar, dan non fiksi. Hingga Desember 2023, 90 juta pengguna menghabiskan lebih dari 23 miliar menit mengakses aplikasi ini setiap bulannya. Penelitian ini bertujuan untuk memberikan gambaran sentimen pengguna sekaligus mengklasifikasikannya sebagai teks sentimen negatif atau positif menggunakan metode Random Forest dan Random Forest yang di optimasi dengan SMOTE (Synthetic Minority Oversampling Technique) pada ulasan pengguna Aplikasi Wattpad yang mengalami ketidakseimbangan kelas. Hasil penelitian menunjukkan bahwa dari 9.975 hasil pengumpulan data, hanya 8.743 data yang dapat digunakan dengan persentase sentimen positif sebesar 64,2% (5.616) dan 35,8% (3.127) sentimen negatif. Metode Random Forest tanpa optimasi SMOTE cenderung lebih unggul dalam memprediksi klasifikasi sentimen yang tidak seimbang, ini dapat dilihat dari nilai akurasi yang mencapai 84,05%, presisi 84,71%, recall 91,60%, F1-Score 88,02%, FPR 8,40%, dan nilai AUC 0,9166 yang dikategorikan sebagai klasifikasi yang sangat baik. Pemodelan SMOTE Random Forest mampu meningkatkan kemampuan untuk mengklasifikasikan kelas minoritas yakni sentimen negatif, dapat dilihat dari naiknya nilai presisi dari dari 84,71% ke 86,70% (1,99%). Sayangnya, penyeimbangan kelas ini berdampak pada penurunan performa akurasi, recall, f1-score dan nilai AUC. Selain itu, berdasarkan nilai feature importance, fitur yang paling berpengaruh pada kedua model adalah atribut kata “kecewa”, “bagus”, dan “baik”.

Keywords

Collaboration network of the authors

40 authors · 151 co-authorship links · 11 across different organisations · showing the 40 most connected

Hover or tap a name to highlight its co-authors. Double-click to open the author's page.

  • Universitas Halu Oleo
  • Hasanuddin University
  • Institut Agama Islam Negeri Kendari
  • Affiliation unknown
  • Different organisations
  • Same organisation
  • Affiliation unknown
  • Thicker line = more joint articles · bigger circle = more articles
Show as table
Co-authorOrganisationJoint articles
Makkulau MakkulauUniversitas Halu Oleo14
Agusrawati AgusrawatiUniversitas Halu Oleo9
Agusrawati AgusrawatiAffiliation unknown8
Irma YahyaUniversitas Halu Oleo4
Lilis LaomeAffiliation unknown3
Baharuddin BaharuddinUniversitas Halu Oleo3
Rahmaliah SahupalaAffiliation unknown2
Ahid HidayatUniversitas Halu Oleo2
Wayan SomayasaAffiliation unknown2
Gusti N.A. WibawaAffiliation unknown2
Bahriddin AbapihiAffiliation unknown2
Lilis LaomeUniversitas Halu Oleo2
Mukhsar MukhsarUniversitas Halu Oleo2
Iskandar PattihUniversitas Halu Oleo2
Nana SumarnaUniversitas Halu Oleo1
Kamiluddin KamiluddinUniversitas Halu Oleo1
I Gusti Ngurah Adhi WibawaAffiliation unknown1
Baharuddin SaidAffiliation unknown1
Putri Ike PratiwiAffiliation unknown1
Marliani MarlianiAffiliation unknown1
Budiono RahmanAffiliation unknown1
Sartiah YusranUniversitas Halu Oleo1
Ningtias Eka SaputriAffiliation unknown1
Baharuddin SaidUniversitas Halu Oleo1
Ruslan RuslanUniversitas Halu Oleo1
Hamirul HadinUniversitas Halu Oleo1
Andi TenriawaruUniversitas Halu Oleo1
Baharuddin BaharuddinHasanuddin University1
Ida UsmanUniversitas Halu Oleo1
Rahmalia SahupalaUniversitas Halu Oleo1
Lestari DaswanInstitut Agama Islam Negeri Kendari1
Bahriddin AbapihiUniversitas Halu Oleo1
Hartini HartiniAffiliation unknown1
Andi Tenri AmpaUniversitas Halu Oleo1
Ruslan RuslanUniversitas Halu Oleo1

Affiliations come from OpenAlex; journal OAI-PMH metadata carries none. Authors without an OpenAlex ID are matched by name, which can merge or split people.

Metadata source: OAI-PMH (metadata jurnal) https://anoatik.uho.ac.id/index.php/atik/oai, first harvested 26 Oct 2026, last seen 15 Nov 2026.
Original metadata (oai_dc)
<oai_dc:dc xmlns="http://www.openarchives.org/OAI/2.0/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:oai_dc="http://www.openarchives.org/OAI/2.0/oai_dc/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.openarchives.org/OAI/2.0/oai_dc/  http://www.openarchives.org/OAI/2.0/oai_dc.xsd">
	<dc:title xml:lang="id-ID">ANALISIS SENTIMEN ULASAN APLIKASI WATTPAD DI GOOGLE PLAY STORE DENGAN METODE RANDOM FOREST</dc:title>
	<dc:creator>Nur Adhan, Safira</dc:creator>
	<dc:creator>Wibawa, Gusti Ngurah Adhi</dc:creator>
	<dc:creator>Arisona, Dian Christien</dc:creator>
	<dc:creator>Yahya, Irma</dc:creator>
	<dc:creator>Ruslan, Ruslan</dc:creator>
	<dc:subject xml:lang="id-ID">Wattpad</dc:subject>
	<dc:subject xml:lang="id-ID">Analisis Sentimen</dc:subject>
	<dc:subject xml:lang="id-ID">Random Forest</dc:subject>
	<dc:subject xml:lang="id-ID">SMOTE</dc:subject>
	<dc:description xml:lang="en-US">Wattpad is an application and online community site that allows users to write or read informational content in the literary sphere with various genres or categories such as short stories, classics, action, adventure, romance, fantasy, humor, spiritual, mystery, horror, poetry, science fiction, historical fiction, teen fiction, general fiction, fan fiction, and non-fiction. By December 2023, 90 million users spent more than 23 billion minutes accessing the app each month. This study aims to provide an overview of user sentiment while classifying it as negative or positive sentiment text using Random Forest and Random Forest methods optimized with the SMOTE (Synthetic Minority Oversampling Technique) on Wattpad App user reviews that experience class imbalance. The results showed that out of 9.975 data collection results, only 8.743 data could be used with a percentage of positive sentiment of 64,2% (5.616) and 35,8% (3.127) negative sentiment. The Random Forest method without SMOTE optimization tends to be superior in predicting unbalanced sentiment classification, this can be seen from the accuracy value which reaches 84,05%, precision 84,71%, recall 91,60%, F1-Score 88,02%, FPR 8,40%, and AUC value 0,9166 are categorized as excellent classification. SMOTE Random Forest modeling is able to improve the ability to classify the minority class, negative sentiment, as can be seen from the increase in precision value from 84,71 % to 86,70% (1,99%). Unfortunately, this class balancing resulted in a decrease in the performance of accuracy, recall, f1-score and AUC values. In addition, based on the feature importance values, the most influential features in both models are the word attributes "kecewa", "bagus", and "baik".</dc:description>
	<dc:description xml:lang="id-ID">Wattpad merupakan salah satu aplikasi dan situs komunitas daring yang memungkinkan pengguna menulis atau membaca konten informasi dalam lingkup sastra dengan berbagai genre atau kategori seperti cerita pendek, klasik, aksi, petualangan, romansa, fantasi, humor, spiritual, misteri, horor, puisi, fiksi ilmiah, fiksi sejarah, fiksi remaja, fiksi umum, fiksi penggemar, dan non fiksi. Hingga Desember 2023, 90 juta pengguna menghabiskan lebih dari 23 miliar menit mengakses aplikasi ini setiap bulannya. Penelitian ini bertujuan untuk memberikan gambaran sentimen pengguna sekaligus mengklasifikasikannya sebagai teks sentimen negatif atau positif menggunakan metode Random Forest dan Random Forest yang di optimasi dengan SMOTE (Synthetic Minority Oversampling Technique) pada ulasan pengguna Aplikasi Wattpad yang mengalami ketidakseimbangan kelas. Hasil penelitian menunjukkan bahwa dari 9.975 hasil pengumpulan data, hanya 8.743 data yang dapat digunakan dengan persentase sentimen positif sebesar 64,2% (5.616) dan 35,8% (3.127) sentimen negatif. Metode Random Forest tanpa optimasi SMOTE cenderung lebih unggul dalam memprediksi klasifikasi sentimen yang tidak seimbang, ini dapat dilihat dari nilai akurasi yang mencapai 84,05%, presisi 84,71%, recall 91,60%, F1-Score 88,02%, FPR 8,40%, dan nilai AUC 0,9166 yang dikategorikan sebagai klasifikasi yang sangat baik. Pemodelan SMOTE Random Forest mampu meningkatkan kemampuan untuk mengklasifikasikan kelas minoritas yakni sentimen negatif, dapat dilihat dari naiknya nilai presisi dari dari 84,71% ke 86,70% (1,99%). Sayangnya, penyeimbangan kelas ini berdampak pada penurunan performa akurasi, recall, f1-score dan nilai AUC. Selain itu, berdasarkan nilai feature importance, fitur yang paling berpengaruh pada kedua model adalah atribut kata “kecewa”, “bagus”, dan “baik”.</dc:description>
	<dc:publisher xml:lang="id-ID">Program Studi Ilmu Komputer FMIPA-UHO</dc:publisher>
	<dc:date>2024-06-20</dc:date>
	<dc:type>info:eu-repo/semantics/article</dc:type>
	<dc:type>info:eu-repo/semantics/publishedVersion</dc:type>
	<dc:format>application/pdf</dc:format>
	<dc:identifier>https://anoatik.uho.ac.id/index.php/atik/article/view/32</dc:identifier>
	<dc:identifier>10.33772/anoatik.v2i1.32</dc:identifier>
	<dc:source xml:lang="en-US">AnoaTIK: Jurnal Teknologi Informasi &amp; Komputer; Vol. 2 No. 1 (2024): Juni 2024; 6-15</dc:source>
	<dc:source xml:lang="id-ID">AnoaTIK: Jurnal Teknologi Informasi dan Komputer; Vol 2 No 1 (2024): Juni 2024; 6-15</dc:source>
	<dc:source>2987-7652</dc:source>
	<dc:source>10.33772/anoatik.v2i1</dc:source>
	<dc:language>ind</dc:language>
	<dc:relation>https://anoatik.uho.ac.id/index.php/atik/article/view/32/17</dc:relation>
	<dc:rights xml:lang="id-ID">Hak Cipta (c) 2024 Safira Nur Adhan, Gusti Ngurah Adhi Wibawa, Dian Christien Arisona, Irma Yahya, Ruslan Ruslan</dc:rights>
	<dc:rights xml:lang="id-ID">https://creativecommons.org/licenses/by-sa/4.0</dc:rights>
</oai_dc:dc>