Akses terbuka Jurnal SINTA 2
Pelabelan Sentimen Otomatis Hybrid untuk Analisis Respons Publik Terhadap Program Makan Bergizi Gratis di Twitter/X
Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK) · Vol. 13 No. 5 (2026) · hlm. 1105–1116
- ISSN
- 2528-6579, 2355-7699
- Terbit
- 2026-11-02
- Penerbit
- Fakultas Ilmu Komputer, Universitas Brawijaya
- Bahasa
- id
Abstrak
Bahasa Indonesia
Keterbatasan data berlabel manual menjadi tantangan dalam analisis sentimen berbasis media sosial, khususnya pada data berskala besar seperti Twitter/X. Penelitian ini mengusulkan pendekatan pelabelan sentimen otomatis berbasis hybrid yang mengombinasikan metode lexicon-based menggunakan Indonesian Sentiment Lexicon (INSET) dan metode transformer-based menggunakan IndoBERTweet untuk menganalisis sentimen publik terhadap Program Makan Bergizi Gratis (MBG). Evaluasi dilakukan menggunakan algoritma klasifikasi Naïve Bayes dan Support Vector Machine (SVM) sebagai probe classifier untuk menganalisis pengaruh strategi pelabelan terhadap pola hasil klasifikasi. Data Twitter/X diproses melalui tahap preprocessing dan representasi fitur menggunakan TF-IDF, kemudian dianalisis melalui tiga skenario pelabelan, yaitu INSET, IndoBERTweet, dan hybrid. Hasil penelitian menunjukkan bahwa pelabelan berbasis INSET menghasilkan dominasi sentimen positif sebesar 97.50%, sedangkan IndoBERTweet menghasilkan distribusi sentimen yang lebih banyak pada kategori netral sebesar 47.13%. Pendekatan hybrid menghasilkan distribusi sentimen yang lebih moderat dengan 39.50% positif, 24.51% negatif, dan 39.99% netral. Analisis konsistensi menggunakan Cohen’s Kappa menunjukkan kesepakatan yang sangat rendah antara INSET dan IndoBERTweet (κ = 0.0097), namun kesepakatan yang lebih tinggi antara IndoBERTweet dan hybrid (κ = 0.7595). Selain itu, pengujian Wilcoxon Signed-Rank Test menunjukkan adanya perbedaan yang signifikan secara statistik (p < 0.05) antar skenario pelabelan. Secara keseluruhan, pendekatan hybrid menghasilkan pola klasifikasi sentimen yang lebih seimbang, konsisten, dan stabil dibandingkan pendekatan pelabelan otomatis tunggal, sehingga berpotensi menjadi alternatif metodologis yang lebih adaptif dalam analisis sentimen berbasis media sosial pada kondisi keterbatasan data berlabel manual. Abstract The limited availability of manually labeled data remains a major challenge in social media–based sentiment analysis, particularly for large-scale data sources such as Twitter/X. This study proposes a hybrid automatic sentiment labeling approach that combines a lexicon-based method using the Indonesian Sentiment Lexicon (INSET) and a transformer-based method using IndoBERTweet to analyze public sentiment toward the Free Nutritious Meals Program (MBG). The evaluation was conducted using Naïve Bayes and Support Vector Machine (SVM) classification algorithms as probe classifiers to examine the influence of labeling strategies on classification outcome patterns. Twitter/X data were processed through preprocessing stages and feature representation using TF-IDF, and subsequently analyzed using three labeling scenarios: INSET, IndoBERTweet, and hybrid. The results show that INSET-based labeling produced a strong dominance of positive sentiment at 97.50%, whereas IndoBERTweet produced a distribution with a higher proportion of neutral sentiment at 47.13%. The hybrid approach generated a more moderate sentiment distribution consisting of 39.50% positive, 24.51% negative, and 39.99% neutral sentiments. Consistency analysis using Cohen’s Kappa indicated very low agreement between INSET and IndoBERTweet (κ = 0.0097), while higher agreement was observed between IndoBERTweet and the hybrid approach (κ = 0.7595). In addition, the Wilcoxon Signed-Rank Test revealed statistically significant differences (p < 0.05) among the labeling scenarios. Overall, the hybrid labeling approach produced a more balanced, consistent, and stable sentiment classification pattern compared to single automatic labeling methods, suggesting that it can serve as a more adaptive methodological alternative for social media sentiment analysis under conditions of limited manually labeled data.
Inggris
Keterbatasan data berlabel manual menjadi tantangan dalam analisis sentimen berbasis media sosial, khususnya pada data berskala besar seperti Twitter/X. Penelitian ini mengusulkan pendekatan pelabelan sentimen otomatis berbasis hybrid yang mengombinasikan metode lexicon-based menggunakan Indonesian Sentiment Lexicon (INSET) dan metode transformer-based menggunakan IndoBERTweet untuk menganalisis sentimen publik terhadap Program Makan Bergizi Gratis (MBG). Evaluasi dilakukan menggunakan algoritma klasifikasi Naïve Bayes dan Support Vector Machine (SVM) sebagai probe classifier untuk menganalisis pengaruh strategi pelabelan terhadap pola hasil klasifikasi. Data Twitter/X diproses melalui tahap preprocessing dan representasi fitur menggunakan TF-IDF, kemudian dianalisis melalui tiga skenario pelabelan, yaitu INSET, IndoBERTweet, dan hybrid. Hasil penelitian menunjukkan bahwa pelabelan berbasis INSET menghasilkan dominasi sentimen positif sebesar 97.50%, sedangkan IndoBERTweet menghasilkan distribusi sentimen yang lebih banyak pada kategori netral sebesar 47.13%. Pendekatan hybrid menghasilkan distribusi sentimen yang lebih moderat dengan 39.50% positif, 24.51% negatif, dan 39.99% netral. Analisis konsistensi menggunakan Cohen’s Kappa menunjukkan kesepakatan yang sangat rendah antara INSET dan IndoBERTweet (κ = 0.0097), namun kesepakatan yang lebih tinggi antara IndoBERTweet dan hybrid (κ = 0.7595). Selain itu, pengujian Wilcoxon Signed-Rank Test menunjukkan adanya perbedaan yang signifikan secara statistik (p < 0.05) antar skenario pelabelan. Secara keseluruhan, pendekatan hybrid menghasilkan pola klasifikasi sentimen yang lebih seimbang, konsisten, dan stabil dibandingkan pendekatan pelabelan otomatis tunggal, sehingga berpotensi menjadi alternatif metodologis yang lebih adaptif dalam analisis sentimen berbasis media sosial pada kondisi keterbatasan data berlabel manual. Abstract The limited availability of manually labeled data remains a major challenge in social media–based sentiment analysis, particularly for large-scale data sources such as Twitter/X. This study proposes a hybrid automatic sentiment labeling approach that combines a lexicon-based method using the Indonesian Sentiment Lexicon (INSET) and a transformer-based method using IndoBERTweet to analyze public sentiment toward the Free Nutritious Meals Program (MBG). The evaluation was conducted using Naïve Bayes and Support Vector Machine (SVM) classification algorithms as probe classifiers to examine the influence of labeling strategies on classification outcome patterns. Twitter/X data were processed through preprocessing stages and feature representation using TF-IDF, and subsequently analyzed using three labeling scenarios: INSET, IndoBERTweet, and hybrid. The results show that INSET-based labeling produced a strong dominance of positive sentiment at 97.50%, whereas IndoBERTweet produced a distribution with a higher proportion of neutral sentiment at 47.13%. The hybrid approach generated a more moderate sentiment distribution consisting of 39.50% positive, 24.51% negative, and 39.99% neutral sentiments. Consistency analysis using Cohen’s Kappa indicated very low agreement between INSET and IndoBERTweet (κ = 0.0097), while higher agreement was observed between IndoBERTweet and the hybrid approach (κ = 0.7595). In addition, the Wilcoxon Signed-Rank Test revealed statistically significant differences (p < 0.05) among the labeling scenarios. Overall, the hybrid labeling approach produced a more balanced, consistent, and stable sentiment classification pattern compared to single automatic labeling methods, suggesting that it can serve as a more adaptive methodological alternative for social media sentiment analysis under conditions of limited manually labeled data.
Jaringan kolaborasi para penulis
8 penulis · 13 tautan kepenulisan bersama
Arahkan kursor atau ketuk sebuah nama untuk menyorot rekan penulisnya. Klik dua kali untuk membuka halaman penulis.
- STMIK Lombok
- Afiliasi tidak diketahui
- Organisasi berbeda
- Organisasi sama
- Afiliasi tidak diketahui
- Garis lebih tebal = lebih banyak artikel bersama · lingkaran lebih besar = lebih banyak artikel
Tampilkan sebagai tabel
| Rekan penulis | Organisasi | Artikel bersama |
|---|---|---|
| Wafiah Murniati | STMIK Lombok | 1 |
| Kiki Haerani | STMIK Lombok | 1 |
| Khairul Imtihan | STMIK Lombok | 1 |
| Mei Kurniawan | Afiliasi tidak diketahui | 1 |
| M. Suyanto | Afiliasi tidak diketahui | 1 |
| Ema Utami | Afiliasi tidak diketahui | 1 |
Afiliasi berasal dari OpenAlex; metadata OAI-PMH jurnal tidak memuatnya. Penulis tanpa ID OpenAlex dicocokkan berdasarkan nama, sehingga dua orang bisa tergabung atau satu orang bisa terpisah.