Melola Discovery

← Melola Discovery

Akses terbuka Jurnal SINTA 2

Pelabelan Sentimen Otomatis Hybrid untuk Analisis Respons Publik Terhadap Program Makan Bergizi Gratis di Twitter/X

Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK) · Vol. 13 No. 5 (2026) · hlm. 1105–1116

DOI
10.25126/jtiik.2026135
ISSN
2528-6579, 2355-7699
Terbit
2026-11-02
Penerbit
Fakultas Ilmu Komputer, Universitas Brawijaya
Bahasa
id
Lisensi
creativecommons.org/licenses/by-sa/4.0

Abstrak

Bahasa Indonesia

Keterbatasan data berlabel manual menjadi tantangan dalam analisis sentimen berbasis media sosial, khususnya pada data berskala besar seperti Twitter/X. Penelitian ini mengusulkan pendekatan pelabelan sentimen otomatis berbasis hybrid yang mengombinasikan metode lexicon-based menggunakan Indonesian Sentiment Lexicon (INSET) dan metode transformer-based menggunakan IndoBERTweet untuk menganalisis sentimen publik terhadap Program Makan Bergizi Gratis (MBG). Evaluasi dilakukan menggunakan algoritma klasifikasi Naïve Bayes dan Support Vector Machine (SVM) sebagai probe classifier untuk menganalisis pengaruh strategi pelabelan terhadap pola hasil klasifikasi. Data Twitter/X diproses melalui tahap preprocessing dan representasi fitur menggunakan TF-IDF, kemudian dianalisis melalui tiga skenario pelabelan, yaitu INSET, IndoBERTweet, dan hybrid. Hasil penelitian menunjukkan bahwa pelabelan berbasis INSET menghasilkan dominasi sentimen positif sebesar 97.50%, sedangkan IndoBERTweet menghasilkan distribusi sentimen yang lebih banyak pada kategori netral sebesar 47.13%. Pendekatan hybrid menghasilkan distribusi sentimen yang lebih moderat dengan 39.50% positif, 24.51% negatif, dan 39.99% netral. Analisis konsistensi menggunakan Cohen’s Kappa menunjukkan kesepakatan yang sangat rendah antara INSET dan IndoBERTweet (κ = 0.0097), namun kesepakatan yang lebih tinggi antara IndoBERTweet dan hybrid (κ = 0.7595). Selain itu, pengujian Wilcoxon Signed-Rank Test menunjukkan adanya perbedaan yang signifikan secara statistik (p < 0.05) antar skenario pelabelan. Secara keseluruhan, pendekatan hybrid menghasilkan pola klasifikasi sentimen yang lebih seimbang, konsisten, dan stabil dibandingkan pendekatan pelabelan otomatis tunggal, sehingga berpotensi menjadi alternatif metodologis yang lebih adaptif dalam analisis sentimen berbasis media sosial pada kondisi keterbatasan data berlabel manual. Abstract The limited availability of manually labeled data remains a major challenge in social media–based sentiment analysis, particularly for large-scale data sources such as Twitter/X. This study proposes a hybrid automatic sentiment labeling approach that combines a lexicon-based method using the Indonesian Sentiment Lexicon (INSET) and a transformer-based method using IndoBERTweet to analyze public sentiment toward the Free Nutritious Meals Program (MBG). The evaluation was conducted using Naïve Bayes and Support Vector Machine (SVM) classification algorithms as probe classifiers to examine the influence of labeling strategies on classification outcome patterns. Twitter/X data were processed through preprocessing stages and feature representation using TF-IDF, and subsequently analyzed using three labeling scenarios: INSET, IndoBERTweet, and hybrid. The results show that INSET-based labeling produced a strong dominance of positive sentiment at 97.50%, whereas IndoBERTweet produced a distribution with a higher proportion of neutral sentiment at 47.13%. The hybrid approach generated a more moderate sentiment distribution consisting of 39.50% positive, 24.51% negative, and 39.99% neutral sentiments. Consistency analysis using Cohen’s Kappa indicated very low agreement between INSET and IndoBERTweet (κ = 0.0097), while higher agreement was observed between IndoBERTweet and the hybrid approach (κ = 0.7595). In addition, the Wilcoxon Signed-Rank Test revealed statistically significant differences (p < 0.05) among the labeling scenarios. Overall, the hybrid labeling approach produced a more balanced, consistent, and stable sentiment classification pattern compared to single automatic labeling methods, suggesting that it can serve as a more adaptive methodological alternative for social media sentiment analysis under conditions of limited manually labeled data.

Inggris

Keterbatasan data berlabel manual menjadi tantangan dalam analisis sentimen berbasis media sosial, khususnya pada data berskala besar seperti Twitter/X. Penelitian ini mengusulkan pendekatan pelabelan sentimen otomatis berbasis hybrid yang mengombinasikan metode lexicon-based menggunakan Indonesian Sentiment Lexicon (INSET) dan metode transformer-based menggunakan IndoBERTweet untuk menganalisis sentimen publik terhadap Program Makan Bergizi Gratis (MBG). Evaluasi dilakukan menggunakan algoritma klasifikasi Naïve Bayes dan Support Vector Machine (SVM) sebagai probe classifier untuk menganalisis pengaruh strategi pelabelan terhadap pola hasil klasifikasi. Data Twitter/X diproses melalui tahap preprocessing dan representasi fitur menggunakan TF-IDF, kemudian dianalisis melalui tiga skenario pelabelan, yaitu INSET, IndoBERTweet, dan hybrid. Hasil penelitian menunjukkan bahwa pelabelan berbasis INSET menghasilkan dominasi sentimen positif sebesar 97.50%, sedangkan IndoBERTweet menghasilkan distribusi sentimen yang lebih banyak pada kategori netral sebesar 47.13%. Pendekatan hybrid menghasilkan distribusi sentimen yang lebih moderat dengan 39.50% positif, 24.51% negatif, dan 39.99% netral. Analisis konsistensi menggunakan Cohen’s Kappa menunjukkan kesepakatan yang sangat rendah antara INSET dan IndoBERTweet (κ = 0.0097), namun kesepakatan yang lebih tinggi antara IndoBERTweet dan hybrid (κ = 0.7595). Selain itu, pengujian Wilcoxon Signed-Rank Test menunjukkan adanya perbedaan yang signifikan secara statistik (p < 0.05) antar skenario pelabelan. Secara keseluruhan, pendekatan hybrid menghasilkan pola klasifikasi sentimen yang lebih seimbang, konsisten, dan stabil dibandingkan pendekatan pelabelan otomatis tunggal, sehingga berpotensi menjadi alternatif metodologis yang lebih adaptif dalam analisis sentimen berbasis media sosial pada kondisi keterbatasan data berlabel manual. Abstract The limited availability of manually labeled data remains a major challenge in social media–based sentiment analysis, particularly for large-scale data sources such as Twitter/X. This study proposes a hybrid automatic sentiment labeling approach that combines a lexicon-based method using the Indonesian Sentiment Lexicon (INSET) and a transformer-based method using IndoBERTweet to analyze public sentiment toward the Free Nutritious Meals Program (MBG). The evaluation was conducted using Naïve Bayes and Support Vector Machine (SVM) classification algorithms as probe classifiers to examine the influence of labeling strategies on classification outcome patterns. Twitter/X data were processed through preprocessing stages and feature representation using TF-IDF, and subsequently analyzed using three labeling scenarios: INSET, IndoBERTweet, and hybrid. The results show that INSET-based labeling produced a strong dominance of positive sentiment at 97.50%, whereas IndoBERTweet produced a distribution with a higher proportion of neutral sentiment at 47.13%. The hybrid approach generated a more moderate sentiment distribution consisting of 39.50% positive, 24.51% negative, and 39.99% neutral sentiments. Consistency analysis using Cohen’s Kappa indicated very low agreement between INSET and IndoBERTweet (κ = 0.0097), while higher agreement was observed between IndoBERTweet and the hybrid approach (κ = 0.7595). In addition, the Wilcoxon Signed-Rank Test revealed statistically significant differences (p < 0.05) among the labeling scenarios. Overall, the hybrid labeling approach produced a more balanced, consistent, and stable sentiment classification pattern compared to single automatic labeling methods, suggesting that it can serve as a more adaptive methodological alternative for social media sentiment analysis under conditions of limited manually labeled data.

Jaringan kolaborasi para penulis

8 penulis · 13 tautan kepenulisan bersama

Arahkan kursor atau ketuk sebuah nama untuk menyorot rekan penulisnya. Klik dua kali untuk membuka halaman penulis.

  • STMIK Lombok
  • Afiliasi tidak diketahui
  • Organisasi berbeda
  • Organisasi sama
  • Afiliasi tidak diketahui
  • Garis lebih tebal = lebih banyak artikel bersama · lingkaran lebih besar = lebih banyak artikel
Tampilkan sebagai tabel
Rekan penulisOrganisasiArtikel bersama
Wafiah MurniatiSTMIK Lombok1
Kiki HaeraniSTMIK Lombok1
Khairul ImtihanSTMIK Lombok1
Mei KurniawanAfiliasi tidak diketahui1
M. SuyantoAfiliasi tidak diketahui1
Ema UtamiAfiliasi tidak diketahui1

Afiliasi berasal dari OpenAlex; metadata OAI-PMH jurnal tidak memuatnya. Penulis tanpa ID OpenAlex dicocokkan berdasarkan nama, sehingga dua orang bisa tergabung atau satu orang bisa terpisah.

Sumber metadata: OAI-PMH (metadata jurnal) https://jtiik.ub.ac.id/index.php/jtiik/en/oai, pertama di-harvest 8 Nov 2026, terakhir terlihat 15 Nov 2026.
Metadata asli (oai_dc)
<oai_dc:dc xmlns="http://www.openarchives.org/OAI/2.0/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:oai_dc="http://www.openarchives.org/OAI/2.0/oai_dc/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.openarchives.org/OAI/2.0/oai_dc/  http://www.openarchives.org/OAI/2.0/oai_dc.xsd">
	<dc:title xml:lang="id">Pelabelan Sentimen Otomatis Hybrid untuk Analisis Respons Publik Terhadap Program Makan Bergizi Gratis di Twitter/X</dc:title>
	<dc:title xml:lang="en">Pelabelan Sentimen Otomatis Hybrid untuk Analisis Respons Publik Terhadap Program Makan Bergizi Gratis di Twitter/X</dc:title>
	<dc:creator xml:lang="en">Haerani, Kiki</dc:creator>
	<dc:creator xml:lang="en">Kusrini</dc:creator>
	<dc:creator xml:lang="id">Haerani, Kiki</dc:creator>
	<dc:creator xml:lang="id">Kusrini</dc:creator>
	<dc:description xml:lang="id">Keterbatasan data berlabel manual menjadi tantangan dalam analisis sentimen berbasis media sosial, khususnya pada data berskala besar seperti Twitter/X. Penelitian ini mengusulkan pendekatan pelabelan sentimen otomatis berbasis hybrid yang mengombinasikan metode lexicon-based menggunakan Indonesian Sentiment Lexicon (INSET) dan metode transformer-based menggunakan IndoBERTweet untuk menganalisis sentimen publik terhadap Program Makan Bergizi Gratis (MBG). Evaluasi dilakukan menggunakan algoritma klasifikasi Naïve Bayes dan Support Vector Machine (SVM) sebagai probe classifier untuk menganalisis pengaruh strategi pelabelan terhadap pola hasil klasifikasi. Data Twitter/X diproses melalui tahap preprocessing dan representasi fitur menggunakan TF-IDF, kemudian dianalisis melalui tiga skenario pelabelan, yaitu INSET, IndoBERTweet, dan hybrid. Hasil penelitian menunjukkan bahwa pelabelan berbasis INSET menghasilkan dominasi sentimen positif sebesar 97.50%, sedangkan IndoBERTweet menghasilkan distribusi sentimen yang lebih banyak pada kategori netral sebesar 47.13%. Pendekatan hybrid menghasilkan distribusi sentimen yang lebih moderat dengan 39.50% positif, 24.51% negatif, dan 39.99% netral. Analisis konsistensi menggunakan Cohen’s Kappa menunjukkan kesepakatan yang sangat rendah antara INSET dan IndoBERTweet (κ = 0.0097), namun kesepakatan yang lebih tinggi antara IndoBERTweet dan hybrid (κ = 0.7595). Selain itu, pengujian Wilcoxon Signed-Rank Test menunjukkan adanya perbedaan yang signifikan secara statistik (p &amp;lt; 0.05) antar skenario pelabelan. Secara keseluruhan, pendekatan hybrid menghasilkan pola klasifikasi sentimen yang lebih seimbang, konsisten, dan stabil dibandingkan pendekatan pelabelan otomatis tunggal, sehingga berpotensi menjadi alternatif metodologis yang lebih adaptif dalam analisis sentimen berbasis media sosial pada kondisi keterbatasan data berlabel manual.
 
Abstract
The limited availability of manually labeled data remains a major challenge in social media–based sentiment analysis, particularly for large-scale data sources such as Twitter/X. This study proposes a hybrid automatic sentiment labeling approach that combines a lexicon-based method using the Indonesian Sentiment Lexicon (INSET) and a transformer-based method using IndoBERTweet to analyze public sentiment toward the Free Nutritious Meals Program (MBG). The evaluation was conducted using Naïve Bayes and Support Vector Machine (SVM) classification algorithms as probe classifiers to examine the influence of labeling strategies on classification outcome patterns. Twitter/X data were processed through preprocessing stages and feature representation using TF-IDF, and subsequently analyzed using three labeling scenarios: INSET, IndoBERTweet, and hybrid. The results show that INSET-based labeling produced a strong dominance of positive sentiment at 97.50%, whereas IndoBERTweet produced a distribution with a higher proportion of neutral sentiment at 47.13%. The hybrid approach generated a more moderate sentiment distribution consisting of 39.50% positive, 24.51% negative, and 39.99% neutral sentiments. Consistency analysis using Cohen’s Kappa indicated very low agreement between INSET and IndoBERTweet (κ = 0.0097), while higher agreement was observed between IndoBERTweet and the hybrid approach (κ = 0.7595). In addition, the Wilcoxon Signed-Rank Test revealed statistically significant differences (p &amp;lt; 0.05) among the labeling scenarios. Overall, the hybrid labeling approach produced a more balanced, consistent, and stable sentiment classification pattern compared to single automatic labeling methods, suggesting that it can serve as a more adaptive methodological alternative for social media sentiment analysis under conditions of limited manually labeled data.</dc:description>
	<dc:description xml:lang="en">Keterbatasan data berlabel manual menjadi tantangan dalam analisis sentimen berbasis media sosial, khususnya pada data berskala besar seperti Twitter/X. Penelitian ini mengusulkan pendekatan pelabelan sentimen otomatis berbasis hybrid yang mengombinasikan metode lexicon-based menggunakan Indonesian Sentiment Lexicon (INSET) dan metode transformer-based menggunakan IndoBERTweet untuk menganalisis sentimen publik terhadap Program Makan Bergizi Gratis (MBG). Evaluasi dilakukan menggunakan algoritma klasifikasi Naïve Bayes dan Support Vector Machine (SVM) sebagai probe classifier untuk menganalisis pengaruh strategi pelabelan terhadap pola hasil klasifikasi. Data Twitter/X diproses melalui tahap preprocessing dan representasi fitur menggunakan TF-IDF, kemudian dianalisis melalui tiga skenario pelabelan, yaitu INSET, IndoBERTweet, dan hybrid. Hasil penelitian menunjukkan bahwa pelabelan berbasis INSET menghasilkan dominasi sentimen positif sebesar 97.50%, sedangkan IndoBERTweet menghasilkan distribusi sentimen yang lebih banyak pada kategori netral sebesar 47.13%. Pendekatan hybrid menghasilkan distribusi sentimen yang lebih moderat dengan 39.50% positif, 24.51% negatif, dan 39.99% netral. Analisis konsistensi menggunakan Cohen’s Kappa menunjukkan kesepakatan yang sangat rendah antara INSET dan IndoBERTweet (κ = 0.0097), namun kesepakatan yang lebih tinggi antara IndoBERTweet dan hybrid (κ = 0.7595). Selain itu, pengujian Wilcoxon Signed-Rank Test menunjukkan adanya perbedaan yang signifikan secara statistik (p &amp;lt; 0.05) antar skenario pelabelan. Secara keseluruhan, pendekatan hybrid menghasilkan pola klasifikasi sentimen yang lebih seimbang, konsisten, dan stabil dibandingkan pendekatan pelabelan otomatis tunggal, sehingga berpotensi menjadi alternatif metodologis yang lebih adaptif dalam analisis sentimen berbasis media sosial pada kondisi keterbatasan data berlabel manual.
 
Abstract
The limited availability of manually labeled data remains a major challenge in social media–based sentiment analysis, particularly for large-scale data sources such as Twitter/X. This study proposes a hybrid automatic sentiment labeling approach that combines a lexicon-based method using the Indonesian Sentiment Lexicon (INSET) and a transformer-based method using IndoBERTweet to analyze public sentiment toward the Free Nutritious Meals Program (MBG). The evaluation was conducted using Naïve Bayes and Support Vector Machine (SVM) classification algorithms as probe classifiers to examine the influence of labeling strategies on classification outcome patterns. Twitter/X data were processed through preprocessing stages and feature representation using TF-IDF, and subsequently analyzed using three labeling scenarios: INSET, IndoBERTweet, and hybrid. The results show that INSET-based labeling produced a strong dominance of positive sentiment at 97.50%, whereas IndoBERTweet produced a distribution with a higher proportion of neutral sentiment at 47.13%. The hybrid approach generated a more moderate sentiment distribution consisting of 39.50% positive, 24.51% negative, and 39.99% neutral sentiments. Consistency analysis using Cohen’s Kappa indicated very low agreement between INSET and IndoBERTweet (κ = 0.0097), while higher agreement was observed between IndoBERTweet and the hybrid approach (κ = 0.7595). In addition, the Wilcoxon Signed-Rank Test revealed statistically significant differences (p &amp;lt; 0.05) among the labeling scenarios. Overall, the hybrid labeling approach produced a more balanced, consistent, and stable sentiment classification pattern compared to single automatic labeling methods, suggesting that it can serve as a more adaptive methodological alternative for social media sentiment analysis under conditions of limited manually labeled data.</dc:description>
	<dc:publisher xml:lang="en">Fakultas Ilmu Komputer, Universitas Brawijaya</dc:publisher>
	<dc:date>2026-11-02</dc:date>
	<dc:type>info:eu-repo/semantics/article</dc:type>
	<dc:type>info:eu-repo/semantics/publishedVersion</dc:type>
	<dc:format>application/pdf</dc:format>
	<dc:identifier>https://jtiik.ub.ac.id/index.php/jtiik/article/view/11213</dc:identifier>
	<dc:identifier>10.25126/jtiik.2026135</dc:identifier>
	<dc:source xml:lang="id">Jurnal Teknologi Informasi dan Ilmu Komputer; Vol 13 No 5: Oktober 2026; 1105-1116</dc:source>
	<dc:source xml:lang="en">Jurnal Teknologi Informasi dan Ilmu Komputer; Vol. 13 No. 5: Oktober 2026; 1105-1116</dc:source>
	<dc:source>2528-6579</dc:source>
	<dc:source>2355-7699</dc:source>
	<dc:source>10.25126/jtiik.2026135</dc:source>
	<dc:language>id</dc:language>
	<dc:relation>https://jtiik.ub.ac.id/index.php/jtiik/article/view/11213/1643</dc:relation>
	<dc:rights xml:lang="en">Copyright (c) 2026 Kiki Haerani, kusrini kusrini</dc:rights>
	<dc:rights xml:lang="en">https://creativecommons.org/licenses/by-sa/4.0</dc:rights>
</oai_dc:dc>