Melola Discovery

← Melola Discovery

Open access Jurnal SINTA 2

Preliminary Evaluation of an LLM-Based Annotation Framework for Medical NER in Bahasa Indonesia

IJCCS (Indonesian Journal of Computing and Cybernetics Systems) · Vol. 20 No. 2 (2026) · pp. 141–152

DOI
10.22146/ijccs.112690
ISSN
2460-7258, 1978-1520
Published
2026-04-30
Publisher
IndoCEISS in colaboration with Universitas Gadjah Mada, Indonesia.
Language
eng
License
creativecommons.org/licenses/by-sa/4.0

Abstract

Keterbatasan data beranotasi berkualitas menghambat pengembangan model Named Entity Recognition (NER) medis untuk Bahasa Indonesia. Penelitian ini menyajikan desain evaluasi untuk framework anotasi semi-otomatis berbasis Large Language Models (LLMs) untuk terminologi medis Indonesia. Framework mengintegrasikan pre-anotasi LLM dengan validasi manusia melalui web interface. Tujuan utama penelitian ini adalah mengevaluasi konsistensi dari LLM pada 21 posting forum Alodokter terkait NER dengan lima kategori entitas: penyakit, gejala, anatomi, obat, dan prosedur, menggunakan ensembel tiga varian model Gemini (Gemini-2.5-Flash, Gemini-2.0-Flash, dan Gemini-2.5-Flash-Lite). Evaluasi menggunakan Inter-Annotator Agreement (IAA) Cohen’s Kappa dan F1 score. Hasil menunjukkan konsistensi internal model yang tinggi, dengan Gemini-2.5-Flash-Lite mencapai konsistensi internal tertinggi (strict F1 = 0.970, kappa = 0.977). Kesepakatan antar-model signifikan tetapi lebih rendah (rata-rata F1 ketat = 0.716, kappa = 0.756), dengan deteksi batas sebagai sumber utama ketidaksepakatan. Analisis posting dengan kesepakatan terendah mengidentifikasi tiga faktor: ambiguitas identifikasi entitas pada posting berbentuk pertanyaan, ambiguitas klasifikasi jenis entitas, dan strategi segmentasi batas untuk bahasa medis Indonesia informal.

Keywords

Collaboration network of the authors

8 authors · 16 co-authorship links · 4 across different organisations

Hover or tap a name to highlight its co-authors. Double-click to open the author's page.

  • Universitas Gadjah Mada
  • Udayana University
  • Different organisations
  • Same organisation
  • Affiliation unknown
  • Thicker line = more joint articles · bigger circle = more articles
Show as table
Co-authorOrganisationJoint articles
Guntur Budi HerwantoUniversitas Gadjah Mada1
I Gede MujiyatnaUniversitas Gadjah Mada1
Kurniawan Eka NugrahaUniversitas Gadjah Mada1
I Nyoman Prayana TrisnaUdayana University1

Affiliations come from OpenAlex; journal OAI-PMH metadata carries none. Authors without an OpenAlex ID are matched by name, which can merge or split people.

Metadata source: OAI-PMH (metadata jurnal) https://journal.ugm.ac.id/ijccs/oai, first harvested 26 Okt 2026, last seen 26 Okt 2026.
Original metadata (oai_dc) 
<oai_dc:dc xmlns="http://www.openarchives.org/OAI/2.0/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:oai_dc="http://www.openarchives.org/OAI/2.0/oai_dc/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.openarchives.org/OAI/2.0/oai_dc/  http://www.openarchives.org/OAI/2.0/oai_dc.xsd">
	<dc:title xml:lang="en-US">Preliminary Evaluation of an LLM-Based Annotation Framework for Medical NER in Bahasa Indonesia</dc:title>
	<dc:creator>Ningtyas, Annisa Maulida</dc:creator>
	<dc:creator>Salim, Marko Ferdian</dc:creator>
	<dc:creator>Syairaji, M</dc:creator>
	<dc:creator>Santoso, Dian Budi</dc:creator>
	<dc:subject xml:lang="en-US"></dc:subject>
	<dc:subject xml:lang="en-US">entity linking; named entity recognition; annotation; LLMs</dc:subject>
	<dc:description xml:lang="en-US">Keterbatasan data beranotasi berkualitas menghambat pengembangan model Named Entity Recognition (NER) medis untuk Bahasa Indonesia. Penelitian ini menyajikan desain evaluasi untuk framework anotasi semi-otomatis berbasis Large Language Models (LLMs) untuk terminologi medis Indonesia. Framework mengintegrasikan pre-anotasi LLM dengan validasi manusia melalui web interface. Tujuan utama penelitian ini adalah mengevaluasi konsistensi dari LLM pada 21 posting forum Alodokter terkait NER dengan lima kategori entitas: penyakit, gejala, anatomi, obat, dan prosedur, menggunakan ensembel tiga varian model Gemini (Gemini-2.5-Flash, Gemini-2.0-Flash, dan Gemini-2.5-Flash-Lite). Evaluasi menggunakan Inter-Annotator Agreement (IAA) Cohen’s Kappa dan F1 score.  Hasil menunjukkan konsistensi internal model yang tinggi, dengan Gemini-2.5-Flash-Lite mencapai konsistensi internal tertinggi (strict F1 = 0.970, kappa = 0.977). Kesepakatan antar-model signifikan tetapi lebih rendah (rata-rata F1 ketat = 0.716, kappa = 0.756), dengan deteksi batas sebagai sumber utama ketidaksepakatan. Analisis posting dengan kesepakatan terendah mengidentifikasi tiga faktor: ambiguitas identifikasi entitas pada posting berbentuk pertanyaan, ambiguitas klasifikasi jenis entitas, dan strategi segmentasi batas untuk bahasa medis Indonesia informal.</dc:description>
	<dc:publisher xml:lang="en-US">IndoCEISS in colaboration with Universitas Gadjah Mada, Indonesia.</dc:publisher>
	<dc:contributor xml:lang="en-US"></dc:contributor>
	<dc:date>2026-04-30</dc:date>
	<dc:type>info:eu-repo/semantics/article</dc:type>
	<dc:type>info:eu-repo/semantics/publishedVersion</dc:type>
	<dc:type xml:lang="en-US"></dc:type>
	<dc:format>application/pdf</dc:format>
	<dc:identifier>https://journal.ugm.ac.id/ijccs/article/view/112690</dc:identifier>
	<dc:identifier>10.22146/ijccs.112690</dc:identifier>
	<dc:source xml:lang="en-US">IJCCS (Indonesian Journal of Computing and Cybernetics Systems); Vol 20, No 2 (2026): April; 141-152</dc:source>
	<dc:source>2460-7258</dc:source>
	<dc:source>1978-1520</dc:source>
	<dc:language>eng</dc:language>
	<dc:relation>https://journal.ugm.ac.id/ijccs/article/view/112690/43989</dc:relation>
	<dc:rights xml:lang="en-US">Copyright (c) 2026 IJCCS (Indonesian Journal of Computing and Cybernetics Systems)</dc:rights>
	<dc:rights xml:lang="en-US">http://creativecommons.org/licenses/by-sa/4.0</dc:rights>
</oai_dc:dc>