Melola Discovery

← Melola Discovery

Open access Jurnal SINTA 2

Meningkatkan Dataset CodeXGLUE dengan Representasi Abstract Syntax Tree (AST) Ter Seragam untuk Analisis Kode Lintas Bahasa

Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK) · Vol. 12 No. 5 (2025) · pp. 1037–1046

DOI
10.25126/jtiik.2025125
ISSN
2528-6579, 2355-7699
Published
2025-11-03
Publisher
Fakultas Ilmu Komputer, Universitas Brawijaya
Language
id
License
creativecommons.org/licenses/by-sa/4.0

Abstract

Bahasa Indonesia

Dataset kode sumber populer seperti CodeXGLUE belum menyediakan representasi sintaksis yang diseragamkan untuk penelitian lintas bahasa pemrograman. Hal ini akan menyulitkan saat dilakukan penelitian yang berkaitan dengan analisis syntax-aware. Penelitian ini menyediakan representasi sintaksis yang diseragamkan untuk memperkaya dataset CodeXGLUE. Kami menghadirkan dataset CodeXGLUE-AST (Abstract Syntax Tree) seragam untuk enam bahasa pemrograman: Go, Java, JavaScript, Python, Ruby, dan PHP. AST diekstraksi menggunakan Tree-sitter dan disimpan dalam format JSON terstruktur. Untuk menjaga konsistensi antar bahasa, kemudian dilakukan klasifikasi dan pemetaan tipe node guna menyatukan representasi struktur AST. Evaluasi dataset menggunakan analisis kelengkapan struktur AST, pengukuran akurasi rekonstruksi kode menggunakan skor BLEU, serta pengujian ekstraksi Data Flow Graph (DFG) untuk menjaga ketergantungan antar variabel. Selain itu juga dilakukan pengujian pada tugas peringkasan kode menggunakan model CodeT5 yang menunjukkan peningkatan nilai BLEU, METEOR, ROUGE dan ROUGE-L hampir disemua percobaan saat menggunakan AST yang diseragamkan. Dengan representasi AST yang telah diseragamkan, diharapkan pengembangan model ML multi bahasa yang lebih andal dan sadar sintaksis untuk tugas-tugas seperti klasifikasi kode, pembuatan ringkasan kode, dan rekonstruksi program akan menjadi lebih berkembang. Abstract Popular source code datasets like CodeXGLUE have not yet provided a standardized syntactic representation for cross-programming language research. This data gap will complicate research related to syntax-aware analysis. This research provides a standardized syntactic representation to enrich the CodeXGLUE dataset. We present a uniform CodeXGLUE-AST (Abstract Syntax Tree) dataset for six programming languages: Go, Java, JavaScript, Python, Ruby, and PHP. The AST is extracted using Tree-sitter and stored in a structured JSON format. To maintain consistency across languages, classification and mapping of node types were then performed to unify the AST structure representation. The dataset evaluation used AST structure completeness analysis, code reconstruction accuracy measurement using BLEU scores, and Data Flow Graph (DFG) extraction testing to maintain variable dependencies. Additionally, testing was conducted on the code summarization task using the CodeT5 model, which showed an increase in BLEU, METEOR, ROUGE, and ROUGE-L scores in almost all experiments when using the standardized AST. With the standardized AST representation, it is hoped that the development of more reliable and syntax-aware multilingual ML models for tasks such as code classification, code summarization, and program reconstruction will become more advanced.

English

Dataset kode sumber populer seperti CodeXGLUE belum menyediakan representasi sintaksis yang diseragamkan untuk penelitian lintas bahasa pemrograman. Hal ini akan menyulitkan saat dilakukan penelitian yang berkaitan dengan analisis syntax-aware. Penelitian ini menyediakan representasi sintaksis yang diseragamkan untuk memperkaya dataset CodeXGLUE. Kami menghadirkan dataset CodeXGLUE-AST (Abstract Syntax Tree) seragam untuk enam bahasa pemrograman: Go, Java, JavaScript, Python, Ruby, dan PHP. AST diekstraksi menggunakan Tree-sitter dan disimpan dalam format JSON terstruktur. Untuk menjaga konsistensi antar bahasa, kemudian dilakukan klasifikasi dan pemetaan tipe node guna menyatukan representasi struktur AST. Evaluasi dataset menggunakan analisis kelengkapan struktur AST, pengukuran akurasi rekonstruksi kode menggunakan skor BLEU, serta pengujian ekstraksi Data Flow Graph (DFG) untuk menjaga ketergantungan antar variabel. Selain itu juga dilakukan pengujian pada tugas peringkasan kode menggunakan model CodeT5 yang menunjukkan peningkatan nilai BLEU, METEOR, ROUGE dan ROUGE-L hampir disemua percobaan saat menggunakan AST yang diseragamkan. Dengan representasi AST yang telah diseragamkan, diharapkan pengembangan model ML multi bahasa yang lebih andal dan sadar sintaksis untuk tugas-tugas seperti klasifikasi kode, pembuatan ringkasan kode, dan rekonstruksi program akan menjadi lebih berkembang. Abstract Popular source code datasets like CodeXGLUE have not yet provided a standardized syntactic representation for cross-programming language research. This data gap will complicate research related to syntax-aware analysis. This research provides a standardized syntactic representation to enrich the CodeXGLUE dataset. We present a uniform CodeXGLUE-AST (Abstract Syntax Tree) dataset for six programming languages: Go, Java, JavaScript, Python, Ruby, and PHP. The AST is extracted using Tree-sitter and stored in a structured JSON format. To maintain consistency across languages, classification and mapping of node types were then performed to unify the AST structure representation. The dataset evaluation used AST structure completeness analysis, code reconstruction accuracy measurement using BLEU scores, and Data Flow Graph (DFG) extraction testing to maintain variable dependencies. Additionally, testing was conducted on the code summarization task using the CodeT5 model, which showed an increase in BLEU, METEOR, ROUGE, and ROUGE-L scores in almost all experiments when using the standardized AST. With the standardized AST representation, it is hoped that the development of more reliable and syntax-aware multilingual ML models for tasks such as code classification, code summarization, and program reconstruction will become more advanced.

Keywords

Collaboration network of the authors

40 authors · 78 co-authorship links · 12 across different organisations · showing the 40 most connected

Hover or tap a name to highlight its co-authors. Double-click to open the author's page.

  • Universitas Amikom Yogyakarta
  • Universitas Gadjah Mada
  • Universidad de Murcia
  • Universitas AKPRIND Indonesia
  • Hellenic Open University
  • Affiliation unknown
  • Different organisations
  • Same organisation
  • Affiliation unknown
  • Thicker line = more joint articles · bigger circle = more articles
Show as table
Co-authorOrganisationJoint articles
Ahmad Fikri IskandarUniversitas Amikom Yogyakarta3
Wahyu HidayatUniversitas Amikom Yogyakarta3
Anggit Dwi HartantoUniversitas Amikom Yogyakarta3
Rodrigo Martínez‐BéjarUniversidad de Murcia3
I Made Artha AgastyaUniversitas Amikom Yogyakarta3
Andi SunyotoUniversitas Amikom Yogyakarta2
Catur Riyono Heri WibowoUniversitas Amikom Yogyakarta1
HanafiAffiliation unknown1
Agung Budi PrasetioUniversitas Amikom Yogyakarta1
Mursyid ArdiansyahUniversitas Amikom Yogyakarta1
Suwanto RaharjoUniversitas AKPRIND Indonesia1
Agung Budi PrasetyoUniversitas Amikom Yogyakarta1
Risna SariUniversitas Amikom Yogyakarta1
Tonny HidayatUniversitas Amikom Yogyakarta1
Theofanis G. OrphanoudakisHellenic Open University1
Ariel Yonatan AlinUniversitas Amikom Yogyakarta1
Kumara Ari YuanaUniversitas Amikom Yogyakarta1
Retzi Yosia LewuAffiliation unknown1
Ainul YaqinUniversitas Amikom Yogyakarta1
Kartikasari Kusuma AgustiningsihUniversitas Amikom Yogyakarta1
Muhammad Altoumi AlsyaibaniUniversitas Amikom Yogyakarta1
Agus HarjokoUniversitas Gadjah Mada1
Retantyo WardoyoUniversitas Gadjah Mada1
Sri T. HartatiUniversitas Gadjah Mada1
Ade PujiantoUniversitas Amikom Yogyakarta1
Ria AndrianiUniversitas Amikom Yogyakarta1
Asro NasiriUniversitas Amikom Yogyakarta1
Veny Cahya HarditaUniversitas Amikom Yogyakarta1
Emha Taufiq LuthfiUniversitas Amikom Yogyakarta1
Wahyu Krisna HidayatUniversitas Amikom Yogyakarta1
Agung Prasetio BudiUniversitas Amikom Yogyakarta1
Mei KurniawanAffiliation unknown1
M. SuyantoAffiliation unknown1
KusriniAffiliation unknown1
Aiman MukhlishahAffiliation unknown1
Muhammad Resa Arif YudiantoUniversitas Amikom Yogyakarta1

Affiliations come from OpenAlex; journal OAI-PMH metadata carries none. Authors without an OpenAlex ID are matched by name, which can merge or split people.

Metadata source: OAI-PMH (metadata jurnal) https://jtiik.ub.ac.id/index.php/jtiik/en/oai, first harvested 27 Okt 2026, last seen 27 Okt 2026.
Original metadata (oai_dc) 
<oai_dc:dc xmlns="http://www.openarchives.org/OAI/2.0/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:oai_dc="http://www.openarchives.org/OAI/2.0/oai_dc/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.openarchives.org/OAI/2.0/oai_dc/  http://www.openarchives.org/OAI/2.0/oai_dc.xsd">
	<dc:title xml:lang="id">Meningkatkan Dataset CodeXGLUE dengan Representasi Abstract Syntax Tree (AST) Ter Seragam untuk Analisis Kode Lintas Bahasa</dc:title>
	<dc:title xml:lang="en">Meningkatkan Dataset CodeXGLUE dengan Representasi Abstract Syntax Tree (AST) Ter Seragam untuk Analisis Kode Lintas Bahasa</dc:title>
	<dc:creator xml:lang="en">Siswo Utomo, Mardi</dc:creator>
	<dc:creator xml:lang="en">Utami, Ema</dc:creator>
	<dc:creator xml:lang="en">Kusrini, Kusrini</dc:creator>
	<dc:creator xml:lang="en">Setyanto, Arief</dc:creator>
	<dc:creator xml:lang="id">Siswo Utomo, Mardi</dc:creator>
	<dc:creator xml:lang="id">Utami, Ema</dc:creator>
	<dc:creator xml:lang="id">Kusrini, Kusrini</dc:creator>
	<dc:creator xml:lang="id">Setyanto, Arief</dc:creator>
	<dc:subject xml:lang="id">abstract syntax tree</dc:subject>
	<dc:subject xml:lang="id">rekonstruksi kode</dc:subject>
	<dc:subject xml:lang="id"> Pembelajaran Mesin</dc:subject>
	<dc:subject xml:lang="id">generasi kode</dc:subject>
	<dc:subject xml:lang="id">analisis sintaksis</dc:subject>
	<dc:subject xml:lang="en">abstract syntax tree</dc:subject>
	<dc:subject xml:lang="en">peringkasan kode</dc:subject>
	<dc:subject xml:lang="en">pembelajaran mesin</dc:subject>
	<dc:subject xml:lang="en">analisis sintaksis</dc:subject>
	<dc:subject xml:lang="en">generasi kode</dc:subject>
	<dc:description xml:lang="id">Dataset kode sumber populer seperti CodeXGLUE belum menyediakan representasi sintaksis yang diseragamkan untuk penelitian lintas bahasa pemrograman. Hal ini akan menyulitkan saat dilakukan penelitian yang berkaitan dengan analisis syntax-aware. Penelitian ini menyediakan representasi sintaksis yang diseragamkan untuk memperkaya dataset CodeXGLUE.  Kami menghadirkan dataset CodeXGLUE-AST (Abstract Syntax Tree) seragam untuk enam bahasa pemrograman: Go, Java, JavaScript, Python, Ruby, dan PHP. AST diekstraksi menggunakan Tree-sitter dan disimpan dalam format JSON terstruktur. Untuk menjaga konsistensi antar bahasa, kemudian dilakukan klasifikasi dan pemetaan tipe node guna menyatukan representasi struktur AST. Evaluasi dataset menggunakan analisis kelengkapan struktur AST, pengukuran akurasi rekonstruksi kode menggunakan skor BLEU, serta pengujian ekstraksi Data Flow Graph (DFG) untuk menjaga ketergantungan antar variabel. Selain itu juga dilakukan pengujian pada tugas peringkasan kode menggunakan model CodeT5 yang menunjukkan peningkatan nilai BLEU, METEOR, ROUGE dan ROUGE-L hampir disemua percobaan saat menggunakan AST yang diseragamkan. Dengan representasi AST yang telah diseragamkan, diharapkan pengembangan model ML multi bahasa yang lebih andal dan sadar sintaksis untuk tugas-tugas seperti klasifikasi kode, pembuatan ringkasan kode, dan rekonstruksi program akan menjadi lebih berkembang.
 
Abstract
Popular source code datasets like CodeXGLUE have not yet provided a standardized syntactic representation for cross-programming language research. This data gap will complicate research related to syntax-aware analysis. This research provides a standardized syntactic representation to enrich the CodeXGLUE dataset. We present a uniform CodeXGLUE-AST (Abstract Syntax Tree) dataset for six programming languages: Go, Java, JavaScript, Python, Ruby, and PHP. The AST is extracted using Tree-sitter and stored in a structured JSON format. To maintain consistency across languages, classification and mapping of node types were then performed to unify the AST structure representation. The dataset evaluation used AST structure completeness analysis, code reconstruction accuracy measurement using BLEU scores, and Data Flow Graph (DFG) extraction testing to maintain variable dependencies. Additionally, testing was conducted on the code summarization task using the CodeT5 model, which showed an increase in BLEU, METEOR, ROUGE, and ROUGE-L scores in almost all experiments when using the standardized AST. With the standardized AST representation, it is hoped that the development of more reliable and syntax-aware multilingual ML models for tasks such as code classification, code summarization, and program reconstruction will become more advanced.</dc:description>
	<dc:description xml:lang="en">Dataset kode sumber populer seperti CodeXGLUE belum menyediakan representasi sintaksis yang diseragamkan untuk penelitian lintas bahasa pemrograman. Hal ini akan menyulitkan saat dilakukan penelitian yang berkaitan dengan analisis syntax-aware. Penelitian ini menyediakan representasi sintaksis yang diseragamkan untuk memperkaya dataset CodeXGLUE.  Kami menghadirkan dataset CodeXGLUE-AST (Abstract Syntax Tree) seragam untuk enam bahasa pemrograman: Go, Java, JavaScript, Python, Ruby, dan PHP. AST diekstraksi menggunakan Tree-sitter dan disimpan dalam format JSON terstruktur. Untuk menjaga konsistensi antar bahasa, kemudian dilakukan klasifikasi dan pemetaan tipe node guna menyatukan representasi struktur AST. Evaluasi dataset menggunakan analisis kelengkapan struktur AST, pengukuran akurasi rekonstruksi kode menggunakan skor BLEU, serta pengujian ekstraksi Data Flow Graph (DFG) untuk menjaga ketergantungan antar variabel. Selain itu juga dilakukan pengujian pada tugas peringkasan kode menggunakan model CodeT5 yang menunjukkan peningkatan nilai BLEU, METEOR, ROUGE dan ROUGE-L hampir disemua percobaan saat menggunakan AST yang diseragamkan. Dengan representasi AST yang telah diseragamkan, diharapkan pengembangan model ML multi bahasa yang lebih andal dan sadar sintaksis untuk tugas-tugas seperti klasifikasi kode, pembuatan ringkasan kode, dan rekonstruksi program akan menjadi lebih berkembang.
 
Abstract
Popular source code datasets like CodeXGLUE have not yet provided a standardized syntactic representation for cross-programming language research. This data gap will complicate research related to syntax-aware analysis. This research provides a standardized syntactic representation to enrich the CodeXGLUE dataset. We present a uniform CodeXGLUE-AST (Abstract Syntax Tree) dataset for six programming languages: Go, Java, JavaScript, Python, Ruby, and PHP. The AST is extracted using Tree-sitter and stored in a structured JSON format. To maintain consistency across languages, classification and mapping of node types were then performed to unify the AST structure representation. The dataset evaluation used AST structure completeness analysis, code reconstruction accuracy measurement using BLEU scores, and Data Flow Graph (DFG) extraction testing to maintain variable dependencies. Additionally, testing was conducted on the code summarization task using the CodeT5 model, which showed an increase in BLEU, METEOR, ROUGE, and ROUGE-L scores in almost all experiments when using the standardized AST. With the standardized AST representation, it is hoped that the development of more reliable and syntax-aware multilingual ML models for tasks such as code classification, code summarization, and program reconstruction will become more advanced.</dc:description>
	<dc:publisher xml:lang="en">Fakultas Ilmu Komputer, Universitas Brawijaya</dc:publisher>
	<dc:date>2025-11-03</dc:date>
	<dc:type>info:eu-repo/semantics/article</dc:type>
	<dc:type>info:eu-repo/semantics/publishedVersion</dc:type>
	<dc:format>application/pdf</dc:format>
	<dc:identifier>https://jtiik.ub.ac.id/index.php/jtiik/article/view/9993</dc:identifier>
	<dc:identifier>10.25126/jtiik.2025125</dc:identifier>
	<dc:source xml:lang="id">Jurnal Teknologi Informasi dan Ilmu Komputer; Vol 12 No 5: Oktober 2025; 1037-1046</dc:source>
	<dc:source xml:lang="en">Jurnal Teknologi Informasi dan Ilmu Komputer; Vol. 12 No. 5: Oktober 2025; 1037-1046</dc:source>
	<dc:source>2528-6579</dc:source>
	<dc:source>2355-7699</dc:source>
	<dc:source>10.25126/jtiik.2025125</dc:source>
	<dc:language>id</dc:language>
	<dc:relation>https://jtiik.ub.ac.id/index.php/jtiik/article/view/9993/1506</dc:relation>
	<dc:rights xml:lang="en">Copyright (c) 2025 Mardi Siswo Utomo, Ema Utami, Kusrini Kusrini, Arief Setyanto</dc:rights>
	<dc:rights xml:lang="en">https://creativecommons.org/licenses/by-sa/4.0</dc:rights>
</oai_dc:dc>