Akses terbuka Jurnal Tanpa peringkat SINTA
The Limits of ChatGPT’s Pragmatic Interpretation: An Experimental Study of Conversational Implicature in Indonesian Language Conversations
Rainbow: Journal of Literature, Linguistics and Culture Studies · Vol. 15 No. 3 (2026) · hlm. 299–312
- ISSN
- 2721-4540, 2252-6323
- Terbit
- 2026-10-10
- Penerbit
- Universitas Negeri Semarang
- Bahasa
- eng
Abstrak
This study evaluates ChatGPT’s interpretative accuracy and contextual sensitivity in understanding conversational implicatures in Indonesian. A computational experimental design employed 80 minimal stimulus pairs, yielding 160 responses across five communication themes and four pragmatic phenomena. Each pair contained identical utterances presented in different situational contexts. Data were collected using GPT-6 at a ‘High’ reasoning level via Temporary Chat (unpersonalised). Two pragmatics experts independently assessed the responses using a 0–2 ordinal rubric. The analysis comprised Interpretation Accuracy (IA), Pairwise Joint Accuracy (PJA), descriptive comparisons between conditions, and qualitative examination of pragmatic inferences. IA reached 98.13% for Rater 1 and 91.25% for Rater 2, while PJA reached 96.25% and 82.50%, respectively. Exact agreement was 93.13%, with a weighted Cohen’s kappa of 0.332, indicating limitations in scoring consistency. According to Rater 2, pairwise accuracy was highest for indirect criticism or evaluation (95.00%) and lowest for indirect refusal (65.00%). Accuracy was descriptively higher in Condition A (96.25%) than in Condition B (86.25%). Qualitative analysis identified instances of inferences exceeding contextual support and insufficient use of relevant contextual information. These findings highlight the importance of evaluating both interpretative accuracy and contextual justification, while acknowledging the sensitivity of performance estimates to rater judgments.
Kata kunci
Jaringan kolaborasi para penulis
40 penulis · 79 tautan kepenulisan bersama · 6 lintas organisasi · menampilkan 40 yang paling banyak terhubung
Arahkan kursor atau ketuk sebuah nama untuk menyorot rekan penulisnya. Klik dua kali untuk membuka halaman penulis.
- Universitas Halu Oleo
- Institut Agama Islam Negeri Kendari
- Universitas Airlangga
- STKIP Arrahmaniyah
- Afiliasi tidak diketahui
- Organisasi berbeda
- Organisasi sama
- Afiliasi tidak diketahui
- Garis lebih tebal = lebih banyak artikel bersama · lingkaran lebih besar = lebih banyak artikel
Tampilkan sebagai tabel
| Rekan penulis | Organisasi | Artikel bersama |
|---|---|---|
| Amri Tanduklangi | Universitas Halu Oleo | 2 |
| Hilaluddin Hanafi | Universitas Halu Oleo | 2 |
| Zalili Sailan | Universitas Halu Oleo | 2 |
| Sahlan Sahlan | Universitas Halu Oleo | 2 |
| Muhammad Yazid | Universitas Halu Oleo | 2 |
| Amirudin Rahim | Afiliasi tidak diketahui | 2 |
| La Ode Sahidin | Universitas Halu Oleo | 2 |
| La Ode Balawa | Universitas Halu Oleo | 2 |
| Muhammad Kurniawan Rachman | Institut Agama Islam Negeri Kendari | 1 |
| Hanna Hanna | Universitas Halu Oleo | 1 |
| Faridh Hidayat | Afiliasi tidak diketahui | 1 |
| Lisa Indrajaya | Afiliasi tidak diketahui | 1 |
| Mursalim Mursalim | Afiliasi tidak diketahui | 1 |
| Tambunan Tambunan | Afiliasi tidak diketahui | 1 |
| Fadlan Salim | Afiliasi tidak diketahui | 1 |
| Dahlia Surahmawati | Afiliasi tidak diketahui | 1 |
| Asrun Lio | Afiliasi tidak diketahui | 1 |
| Ayu Astriani | Afiliasi tidak diketahui | 1 |
| Darni Darni | Universitas Airlangga | 1 |
| Sahlan Sahlan | Afiliasi tidak diketahui | 1 |
| Ihsan Zulhiad | Universitas Halu Oleo | 1 |
| I Dewa Putu Triyasa | Afiliasi tidak diketahui | 1 |
| Nana Sumarna | Afiliasi tidak diketahui | 1 |
| Najib Husain | Universitas Halu Oleo | 1 |
| Ramli Akhmad | Afiliasi tidak diketahui | 1 |
| Nia Asriana Hasini | Universitas Halu Oleo | 1 |
| Susi Susi | STKIP Arrahmaniyah | 1 |
| Asran Laksana | Afiliasi tidak diketahui | 1 |
| Irianto Ibrahim | Afiliasi tidak diketahui | 1 |
| Nasruddin Nasruddin | Afiliasi tidak diketahui | 1 |
| Rahman Rahman | Afiliasi tidak diketahui | 1 |
| Sahlan Sahlan | Afiliasi tidak diketahui | 1 |
| La Muhammad Rahmat | Afiliasi tidak diketahui | 1 |
| Haerun Ana | Afiliasi tidak diketahui | 1 |
| Muhammad Kaldum | Afiliasi tidak diketahui | 1 |
| Yunra Nofian Nita | Afiliasi tidak diketahui | 1 |
Afiliasi berasal dari OpenAlex; metadata OAI-PMH jurnal tidak memuatnya. Penulis tanpa ID OpenAlex dicocokkan berdasarkan nama, sehingga dua orang bisa tergabung atau satu orang bisa terpisah.