Evaluasi Usability Sistem Informasi Manajemen Kepegawaian Kalimantan Selatan Berdasarkan ISO 9241-11

Abstract

Bahasa Indonesia

Penelitian ini menyajikan evaluasi usability secara komprehensif terhadap Sistem Informasi Manajemen Kepegawaian (SIMPEG) Provinsi Kalimantan Selatan berdasarkan kerangka ISO 9241-11. Evaluasi dilakukan dengan mengintegrasikan Performance Measurement, System Usability Scale (SUS), dan Retrospective Think-Aloud (RTA) untuk menilai efektivitas, efisiensi, dan kepuasan pengguna. Sebanyak 25 partisipan menyelesaikan tujuh skenario tugas yang merepresentasikan fungsi utama sistem. Hasil pengujian menunjukkan tingkat Task Completion Rate sebesar 96% dan Overall Relative Efficiency sebesar 91%, yang mengindikasikan efektivitas dan efisiensi sistem yang tinggi. Skor rata-rata SUS sebesar 79,7 menempatkan sistem pada kategori “baik” dengan tingkat akseptabilitas “dapat diterima”. Analisis inferensial menggunakan uji korelasi Spearman menun-jukkan tidak terdapat hubungan signifikan antara efisiensi objektif dan kepuasan subjektif (r = 0,129; p = 0,538), yang mengindikasikan bahwa dimensi usability dapat bersifat independen dalam konteks sistem pemerintahan. Uji Friedman menunjukkan adanya perbedaan signifikan waktu penyelesaian antar skenario tugas (χ²(6) = 141,071; p < 0,001), yang mengidentifikasi adanya bottleneck usability pada modul tertentu. Temuan kualitatif dari RTA memperkuat hasil kuantitatif dengan mengungkap kendala pada aspek kemudahan belajar, konsistensi navigasi, dan integrasi fitur. Penelitian ini memberikan kontribusi melalui integrasi analisis deskriptif dan inferensial dalam evaluasi usability sistem pemerintahan sebagai baseline pengembangan sistem selanjutnya. Abstract This study presents a comprehensive usability evaluation of the Civil Service Management Information System (SIMPEG) of South Kalimantan Province, based on the ISO 9241-11 framework. The evaluation integrates Performance Measurement, the System Usability Scale (SUS), and the Retrospective Think-Aloud (RTA) protocol to assess the system's effectiveness, efficiency, and user satisfaction. A total of 25 participants completed seven task scenarios representing the system’s core functions. The testing results showed a Task Completion Rate of 96% and an Overall Relative Efficiency of 91%, indicating high levels of effectiveness and efficiency. The average SUS score of 79.7 places the system in the “Good” category with an “Acceptable” level of usability. Inferential analysis using Spearman’s correlation test revealed no significant relationship between objective efficiency and subjective satisfaction (r = 0.129; p = 0.538), suggesting that usability dimensions may be independent in the context of government systems. The Friedman test indicated a significant difference in task completion times across scenarios (χ²(6) = 141.071; p < 0.001), identifying specific modules as usability bottlenecks. Qualitative findings from the RTA supported the quantitative results by uncovering challenges related to learnability, navigation consistency, and feature integration. This study contributes by integrating descriptive and inferential analysis in the usability evaluation of government systems, serving as a baseline for future system development.

English

Penelitian ini menyajikan evaluasi usability secara komprehensif terhadap Sistem Informasi Manajemen Kepegawaian (SIMPEG) Provinsi Kalimantan Selatan berdasarkan kerangka ISO 9241-11. Evaluasi dilakukan dengan mengintegrasikan Performance Measurement, System Usability Scale (SUS), dan Retrospective Think-Aloud (RTA) untuk menilai efektivitas, efisiensi, dan kepuasan pengguna. Sebanyak 25 partisipan menyelesaikan tujuh skenario tugas yang merepresentasikan fungsi utama sistem. Hasil pengujian menunjukkan tingkat Task Completion Rate sebesar 96% dan Overall Relative Efficiency sebesar 91%, yang mengindikasikan efektivitas dan efisiensi sistem yang tinggi. Skor rata-rata SUS sebesar 79,7 menempatkan sistem pada kategori “baik” dengan tingkat akseptabilitas “dapat diterima”. Analisis inferensial menggunakan uji korelasi Spearman menun-jukkan tidak terdapat hubungan signifikan antara efisiensi objektif dan kepuasan subjektif (r = 0,129; p = 0,538), yang mengindikasikan bahwa dimensi usability dapat bersifat independen dalam konteks sistem pemerintahan. Uji Friedman menunjukkan adanya perbedaan signifikan waktu penyelesaian antar skenario tugas (χ²(6) = 141,071; p < 0,001), yang mengidentifikasi adanya bottleneck usability pada modul tertentu. Temuan kualitatif dari RTA memperkuat hasil kuantitatif dengan mengungkap kendala pada aspek kemudahan belajar, konsistensi navigasi, dan integrasi fitur. Penelitian ini memberikan kontribusi melalui integrasi analisis deskriptif dan inferensial dalam evaluasi usability sistem pemerintahan sebagai baseline pengembangan sistem selanjutnya. Abstract This study presents a comprehensive usability evaluation of the Civil Service Management Information System (SIMPEG) of South Kalimantan Province, based on the ISO 9241-11 framework. The evaluation integrates Performance Measurement, the System Usability Scale (SUS), and the Retrospective Think-Aloud (RTA) protocol to assess the system's effectiveness, efficiency, and user satisfaction. A total of 25 participants completed seven task scenarios representing the system’s core functions. The testing results showed a Task Completion Rate of 96% and an Overall Relative Efficiency of 91%, indicating high levels of effectiveness and efficiency. The average SUS score of 79.7 places the system in the “Good” category with an “Acceptable” level of usability. Inferential analysis using Spearman’s correlation test revealed no significant relationship between objective efficiency and subjective satisfaction (r = 0.129; p = 0.538), suggesting that usability dimensions may be independent in the context of government systems. The Friedman test indicated a significant difference in task completion times across scenarios (χ²(6) = 141.071; p < 0.001), identifying specific modules as usability bottlenecks. Qualitative findings from the RTA supported the quantitative results by uncovering challenges related to learnability, navigation consistency, and feature integration. This study contributes by integrating descriptive and inferential analysis in the usability evaluation of government systems, serving as a baseline for future system development.

Keywords

• Usability Testing
• ISO 9241-11
• Performance Measurement
• System Usability Scale
• Retrospective Think-Aloud (RTA)
• SIMPEG
• E-Government System