Melola Discovery

← Melola Discovery

Akses terbuka Jurnal SINTA 2

Deteksi Bahasa Isyarat SIBI Secara Real Time Menggunakan Mediapipe Holistic dan LSTM

Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK) · Vol. 13 No. 1 (2026) · hlm. 47–56

DOI
10.25126/jtiik.2026131
ISSN
2528-6579, 2355-7699
Terbit
2026-02-26
Penerbit
Fakultas Ilmu Komputer, Universitas Brawijaya
Bahasa
id
Lisensi
creativecommons.org/licenses/by-sa/4.0

Abstrak

Bahasa Indonesia

Bahasa isyarat merupakan sistem komunikasi non-verbal yang memanfaatkan gerakan tangan, ekspresi wajah, dan pose tubuh untuk menyampaikan informasi secara visual. Meskipun umum digunakan oleh penyandang tunarungu dan tunawicara, bahasa isyarat masih belum dipahami secara luas oleh masyarakat umum, sehingga menimbulkan hambatan komunikasi dalam kehidupan sehari-hari. Untuk mendukung interaksi yang inklusif, SIBI (Sistem Isyarat Bahasa Indonesia) telah distandarisasi secara nasional sebagai bentuk bahasa isyarat formal di Indonesia. Seiring dengan kemajuan teknologi kecerdasan buatan, sistem penerjemahan bahasa isyarat berbasis penglihatan komputer (computer vision) menjadi solusi potensial untuk menjembatani kesenjangan komunikasi tersebut. Penelitian ini bertujuan mengembangkan sistem pengenalan SIBI secara real-time menggunakan MediaPipe Holistic untuk mendeteksi titik kunci (keypoints) pada tangan, wajah, dan pose secara simultan, yang kemudian dikonversi menjadi suara melalui teknologi text-to-speech. Tahapan pra-pemrosesan mencakup pembersihan data (data cleaning), pemotongan gambar (cropping), penghapusan latar belakang (background removal), dan konversi ke citra skala keabuan (convert to grayscale). Dataset yang digunakan terdiri dari 4.500 urutan gambar untuk 10 kata SIBI. Model Bi-directional LSTM digunakan untuk mengklasifikasikan pola spasial-temporal dari gestur. Hasil evaluasi menunjukkan akurasi klasifikasi sebesar 97,78% pada epoch ke-200, dengan precision, recall, dan F1-score masing-masing mencapai 98%. Pengujian pada lima variasi jarak menunjukkan bahwa deteksi optimal terjadi pada rentang 0,29 hingga 0,37 meter. Sistem ini berpotensi menjadi alat bantu komunikasi efektif bagi penyandang tunarungu dan tunawicara, serta dapat dikembangkan lebih lanjut sebagai fondasi aplikasi interaktif berbasis bahasa isyarat di masa depan. Abstract Sign language is a non-verbal communication system that utilizes hand gestures, facial expressions, and body pose to visually convey information. Although commonly used by Deaf and speech-impaired individuals, it remains poorly understood by the general public, resulting in communication barriers in daily life. To support inclusive interaction, SIBI (Sistem Isyarat Bahasa Indonesia) has been nationally standardized as the formal sign language in Indonesia. With the advancement of artificial intelligence, computer vision-based sign language translation systems have emerged as a promising solution to bridge this communication gap. This study aims to develop a real-time SIBI recognition system using MediaPipe Holistic to simultaneously detect key-points of the hands, face, and pose, followed by speech output generation via text-to-speech technology. The pre-processing pipeline includes data cleaning, cropping, background removal, and grayscale conversion. The dataset consists of 4,500 image sequences representing 10 commonly used SIBI words. A Bi-directional LSTM model is employed to classify spatial–temporal patterns extracted from the gesture sequences. Evaluation results show a classification accuracy of 97.78% at the 200th epoch, with precision, recall, and F1-score all reaching 98%. Performance testing across five distance variations revealed that optimal recognition occurs within the 0.29 to 0.37-meter range. These findings demonstrate that the proposed system is a highly effective assistive communication tool for the Deaf and speech-impaired. Furthermore, the system has the potential to be expanded into mobile applications for real-world interaction and can serve as a foundation for future development in recognizing more complex sign language expressions.

Inggris

Bahasa isyarat merupakan sistem komunikasi non-verbal yang memanfaatkan gerakan tangan, ekspresi wajah, dan pose tubuh untuk menyampaikan informasi secara visual. Meskipun umum digunakan oleh penyandang tunarungu dan tunawicara, bahasa isyarat masih belum dipahami secara luas oleh masyarakat umum, sehingga menimbulkan hambatan komunikasi dalam kehidupan sehari-hari. Untuk mendukung interaksi yang inklusif, SIBI (Sistem Isyarat Bahasa Indonesia) telah distandarisasi secara nasional sebagai bentuk bahasa isyarat formal di Indonesia. Seiring dengan kemajuan teknologi kecerdasan buatan, sistem penerjemahan bahasa isyarat berbasis penglihatan komputer (computer vision) menjadi solusi potensial untuk menjembatani kesenjangan komunikasi tersebut. Penelitian ini bertujuan mengembangkan sistem pengenalan SIBI secara real-time menggunakan MediaPipe Holistic untuk mendeteksi titik kunci (keypoints) pada tangan, wajah, dan pose secara simultan, yang kemudian dikonversi menjadi suara melalui teknologi text-to-speech. Tahapan pra-pemrosesan mencakup pembersihan data (data cleaning), pemotongan gambar (cropping), penghapusan latar belakang (background removal), dan konversi ke citra skala keabuan (convert to grayscale). Dataset yang digunakan terdiri dari 4.500 urutan gambar untuk 10 kata SIBI. Model Bi-directional LSTM digunakan untuk mengklasifikasikan pola spasial-temporal dari gestur. Hasil evaluasi menunjukkan akurasi klasifikasi sebesar 97,78% pada epoch ke-200, dengan precision, recall, dan F1-score masing-masing mencapai 98%. Pengujian pada lima variasi jarak menunjukkan bahwa deteksi optimal terjadi pada rentang 0,29 hingga 0,37 meter. Sistem ini berpotensi menjadi alat bantu komunikasi efektif bagi penyandang tunarungu dan tunawicara, serta dapat dikembangkan lebih lanjut sebagai fondasi aplikasi interaktif berbasis bahasa isyarat di masa depan. Abstract Sign language is a non-verbal communication system that utilizes hand gestures, facial expressions, and body pose to visually convey information. Although commonly used by Deaf and speech-impaired individuals, it remains poorly understood by the general public, resulting in communication barriers in daily life. To support inclusive interaction, SIBI (Sistem Isyarat Bahasa Indonesia) has been nationally standardized as the formal sign language in Indonesia. With the advancement of artificial intelligence, computer vision-based sign language translation systems have emerged as a promising solution to bridge this communication gap. This study aims to develop a real-time SIBI recognition system using MediaPipe Holistic to simultaneously detect key-points of the hands, face, and pose, followed by speech output generation via text-to-speech technology. The pre-processing pipeline includes data cleaning, cropping, background removal, and grayscale conversion. The dataset consists of 4,500 image sequences representing 10 commonly used SIBI words. A Bi-directional LSTM model is employed to classify spatial–temporal patterns extracted from the gesture sequences. Evaluation results show a classification accuracy of 97.78% at the 200th epoch, with precision, recall, and F1-score all reaching 98%. Performance testing across five distance variations revealed that optimal recognition occurs within the 0.29 to 0.37-meter range. These findings demonstrate that the proposed system is a highly effective assistive communication tool for the Deaf and speech-impaired. Furthermore, the system has the potential to be expanded into mobile applications for real-world interaction and can serve as a foundation for future development in recognizing more complex sign language expressions.

Kata kunci

Jaringan kolaborasi para penulis

2 penulis · 1 tautan kepenulisan bersama

Arahkan kursor atau ketuk sebuah nama untuk menyorot rekan penulisnya. Klik dua kali untuk membuka halaman penulis.

  • Afiliasi tidak diketahui
  • Organisasi berbeda
  • Organisasi sama
  • Afiliasi tidak diketahui
  • Garis lebih tebal = lebih banyak artikel bersama · lingkaran lebih besar = lebih banyak artikel
Tampilkan sebagai tabel
Rekan penulisOrganisasiArtikel bersama

Afiliasi berasal dari OpenAlex; metadata OAI-PMH jurnal tidak memuatnya. Penulis tanpa ID OpenAlex dicocokkan berdasarkan nama, sehingga dua orang bisa tergabung atau satu orang bisa terpisah.

Sumber metadata: OAI-PMH (metadata jurnal) https://jtiik.ub.ac.id/index.php/jtiik/en/oai, pertama di-harvest 27 Okt 2026, terakhir terlihat 15 Nov 2026.
Metadata asli (oai_dc)
<oai_dc:dc xmlns="http://www.openarchives.org/OAI/2.0/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:oai_dc="http://www.openarchives.org/OAI/2.0/oai_dc/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.openarchives.org/OAI/2.0/oai_dc/  http://www.openarchives.org/OAI/2.0/oai_dc.xsd">
	<dc:title xml:lang="id">Deteksi Bahasa Isyarat SIBI Secara Real Time Menggunakan Mediapipe Holistic dan LSTM</dc:title>
	<dc:title xml:lang="en">Deteksi Bahasa Isyarat SIBI Secara Real Time Menggunakan Mediapipe Holistic dan LSTM</dc:title>
	<dc:creator xml:lang="en">Wisudawati, Lulu mawaddah</dc:creator>
	<dc:creator xml:lang="en">Alhadar, Ahmad Muhamad Salim </dc:creator>
	<dc:creator xml:lang="id">Wisudawati, Lulu mawaddah</dc:creator>
	<dc:creator xml:lang="id">Alhadar, Ahmad Muhamad Salim </dc:creator>
	<dc:subject xml:lang="en">Bahasa Isyarat Indonesia (SIBI)</dc:subject>
	<dc:subject xml:lang="en">MediaPipe Holistic</dc:subject>
	<dc:subject xml:lang="en">LSTM</dc:subject>
	<dc:subject xml:lang="en">Text-to-Speech</dc:subject>
	<dc:subject xml:lang="id">SIBI</dc:subject>
	<dc:subject xml:lang="id">Mediapipe holistic</dc:subject>
	<dc:subject xml:lang="id">LSTM</dc:subject>
	<dc:subject xml:lang="id">text to speech</dc:subject>
	<dc:description xml:lang="id">Bahasa isyarat merupakan sistem komunikasi non-verbal yang memanfaatkan gerakan tangan, ekspresi wajah, dan pose tubuh untuk menyampaikan informasi secara visual. Meskipun umum digunakan oleh penyandang tunarungu dan tunawicara, bahasa isyarat masih belum dipahami secara luas oleh masyarakat umum, sehingga menimbulkan hambatan komunikasi dalam kehidupan sehari-hari. Untuk mendukung interaksi yang inklusif, SIBI (Sistem Isyarat Bahasa Indonesia) telah distandarisasi secara nasional sebagai bentuk bahasa isyarat formal di Indonesia. Seiring dengan kemajuan teknologi kecerdasan buatan, sistem penerjemahan bahasa isyarat berbasis penglihatan komputer (computer vision) menjadi solusi potensial untuk menjembatani kesenjangan komunikasi tersebut. Penelitian ini bertujuan mengembangkan sistem pengenalan SIBI secara real-time menggunakan MediaPipe Holistic untuk mendeteksi titik kunci (keypoints) pada tangan, wajah, dan pose secara simultan, yang kemudian dikonversi menjadi suara melalui teknologi text-to-speech. Tahapan pra-pemrosesan mencakup pembersihan data (data cleaning), pemotongan gambar (cropping), penghapusan latar belakang (background removal), dan konversi ke citra skala keabuan (convert to grayscale). Dataset yang digunakan terdiri dari 4.500 urutan gambar untuk 10 kata SIBI. Model Bi-directional LSTM digunakan untuk mengklasifikasikan pola spasial-temporal dari gestur. Hasil evaluasi menunjukkan akurasi klasifikasi sebesar 97,78% pada epoch ke-200, dengan precision, recall, dan F1-score masing-masing mencapai 98%. Pengujian pada lima variasi jarak menunjukkan bahwa deteksi optimal terjadi pada rentang 0,29 hingga 0,37 meter. Sistem ini berpotensi menjadi alat bantu komunikasi efektif bagi penyandang tunarungu dan tunawicara, serta dapat dikembangkan lebih lanjut sebagai fondasi aplikasi interaktif berbasis bahasa isyarat di masa depan.
 
Abstract
Sign language is a non-verbal communication system that utilizes hand gestures, facial expressions, and body pose to visually convey information. Although commonly used by Deaf and speech-impaired individuals, it remains poorly understood by the general public, resulting in communication barriers in daily life. To support inclusive interaction, SIBI (Sistem Isyarat Bahasa Indonesia) has been nationally standardized as the formal sign language in Indonesia. With the advancement of artificial intelligence, computer vision-based sign language translation systems have emerged as a promising solution to bridge this communication gap. This study aims to develop a real-time SIBI recognition system using MediaPipe Holistic to simultaneously detect key-points of the hands, face, and pose, followed by speech output generation via text-to-speech technology. The pre-processing pipeline includes data cleaning, cropping, background removal, and grayscale conversion. The dataset consists of 4,500 image sequences representing 10 commonly used SIBI words. A Bi-directional LSTM model is employed to classify spatial–temporal patterns extracted from the gesture sequences. Evaluation results show a classification accuracy of 97.78% at the 200th epoch, with precision, recall, and F1-score all reaching 98%. Performance testing across five distance variations revealed that optimal recognition occurs within the 0.29 to 0.37-meter range. These findings demonstrate that the proposed system is a highly effective assistive communication tool for the Deaf and speech-impaired. Furthermore, the system has the potential to be expanded into mobile applications for real-world interaction and can serve as a foundation for future development in recognizing more complex sign language expressions.
 </dc:description>
	<dc:description xml:lang="en">Bahasa isyarat merupakan sistem komunikasi non-verbal yang memanfaatkan gerakan tangan, ekspresi wajah, dan pose tubuh untuk menyampaikan informasi secara visual. Meskipun umum digunakan oleh penyandang tunarungu dan tunawicara, bahasa isyarat masih belum dipahami secara luas oleh masyarakat umum, sehingga menimbulkan hambatan komunikasi dalam kehidupan sehari-hari. Untuk mendukung interaksi yang inklusif, SIBI (Sistem Isyarat Bahasa Indonesia) telah distandarisasi secara nasional sebagai bentuk bahasa isyarat formal di Indonesia. Seiring dengan kemajuan teknologi kecerdasan buatan, sistem penerjemahan bahasa isyarat berbasis penglihatan komputer (computer vision) menjadi solusi potensial untuk menjembatani kesenjangan komunikasi tersebut. Penelitian ini bertujuan mengembangkan sistem pengenalan SIBI secara real-time menggunakan MediaPipe Holistic untuk mendeteksi titik kunci (keypoints) pada tangan, wajah, dan pose secara simultan, yang kemudian dikonversi menjadi suara melalui teknologi text-to-speech. Tahapan pra-pemrosesan mencakup pembersihan data (data cleaning), pemotongan gambar (cropping), penghapusan latar belakang (background removal), dan konversi ke citra skala keabuan (convert to grayscale). Dataset yang digunakan terdiri dari 4.500 urutan gambar untuk 10 kata SIBI. Model Bi-directional LSTM digunakan untuk mengklasifikasikan pola spasial-temporal dari gestur. Hasil evaluasi menunjukkan akurasi klasifikasi sebesar 97,78% pada epoch ke-200, dengan precision, recall, dan F1-score masing-masing mencapai 98%. Pengujian pada lima variasi jarak menunjukkan bahwa deteksi optimal terjadi pada rentang 0,29 hingga 0,37 meter. Sistem ini berpotensi menjadi alat bantu komunikasi efektif bagi penyandang tunarungu dan tunawicara, serta dapat dikembangkan lebih lanjut sebagai fondasi aplikasi interaktif berbasis bahasa isyarat di masa depan.
 
Abstract
Sign language is a non-verbal communication system that utilizes hand gestures, facial expressions, and body pose to visually convey information. Although commonly used by Deaf and speech-impaired individuals, it remains poorly understood by the general public, resulting in communication barriers in daily life. To support inclusive interaction, SIBI (Sistem Isyarat Bahasa Indonesia) has been nationally standardized as the formal sign language in Indonesia. With the advancement of artificial intelligence, computer vision-based sign language translation systems have emerged as a promising solution to bridge this communication gap. This study aims to develop a real-time SIBI recognition system using MediaPipe Holistic to simultaneously detect key-points of the hands, face, and pose, followed by speech output generation via text-to-speech technology. The pre-processing pipeline includes data cleaning, cropping, background removal, and grayscale conversion. The dataset consists of 4,500 image sequences representing 10 commonly used SIBI words. A Bi-directional LSTM model is employed to classify spatial–temporal patterns extracted from the gesture sequences. Evaluation results show a classification accuracy of 97.78% at the 200th epoch, with precision, recall, and F1-score all reaching 98%. Performance testing across five distance variations revealed that optimal recognition occurs within the 0.29 to 0.37-meter range. These findings demonstrate that the proposed system is a highly effective assistive communication tool for the Deaf and speech-impaired. Furthermore, the system has the potential to be expanded into mobile applications for real-world interaction and can serve as a foundation for future development in recognizing more complex sign language expressions.
 </dc:description>
	<dc:publisher xml:lang="en">Fakultas Ilmu Komputer, Universitas Brawijaya</dc:publisher>
	<dc:date>2026-02-26</dc:date>
	<dc:type>info:eu-repo/semantics/article</dc:type>
	<dc:type>info:eu-repo/semantics/publishedVersion</dc:type>
	<dc:format>application/pdf</dc:format>
	<dc:identifier>https://jtiik.ub.ac.id/index.php/jtiik/article/view/9202</dc:identifier>
	<dc:identifier>10.25126/jtiik.2026131</dc:identifier>
	<dc:source xml:lang="id">Jurnal Teknologi Informasi dan Ilmu Komputer; Vol 13 No 1: Februari 2026; 47-56</dc:source>
	<dc:source xml:lang="en">Jurnal Teknologi Informasi dan Ilmu Komputer; Vol. 13 No. 1: Februari 2026; 47-56</dc:source>
	<dc:source>2528-6579</dc:source>
	<dc:source>2355-7699</dc:source>
	<dc:source>10.25126/jtiik.2026131</dc:source>
	<dc:language>id</dc:language>
	<dc:relation>https://jtiik.ub.ac.id/index.php/jtiik/article/view/9202/1538</dc:relation>
	<dc:rights xml:lang="en">Copyright (c) 2026 Lulu mawaddah Wisudawati, Ahmad Muhamad Salim Alhadar</dc:rights>
	<dc:rights xml:lang="en">https://creativecommons.org/licenses/by-sa/4.0</dc:rights>
</oai_dc:dc>