Penerapan Convolutional Neural Network Pada Aplikasi Terjemahan Bahasa Isyarat Indonesia Berbasis Android

Abstract

Pentingnya bahasa isyarat terletak pada perannya sebagai sistem komunikasi visual-manual, di mana isyarat tangan, mimik wajah, dan gerakan badan digunakan untuk menyampaikan informasi. Sistem ini terutama digunakan oleh individu tunarungu sebagai metode komunikasi utama mereka. Walaupun krusial, akses yang terbatas terhadap sumber belajar sering kali menjadi kendala signifikan dalam upaya mempelajari Bahasa Isyarat Indonesia (BISINDO) secara efektif. Menanggapi tantangan ini, penelitian ini dilakukan dengan tujuan mengembangkan aplikasi terjemahan bahasa isyarat melalui integrasi Convolutional Neural Network (CNN), diterapkan secara spesifik melalui arsitektur MobileNetV2. Dalam proses pengembangannya, aplikasi ini menggunakan dataset yang terdiri dari 2000 video, yang selanjutnya diubah menjadi 48.000 bingkai gambar untuk pelatihan model. Pengujian yang dilakukan menunjukkan bahwa akurasi pengenalan gerakan tangan bahasa isyarat mencapai 76%, dengan total loss tercatat sebesar 0.81. Data ini mengindikasikan bahwa model menunjukkan performa yang memadai dalam mengklasifikasikan mayoritas data pelatihan. Selain fitur deteksi gerakan tangan untuk bahasa isyarat, aplikasi ini juga memiliki fitur terjemahan teks ke isyarat, yang dapat mengonversi kata menjadi gambar gerakan bahasa isyarat. Selanjutnya, terdapat fitur kamus yang menyajikan daftar kata-kata, masing-masing dilengkapi dengan video demonstrasi gerakan bahasa isyarat yang relevan. Fitur-fitur ini bertujuan untuk memfasilitasi dan mempercepat proses pembelajaran BISINDO, menjadikannya mudah diakses bagi individu yang ingin menguasainya.