Kontrol Level Kecepatan Kipas Melalui Deteksi Gestur Jari Tangan Menggunakan MediaPipe dan Faster-RCNN

Abstract

Interaksi antara manusia dan komputer saat ini lebih interaktif, responsif dan intuitif, di masa lalu proses interaksi tersebut diperlukan kontak secara fisik atau menggunakan sensor-sensor elektronik. Pada penelitian ini interaksi antara manusia dan komputer atau peralatan elektronik tidak diperlukan kontak fisik maupun melalui sensor karena dilakukan secara computer vision hanya menggunakan webcam sehingga proses interaksinya lebih natural. Penerapan mikrokontroler sebagai backbone utama teknologi berbasis Internet of Things di era Industry 4.0, bertujuan untuk mempermudah pekerjaan manusia terutama dukungan layanan di dunia industri. Pada era Society 5.0 semua penerapan teknologi yang ada tujuan utamanya tidak hanya mempermudah pekerjaan manusia tetapi bagaimana teknologi tersebut bisa lebih mengerti dan memahami manusianya maka disitulah diterapkan Artificial Itelligence. Dalam penelitian ini diterapkan sistem kontrol interaksi antara pengguna dan komputer untuk pengaturan level kecepatan putaran kipas angin secara otomatis dan realtime berbasis teknologi computer vision for deep learning melalui deteksi bentuk gestur jari tangan kanan dan gestur jari tangan kiri menggunakan webcam. Mikrokontroler yang digunakan pada penelitian ini adalah Arduino Uno, sedangkan penerapan computer vision for deep learning menggunakan framework MediaPipe dan Faster-RCNN. MediaPipe berfungsi untuk mendeteksi bentuk gestur fitur jari kedua tangan dan Faster-RCNN digunakan untuk proses klasifikasi empat bentuk gestur jari tangan untuk mematikan kipas angin atau menghidupkan kipas angin dengan kecepatan putarannya pada level 1, level 2 atau level 3. Hasil pengujian akurasi rata-rata deteksi gestur jari tangan menggunakan MediaPipe pada jarak 10 cm (41,6%), jarak 50 cm (85,35%), jarak 100 cm (71,68%), dan jarak 175 cm (69,33%). Sedangkan hasil pengujian Faster-RCNN mempunyai akurasi klasifikasi rata-rata pada jarak 10 cm (36%), jarak 50 cm (30,75%), jarak 100 cm (18,68 %), dan jarak 175 cm (14.83%). Abstract Interaction between humans and computers is now more interactive, responsive and intuitive, in the past the interaction process required physical contact or using electronic sensors. In this study, the interaction between humans and computers or electronic equipment does not require physical contact or through sensors because it is done in computer vision using only a webcam so that the interaction process is more natural. The application of microcontrollers as the main backbone of Internet of Things-based technology in the Industry 4.0 era, aims to facilitate human work, especially service support in the industrial world. In the era of Society 5.0, all applications of technology that have the main goal are not only to facilitate human work but how technology can better understand and understand humans, so that's where Artificial Intelligence is applied. In this study, an interaction control system was applied between the user and the computer to adjust the fan speed level automatically and in real time based on computer vision technology for deep learning through the detection of the shape of the right hand finger gesture and the left hand finger gesture using a webcam. The microcontroller used in this study is Arduino Uno, while the application of computer vision for deep learning uses the MediaPipe and Faster-RCNN frameworks. MediaPipe serves to detect the shape of the finger feature gestures of both hands and Faster-RCNN is used to process the classification of four finger gestures to turn off the fan or turn on the fan with its rotational speed at level 1, level 2 or level 3. The results of the average accuracy test detection of finger gestures using the MediaPipe at a distance of 10 cm (37%), a distance of 50 cm (70%), a distance of 100 cm (54.7%), and a distance of 175 cm (63.3%). While the Faster-RCNN test results have an average classification accuracy at a distance of 10 cm (34%), a distance of 50 cm (24%), a distance of 100 cm (8.7%), and a distance of 175 cm (4.7%).