Comparison of Transfer Learning Algorithm Performance in Hand Sign Language Digits Image Classification

Abstract

English

Image hand sign classification has become an interesting topic in image processing and machine learning. However, to achieve optimal performance in hand sign image classification tasks, a large and diverse dataset as well as powerful learning algorithms are required. One popular technique for improving the performance of classification models is transfer learning, which allows the use of knowledge learned from previous models and applies it to new tasks. In this study, the performance of two different transfer learning algorithms, ResNet-50 and VGG-16, was compared on the Sign Language Digits Dataset, which consists of 10 different types of handwriting images. The results of the experiment showed that both tested transfer learning algorithms had good performance. However, VGG-16 provided the best results with an accuracy of 97,29%, precision of 97,38%, recall of 97,45%, and an F1 score of 97,36%, while ResNet-50 achieved an accuracy of 94,57%, precision of 94,75%, recall of 94,96%, and an F1 score of 94,78%. In conclusion, transfer learning algorithms are effective techniques for improving the performance of hand sign image classification models. Choosing the appropriate transfer learning algorithm and dataset can help generate more accurate classification models.

Bahasa Indonesia

Klasifikasi citra handwriting telah menjadi topik yang menarik dalam pengolahan citra dan pembelajaran mesin. Namun, untuk mencapai kinerja yang optimal dalam tugas klasifikasi citra handwriting, diperlukan dataset yang besar dan beragam, serta algoritma pembelajaran yang kuat. Salah satu teknik yang populer untuk meningkatkan kinerja model klasifikasi adalah transfer learning, yang memungkinkan untuk menggunakan pengetahuan yang telah dipelajari dari model sebelumnya dan diterapkan pada tugas baru. Pada penelitian ini, dibandingkan kinerja dua algoritma transfer learning yang berbeda, yaitu ResNet-50 dan VGG-16 pada klasifikasi citra dataset Sign Language Digits Dataset yang terdiri dari 10 jenis citra handwriting yang berbeda. Hasil dari eksperimen menunjukkan bahwa kedua algoritma transfer learning yang diuji memiliki kinerja yang baik. Namun, VGG-16 memberikan hasil terbaik dengan akurasi sebesar 97.67% dan presisi sebesar 97.67%, sedangkan pada ResNet-50 memberikan akurasi sebesar 94,96% dan presisi sebesar 94.96%. Sebagai kesimpulan, algoritma transfer learning merupakan teknik yang efektif dalam meningkatkan kinerja model klasifikasi citra handwriting. Pemilihan algoritma transfer learning yang tepat dan dataset yang sesuai dapat membantu menghasilkan model klasifikasi yang lebih akurat.

Keywords

• Transfer Learning
• VGG-16
• ResNet-50