Perbandingan Pretrained Model Transformer pada Deteksi Ulasan Palsu

Abstract

Kemudahan untuk memperoleh informasi saat ini, telah sedikit membantu hidup kita. Seperti mencari ulasan untuk menimbang tempat atau barang yang akan dipilih. Beberapa orang memanfaatkan hal tersebut dengan membuat ulasan palsu untuk kepentingan mereka sendiri. Sehingga deteksi ulasan palsu sangat dibutuhkan. Model Transformer saat ini banyak diterapkan pada pemrosesan bahasa alami karena kinerja yang diperoleh nya sangat baik. Ada dua pendekatan yang dapat dilakukan dalam model Transformer yaitu pre-training dan fine-tuning. Penelitian sebelumnya telah banyak menggunakan fine-tuning dari model Transformer dikarenakan adanya kemudahan dalam pelatihan, waktu yang lebih sedikit, biaya dan kebutuhan lingkungan yang lebih rendah dibanding proses pre-training. Akan tetapi penelitian sebelumnya masih sedikit yang membandingkan model deep learning dengan fine-tuning yang khusus diterapkan pada deteksi ulasan palsu. Penelitian ini melakukan perbandingan model Transformer menggunakan pendekatan fine-tuning dengan metode deep learning yaitu CNN dengan berbagai pretrained word embedding untuk mengatasi deteksi ulasan palsu pada dataset Ott. Model RoBERTa mengungguli model Transformer dan deep learning dimana nilai akurasi 90,8%; precision 90%; recall 91,8% dan f1-score 90,8%. Namun dari segi waktu komputasi model pelatihan, DistilBERT memperoleh waktu komputasi terkecil yaitu dengan nilai 200,5 detik. Meskipun begitu, hasil yang diperoleh model Transformer maupun deep learning memiliki kinerja yang baik untuk deteksi ulasan palsu pada dataset Ott.AbstractThe ease of obtaining information today has helped our lives, like looking for reviews to weigh the place or item to choose. Some people take advantage of this by creating spam reviews for their benefit. So the detection of spam reviews is needed. Transformer models are currently widely applied to natural language processing because they have outstanding performance. Two approaches in the Transformer model is pre-training and fine-tuning. Previous studies have used a lot of fine-tuning due to the ease of training, less time, costs, and lower environmental requirements than the pre-training process. However, a few previous studies compare deep learning models with fine-tuning applied explicitly for detecting spam reviews. This study compares the Transformer model using a fine-tuning approach with a deep learning method, namely CNN, which uses various pre-trained word embedding to overcome the detection of false reviews in the Ott dataset. The result is RoBERTa model outperforms between Transformer and deep learning models, where the accuracy is 90.8%, precision is 90%, recall is 91.8%, and f1-score is 90.8%. Afterward, DistilBERT models obtained the shortest computation time with 200.5 seconds. However, the results obtained by both Transformer and deep learning models perform well to detect spam reviews in the Ott dataset.