Deteksi Objek Manusia Pada Citra Menggunakan Single Shot Detector (SSD) Berbasis Edge Computing

Iqbal, Muhammad; Midyanti, Dwi Marisa; Bahri, Syamsul

doi:10.25126/jtiik.938446

Open access Jurnal SINTA 2

Deteksi Objek Manusia Pada Citra Menggunakan Single Shot Detector (SSD) Berbasis Edge Computing

Deteksi Objek Manusia pada Citra menggunakan Single Shot Detecctor (SSD) Berbasis Edge Ccomputing

Jurnal Teknologi Informasi dan Ilmu Komputer (JTIIK) · Vol. 11 No. 3 (2024) · pp. 547–556

DOI: 10.25126/jtiik.938446
ISSN: 2528-6579, 2355-7699
Published: 2024-07-31
Publisher: Fakultas Ilmu Komputer, Universitas Brawijaya
Language: id
License: creativecommons.org/licenses/by-sa/4.0

Abstract

Bahasa Indonesia

Keamanan merupakan salah satu aspek penting di kehidupan manusia. Umumnya, keamanan dapat berarti perlindungan dari bahaya fisik dan non fisik seperti kecelakaan, kebakaran, ataupun pencurian. Kemajuan teknologi yang ada dapat dimanfaatkan untuk meningkatkan keamanan, khususnya untuk kasus pencurian. Sistem kamera pengawas seperti CCTV telah terbukti dalam meningkatkan keamanan. Tetapi, CCTV mengharuskan pengawas untuk memantau layar CCTV secara manual 24/7 untuk melihat adanya pergerakan manusia. Pada penelitian ini, dibangun sistem deteksi menggunakan sensor passive infrared (PIR) yang dikontrol oleh ESP32-CAM. Algoritma single shot detector (SSD) digunakan untuk memproses data citra dan edge computing digunakan untuk mendukung waktu proses deteksi sehingga dapat memberikan informasi secara real-time. Proses transmisi data citra pada edge computing menggunakan protokol MQTT. Setiap ESP32-CAM akan menjadi publisher dan edge akan menjadi subscriber. Dataset yang digunakan untuk melatih algoritma SSD berjumlah 1050 data. Seluruh data dibagi menjadi 3 bagian yaitu 735 data latih (70%), 210 data evaluasi (20%), dan 105 (10%) data uji. Data uji pada penelitian ini terdiri dari 3 jenis data, diantaranya 35 data uji siang hari, 35 data uji sore hari, dan 35 data uji malam hari. Algoritma SSD pada penelitian ini menghasilkan ketepatan deteksi 87.51% mAP pada data uji siang hari, 81.39% mAP pada data uji sore hari, dan 76.82% mAP pada data uji malam hari. Proses dari saat sensor HC-SR501 mendeteksi gerakan hingga informasi sampai ke user membutuhkan rata-rata waktu 2,843 detik.

English

Keamanan merupakan salah satu aspek penting di kehidupan manusia. Kemajuan teknologi yang ada dapat dimanfaatkan untuk meningkatkan keamanan, khususnya untuk kasus pencurian. Sistem kamera pengawas seperti CCTV telah terbukti dalam meningkatkan keamanan. Tetapi, CCTV mengharuskan pengawas untuk memantau layar CCTV secara manual 24/7 untuk melihat adanya pergerakan manusia. Pada penelitian ini, dibangun sistem deteksi secara otomatis menggunakan sensor passive infrared (PIR) HC-SR501 yang dikontrol oleh ESP32-CAM. Algoritma single shot detector (SSD) digunakan untuk mendeteksi objek pada citra dan edge computing digunakan untuk mengurangi latency pada proses transimisi data sehingga dapat memberikan informasi secara real-time. Proses transmisi data citra menggunakan protokol MQTT. Setiap ESP32-CAM akan menjadi publisher dan edge akan menjadi subscriber. Data citra yang digunakan berformat jpg dan memiliki resolusi 800x600 pixels. Sebanyak 1050 data digunakan untuk membangun model algoritma SSD. Seluruh data dibagi menjadi 3 bagian yaitu 735 data latih, 210 data evaluasi, dan 105 data uji. Data uji pada penelitian ini terdiri dari 3 jenis data, di antaranya 35 data uji siang hari, 35 data uji sore hari, dan 35 data uji malam hari. Algoritma SSD pada penelitian ini menghasilkan ketepatan deteksi 87.51% mAP pada data uji siang hari, 81.39% mAP pada data uji sore hari, dan 76.82% mAP pada data uji malam hari. Proses dari saat sensor HC-SR501 mendeteksi gerakan hingga informasi sampai ke user membutuhkan rata-rata waktu 2,843 detik. Abstract Security is one of the most important aspects of human life. Technological advances can be utilized to improve security, especially in the case of theft. Surveillance camera systems such as CCTV have been proven to improve security. However, CCTV requires the person to monitor the CCTV screen manually 24/7 to see any human movement. In this research, an automatic detection system was built using HC-SR501 passive infrared (PIR) sensor controlled by ESP32-CAM. The single shot detector (SSD) algorithm is used to detect an object on the image and edge computing is used to reduce the latency of the transmission process so that it can achieve real-time information. The transmission process of image data uses the MQTT protocol. Each ESP32-CAM will be the publisher and the edge will be the subscriber. The image data used are in jpg format and have a resolution of 800x600 pixels. A total of 1050 data were used to build the SSD algorithm model. All data is divided into 3 parts, namely 735 training data, 210 evaluation data, and 105 test data. The test data consists of 3 types of images, including 35 daytime images, 35 afternoon images, and 35 nighttime images. The SSD algorithm in this research resulted in 87.51% mAP on daytime images, 81.39% mAP on afternoon images, and 76.82% mAP on nighttime images. The process from the moment HC-SR501 sensor detects movement until the information reaches the user takes an average of 2.843 seconds.

Keywords

Collaboration network of the authors

11 authors · 20 co-authorship links · 7 across different organisations

Hover or tap a name to highlight its co-authors. Double-click to open the author's page.

Tanjungpura University
Universitas Bina Sarana Informatika
Universitas Muhammadiyah Malang

Different organisations
Same organisation
Affiliation unknown
Thicker line = more joint articles · bigger circle = more articles

Show as table

Co-author	Organisation	Joint articles
Syamsul Bahri	Tanjungpura University	2
Ridwansyah Ridwansyah	Universitas Bina Sarana Informatika	1
Henny Destiana	Universitas Bina Sarana Informatika	1
Sugiono Sugiono	Universitas Bina Sarana Informatika	1
Abdul Hamid	Universitas Bina Sarana Informatika	1
Wahyu Andhika	Universitas Muhammadiyah Malang	1
Munifah Nur	Universitas Muhammadiyah Malang	1
Rizkhi Dwi Nugroho	Universitas Muhammadiyah Malang	1

Affiliations come from OpenAlex; journal OAI-PMH metadata carries none. Authors without an OpenAlex ID are matched by name, which can merge or split people.

Metadata source: OAI-PMH (metadata jurnal) https://jtiik.ub.ac.id/index.php/jtiik/en/oai, first harvested 27 Okt 2026, last seen 27 Okt 2026.

Original metadata (oai_dc)

<oai_dc:dc xmlns="http://www.openarchives.org/OAI/2.0/" xmlns:dc="http://purl.org/dc/elements/1.1/" xmlns:oai_dc="http://www.openarchives.org/OAI/2.0/oai_dc/" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://www.openarchives.org/OAI/2.0/oai_dc/  http://www.openarchives.org/OAI/2.0/oai_dc.xsd">
	<dc:title xml:lang="id">Deteksi Objek Manusia Pada Citra Menggunakan Single Shot Detector (SSD) Berbasis Edge Computing</dc:title>
	<dc:title xml:lang="en">Deteksi Objek Manusia pada Citra menggunakan Single Shot Detecctor (SSD) Berbasis Edge Ccomputing</dc:title>
	<dc:creator xml:lang="id">Iqbal, Muhammad</dc:creator>
	<dc:creator xml:lang="id">Midyanti, Dwi Marisa</dc:creator>
	<dc:creator xml:lang="id">Bahri, Syamsul</dc:creator>
	<dc:subject xml:lang="id">Edge Computing</dc:subject>
	<dc:subject xml:lang="id">ESP32-CAM</dc:subject>
	<dc:subject xml:lang="id">Keamanan</dc:subject>
	<dc:subject xml:lang="id">MQTT</dc:subject>
	<dc:subject xml:lang="id">Single Shot Detector</dc:subject>
	<dc:description xml:lang="id">Keamanan merupakan salah satu aspek penting di kehidupan manusia. Umumnya, keamanan dapat berarti perlindungan dari bahaya fisik dan non fisik seperti kecelakaan, kebakaran, ataupun pencurian. Kemajuan teknologi yang ada dapat dimanfaatkan untuk meningkatkan keamanan, khususnya untuk kasus pencurian. Sistem kamera pengawas seperti CCTV telah terbukti dalam meningkatkan keamanan. Tetapi, CCTV mengharuskan pengawas untuk memantau layar CCTV secara manual 24/7 untuk melihat adanya pergerakan manusia. Pada penelitian ini, dibangun sistem deteksi menggunakan sensor passive infrared (PIR) yang dikontrol oleh ESP32-CAM. Algoritma single shot detector (SSD) digunakan untuk memproses data citra dan edge computing digunakan untuk mendukung waktu proses deteksi sehingga dapat memberikan informasi secara real-time. Proses transmisi data citra pada edge computing menggunakan protokol MQTT. Setiap ESP32-CAM akan menjadi publisher dan edge akan menjadi subscriber. Dataset yang digunakan untuk melatih algoritma SSD berjumlah 1050 data. Seluruh data dibagi menjadi 3 bagian yaitu 735 data latih (70%), 210 data evaluasi (20%), dan 105 (10%) data uji. Data uji pada penelitian ini terdiri dari 3 jenis data, diantaranya 35 data uji siang hari, 35 data uji sore hari, dan 35 data uji malam hari. Algoritma SSD pada penelitian ini menghasilkan ketepatan deteksi 87.51% mAP pada data uji siang hari, 81.39% mAP pada data uji sore hari, dan 76.82% mAP pada data uji malam hari. Proses dari saat sensor HC-SR501 mendeteksi gerakan hingga informasi sampai ke user membutuhkan rata-rata waktu 2,843 detik.</dc:description>
	<dc:description xml:lang="en">Keamanan merupakan salah satu aspek penting di kehidupan manusia. Kemajuan teknologi yang ada dapat dimanfaatkan untuk meningkatkan keamanan, khususnya untuk kasus pencurian. Sistem kamera pengawas seperti CCTV telah terbukti dalam meningkatkan keamanan. Tetapi, CCTV mengharuskan pengawas untuk memantau layar CCTV secara manual 24/7 untuk melihat adanya pergerakan manusia. Pada penelitian ini, dibangun sistem deteksi secara otomatis menggunakan sensor passive infrared (PIR) HC-SR501 yang dikontrol oleh ESP32-CAM. Algoritma single shot detector (SSD) digunakan untuk mendeteksi objek pada citra dan edge computing digunakan untuk mengurangi latency pada proses transimisi data sehingga dapat memberikan informasi secara real-time. Proses transmisi data citra menggunakan protokol MQTT. Setiap ESP32-CAM akan menjadi publisher dan edge akan menjadi subscriber. Data citra yang digunakan berformat jpg dan memiliki resolusi 800x600 pixels. Sebanyak 1050 data digunakan untuk membangun model algoritma SSD. Seluruh data dibagi menjadi 3 bagian yaitu 735 data latih, 210 data evaluasi, dan 105 data uji. Data uji pada penelitian ini terdiri dari 3 jenis data, di antaranya 35 data uji siang hari, 35 data uji sore hari, dan 35 data uji malam hari. Algoritma SSD pada penelitian ini menghasilkan ketepatan deteksi 87.51% mAP pada data uji siang hari, 81.39% mAP pada data uji sore hari, dan 76.82% mAP pada data uji malam hari. Proses dari saat sensor HC-SR501 mendeteksi gerakan hingga informasi sampai ke user membutuhkan rata-rata waktu 2,843 detik.
 
Abstract 
 
Security is one of the most important aspects of human life. Technological advances can be utilized to improve security, especially in the case of theft. Surveillance camera systems such as CCTV have been proven to improve security. However, CCTV requires the person to monitor the CCTV screen manually 24/7 to see any human movement. In this research, an automatic detection system was built using HC-SR501 passive infrared (PIR) sensor controlled by ESP32-CAM. The single shot detector (SSD) algorithm is used to detect an object on the image and edge computing is used to reduce the latency of the transmission process so that it can achieve real-time information. The transmission process of image data uses the MQTT protocol. Each ESP32-CAM will be the publisher and the edge will be the subscriber. The image data used are in jpg format and have a resolution of 800x600 pixels. A total of 1050 data were used to build the SSD algorithm model. All data is divided into 3 parts, namely 735 training data, 210 evaluation data, and 105 test data. The test data consists of 3 types of images, including 35 daytime images, 35 afternoon images, and 35 nighttime images. The SSD algorithm in this research resulted in 87.51% mAP on daytime images, 81.39% mAP on afternoon images, and 76.82% mAP on nighttime images. The process from the moment HC-SR501 sensor detects movement until the information reaches the user takes an average of 2.843 seconds.</dc:description>
	<dc:publisher xml:lang="en">Fakultas Ilmu Komputer, Universitas Brawijaya</dc:publisher>
	<dc:date>2024-07-31</dc:date>
	<dc:type>info:eu-repo/semantics/article</dc:type>
	<dc:type>info:eu-repo/semantics/publishedVersion</dc:type>
	<dc:format>application/pdf</dc:format>
	<dc:identifier>https://jtiik.ub.ac.id/index.php/jtiik/article/view/8446</dc:identifier>
	<dc:identifier>10.25126/jtiik.938446</dc:identifier>
	<dc:source xml:lang="id">Jurnal Teknologi Informasi dan Ilmu Komputer; Vol 11 No 3: Juni 2024; 547-556</dc:source>
	<dc:source xml:lang="en">Jurnal Teknologi Informasi dan Ilmu Komputer; Vol. 11 No. 3: Juni 2024; 547-556</dc:source>
	<dc:source>2528-6579</dc:source>
	<dc:source>2355-7699</dc:source>
	<dc:source>10.25126/jtiik.113</dc:source>
	<dc:language>id</dc:language>
	<dc:relation>https://jtiik.ub.ac.id/index.php/jtiik/article/view/8446/1313</dc:relation>
	<dc:rights xml:lang="en">Copyright (c) 2024 Jurnal Teknologi Informasi dan Ilmu Komputer</dc:rights>
	<dc:rights xml:lang="en">https://creativecommons.org/licenses/by-sa/4.0</dc:rights>
</oai_dc:dc>