Sistem Pengenalan Huruf Bahasa Isyarat Indonesia Real-Time Menggunakan MediaPipe dan Multilayer Perceptron

Ridhwan Firdaus Nur Prasetia, Yessi Yunitasari

Abstract


Penyandang tunarungu dan tunawicara di Indonesia menghadapi hambatan dalam komunikasi akibat minimnya media pembelajaran bahasa isyarat yang efektif dan mudah diakses. Bahasa Isyarat Indonesia (SIBI) merupakan salah satu solusi visual yang mendukung pembelajaran dan komunikasi. Penelitian ini bertujuan untuk merancang dan mengimplementasikan sistem pengenalan huruf alfabet dalam SIBI secara real-time berbasis deep learning. Pengembangan sistem menggunakan metode Extreme Programming (XP) dengan pendekatan iteratif, berbasis web, dan memanfaatkan input video dari webcam. Teknologi MediaPipe digunakan untuk mendeteksi tangan, sedangkan klasifikasi huruf dilakukan dengan algoritma Multilayer Perceptron (MLP). Dataset diperoleh dari platform Kaggle dan dilengkapi dengan data citra mandiri untuk meningkatkan variasi. Hasil pengujian menunjukkan sistem mampu mengenali gesture huruf alfabet secara real-time dengan akurasi sebesar 98%. Evaluasi performa melalui classification report serta pengujian black-box dan kuesioner menunjukkan bahwa sistem berjalan sesuai harapan dan mendapatkan respons positif dari pengguna. Sistem ini berpotensi menjadi media pembelajaran yang inklusif dan adaptif bagi penyandang disabilitas, khususnya tunarungu dan tunawicara, dalam mempelajari huruf bahasa isyarat secara mandiri.

References


Novalina, “Pemerolehan Bahasa Penderita Tuna Rungu Dan Tuna Wicara (Kajian Pragmatik Pada Kosakata Dan Fonetis ),” Lang. J. Inov. Pendidik. Bhs. dan Sastra, vol. 1, no. 1, pp. 92–99, 2021, doi: 10.51878/language.v1i1.455.

S. M. Ulfah and S. Ubaidah, “Penerapan Bahasa Isyarat dalam Pembelajaran bagi Anak Berkebutuhan Khusus Tuna Rungu,” J. Disabil. Stud. Res., vol. 2, no. 1, pp. 29–42, 2023, doi: https://doi.org/10.30631/jdsr.v2i1.1764.

I. Sari, Fivrenodi, E. Altiarika, and Sarwindah, “Sistem Pengembangan Bahasa Isyarat Untuk Berkomunikasi dengan Penyandang Disabilitas (Tunarungu),” J. Inf. Technol. Soc., vol. 1, no. 1, pp. 20–25, 2023, doi: 10.35438/jits.v1i1.21.

R. Fatmawati, R. Asmara, Y. R. Prayogi, and R. Y. Hakkun, “Aplikasi Pembelajaran Sistem Isyarat Bahasa Indonesia (SIBI) Berbasis Voice Menggunakan OpenSIBI,” Technomedia J., vol. 7, no. 1, pp. 22–39, Feb. 2022, doi: 10.33050/tmj.v7i1.1690.

A. S. Nugraheni, A. P. Husain, and H. Unayah, “Optimalisasi Penggunaan Bahasa Isyarat Dengan Sibi Dan Bisindo Pada Mahasiswa Difabel Tunarungu Di Prodi Pgmi Uin Sunan Kalijaga,” J. Holistika, vol. 5, no. 1, p. 28, 2023, doi: 10.24853/holistika.5.1.28-33.

M. Sholawati, K. Auliasari, and F. Ariwibisono, “PENGEMBANGAN APLIKASI PENGENALAN BAHASA ISYARAT ABJAD SIBI MENGGUNAKAN METODE CONVOLUTIONAL NEURAL NETWORK (CNN),” JATI (Jurnal Mhs. Tek. Inform., vol. 6, no. 1, pp. 134–144, Mar. 2022, doi: 10.36040/jati.v6i1.4507.

M. Sumiati and R. Abdillah, “Pemodelan Uml Untuk Sistem Informasi Persewaan Alat Pesta,” J. Fasilkom, vol. 11, no. 2, pp. 79–86, 2021, doi: 10.37859/jf.v11i2.2673.

K. I. Listyoningrum, D. Y. Fenida, and N. Hamidi, “Inovasi Berkelanjutan dalam Bisnis: Manfaatkan Flowchart untuk Mengoptimalkan Nilai Limbah Perusahaan,” J. Inf. Pengabdi. Masy., vol. 1, no. 4, pp. 100–112, 2023, doi: 10.47861/jipm-nalanda.v1i4.552.

S. N. Budiman, S. Lestanti, S. M. Evvandri, and R. K. Putri, “PENGENALAN GESTUR GERAKAN JARI UNTUK MENGONTROL VOLUME DI KOMPUTER MENGGUNAKAN LIBRARY OPENCV DAN MEDIAPIPE,” Antivirus J. Ilm. Tek. Inform., vol. 16, no. 2, pp. 223–232, Nov. 2022, doi: 10.35457/antivirus.v16i2.2508.

D. W. Wibowo, D. Erwanto, and D. A. W. Kusumastutie, “Klasifikasi Jenis Kayu Menggunakan Esktrasi Fitur Gray Level Co-Occurence Matrix dan Multilayer Perceptron,” J. Nas. Tek. ELEKTRO, vol. 10, no. 1, p. 1, Mar. 2021, doi: 10.25077/jnte.v10n1.788.2021.

D. Fidiyaningrum, S. Nita, and F. Nugrahanti, “Perancangan Media Pembelajaran Interaktif Bahasa Isyarat Indonesia Bagi Penyandang Tunarungu Berbasis Multimedia,” Pros. Semin. Nas. Teknol. Inf. dan Komun., vol. 7, no. 1, pp. 421–429, 2024.

F. Zhang et al., “MediaPipe Hands: On-device Real-time Hand Tracking,” Jun. 2020, doi: https://doi.org/10.48550/arXiv.2006.10214.

S. Faza and A. P. Sembiring, “Klasifikasi Kecambah Mangrove Menggunakan Multi Layer Perceptron,” ABEC Indones., vol. 9, pp. 277–286, 2021.

K. Tulvina, N. O. Syamsiah, and W. S. Dharmawan, “Penggunaan Extreme Programming Untuk Menunjang Perubahan Kebutuhan Dalam Proses Pembangunan Sistem Informasi Produksi,” Artik. Ilm. Sist. Inf. Akunt., vol. 2, no. 2, pp. 167–176, 2022, doi: 10.31294/akasia.v2i2.1438.

N. Sari and D. Cahyani, “Perancangan Sistem Informasi Monitoring Sertifikat Menggunakan Extreme Programming,” J. Ilm. Comput. Sci., vol. 1, no. 1, pp. 1–6, 2022, doi: 10.58602/jics.v1i1.1.

F. Anwar, A. Fadlil, and I. Riadi, “Analisis Validasi File Upload menggunakan Metadata PNG pada Aplikasi Berbasis Web,” JIKO (Jurnal Inform. dan Komputer), vol. 6, no. 2, p. 185, 2022, doi: 10.26798/jiko.v6i2.287.

R. Wahyuddin, A. Sucipto, and T. Susanto, “Pemanfaatan Teknologi Augmented Reality Dengan Metode Multiple Marker Pada Pengenalan Komponen Komputer,” J. Inform. dan Rekayasa Perangkat Lunak, vol. 3, no. 3, pp. 278–285, 2022, doi: 10.33365/jatika.v3i3.2034.

S. Alam, W. P. Ramadhani, and P. Patmaniar, “Pengembangan Lembar Kiagatan Siswa (LKS) Berbasis STEAM dengan Teknik Ecoprint Sebagai Perangkat Pembelajaran Tematik,” J. Pelita J. Pembelajaran IPA Terpadu, vol. 3, no. 1, pp. 20–28, 2023, doi: 10.54065/pelita.3.1.2023.318.


Refbacks

  • There are currently no refbacks.



 
PANDUAN SUBMITE ARTIKEL
 


Kantor Sekertariat:
Universitas PGRI Madiun
Jl. Auri No. 14-16  Kota Madiun 63118
Lt 3 Kantor Program Studi Teknik Informatika
email :  [email protected]
 
 

Lisensi Creative Commons
Ciptaan disebarluaskan di bawah Lisensi Creative Commons Atribusi-BerbagiSerupa 4.0 Internasional.