Deteksi Gerak Tangan sebagai Pengenal Bahasa Isyarat menggunakan Mediapipe dan Long-Short Term Memory

Prabowo Budi Utomo; Risky Aswi Ramadhani; Hindra Kurniawan

doi:10.24176/simet.v15i1.10505

Deteksi Gerak Tangan sebagai Pengenal Bahasa Isyarat menggunakan Mediapipe dan Long-Short Term Memory

Prabowo Budi Utomo
Risky Aswi Ramadhani
Hindra Kurniawan

Abstract

Kehadiran orang disabilitas atau penyandang cacat seringkali dipandang sebelah mata oleh banyak orang dan mendapat perlakuan diskriminatif serta dianggap merepotkan, padahal jumlah penyandang cacat di Indonesia cukup banyak dan bervariasi. Sebagai salah satu kecacatan, tuli menjadi salah satu yg terbanyak diderita oleh orang Indonesia, dalam sebuah survey Nasional tahun 1994-1996 ada sekitar 18,5 % atau 40,5 juta jiwa yang mengalami gangguan pendengaran yang menggunakan bahasa isyarat berbasis gerak tangan sebagai media komunikasi. Dalam beberapa kondisi gerakan tangan ini cukup sulit untuk dipahami khususnya oleh yang bukan penguna bahasa isyarat, bahkan dalam beberap kasus formal hingga dibutuhkan juru bahasa isyarat untuk memahami maksud dari gerak tangan yang digunakan. Dalam penelitian ini menggunakan 36 jenis gerak tangan yang masing-masing gerak tangan direkam sebanyak 30 video sequence dengan setiap sequence akan merekam sebanyak 30 frame. Setiap frame yang diperoleh akan diekstraksi nilai keypoint dari wajah, pose dan gerak tangan yang direkam, untuk selanjutnya diproses dan dimodelkan menggunakan 3 metode Long ShortTerm Memory (LSTM) yaitu single layers LSTM, multi layers LSTM dan Bidirectional LSTM. Pemodelan LSTM yang telah dilakukan menghasilkan nilai akurasi sebesar 91% saat mendeteksi dan mengenali gerak tangan Bahasa isyarat BISINDO pada model yang diproses menggunakan metode single layer LSTM epoch 500, hidden layers 32, batch size 64.

Keywords

Tuli;LSTM;BISINDO;Pengenal Bahasa Isyarat

Teks Lengkap:

PDF

Referensi

[1] https://www.cnnindonesia.com/gaya-hidup/20170323180138-255-202335/masih-ada-405-juta-orang-indonesia-berjuang-lawan-ketulian (diakses pada 10 Januari 2023)

[2] https://www.republika.co.id/berita/pfwt1n313/islam-beri-perhatian-penyandang-disabilitas (diakses pada 10 Januari 2023)

[3] Abe, N., Institute of Electrical and Electronics Engineers, & IEEE Computer Society. (n.d.). 2018 IEEE International Conference on Big Data : proceedings : Dec 10 - Dec 13, 2018, Seattle, WA, USA.

[4] Alghifari, D. R., Edi, M., & Firmansyah, L. (2022). Implementasi Bidirectional LSTM untuk Analisis Sentimen Terhadap Layanan Grab Indonesia. Jurnal Manajemen Informatika (JAMIKA), 12(2), 89–99. https://doi.org/10.34010/jamika.v12i2.7764

[5] Auziqni, R. (n.d.). BISINDO INDONESIAN SIGN LANGUAGE RECOGNITION USING MEDIAPIPE HOLISTIC AND LSTM DEEP LEARNING MODEL Thesis Report. http://digilib.mercubuana.ac.id/

[6] Chakraborty, S., Banerjee, S., Bandyopadhyay, N., Sarkar, Z., & Chakraverty, P. (n.d.). Indian Sign Language Classification (ISL) using Machine Learning. www.ajec.smartsociety.org

[7] Gomase, K., Dhanawade, A., Gurav, P., & Lokare, S. (2021). Sign Language Recognition using Mediapipe. International Research Journal of Engineering and Technology. www.irjet.net

[8] Halim, K., & Rakun, E. (2019). Sign language system for Bahasa Indonesia (Known as SIBI) recognizer using TensorFlow and long short-term memory. 2018 International Conference on Advanced Computer Science and Information Systems, ICACSIS 2018, 403–407. https://doi.org/10.1109/ICACSIS.2018.8618134

[9] Kamal Wisyaldin, M., Maya Luciana, G., Pariaman, H., & Pembangkitan Jawa Bali, P. (n.d.). Pendekatan Long Short-Term Memory untuk Memprediksi Kondisi Motor 10 kV pada PLTU Batubara. 9(2). https://doi.org/10.33322/kilat.v9i2.997

[10] Kim, S., Yun, K., Park, J., & Choi, J. Y. (2019). Skeleton-based action recognition of people handling objects. Proceedings - 2019 IEEE Winter Conference on Applications of Computer Vision, WACV 2019, 61–70. https://doi.org/10.1109/WACV.2019.00014

[11] Kothadiya, D., Bhatt, C., Sapariya, K., Patel, K., Gil-González, A. B., & Corchado, J. M. (2022). Deepsign: Sign Language Detection and Recognition Using Deep Learning. Electronics (Switzerland), 11(11). https://doi.org/10.3390/electronics11111780

[12] Mittal, A., Kumar, P., Roy, P. P., Balasubramanian, R., & Chaudhuri, B. B. (2019). A Modified LSTM Model for Continuous Sign Language Recognition Using Leap Motion. IEEE Sensors Journal, 19(16), 7056–7063. https://doi.org/10.1109/JSEN.2019.2909837

[13] Moetia Putri, H., & Fuadi, W. (n.d.). PENDETEKSIAN BAHASA ISYARAT INDONESIA SECARA REAL-TIME MENGGUNAKAN LONG SHORT-TERM MEMORY (LSTM).

[14] Ningrum, A. A., Syarif, I., Gunawan, A. I., Satriyanto, E., Muchtar, R., Informatika, D. T., Komputer, D., Elektronika, P., & Surabaya, N. (2021). ALGORITMA DEEP LEARNING-LSTM UNTUK MEMPREDIKSI UMUR TRANSFORMATOR. 8(3), 539–548. https://doi.org/10.25126/jtiik.202184587

[15] Ojha, A., Pandey, A., Maurya, S., & Thakur, A. (n.d.). Sign Language to Text and Speech Translation in Real Time Using Convolutional Neural Network. www.ijert.org

[16] Salman, A. G., Heryadi, Y., Abdurahman, E., & Suparta, W. (2018). Single Layer & Multi-layer Long Short-Term Memory (LSTM) Model with Intermediate Variables for Weather Forecasting. Procedia Computer Science, 135, 89–98. https://doi.org/10.1016/j.procs.2018.08.153

[17] Trinh, H. D., Giupponi, L., & Dini, P. (2018). Mobile Traffic Prediction from Raw Data Using LSTM Networks. IEEE International Symposium on Personal, Indoor and Mobile Radio Communications, PIMRC, 2018-September, 1827–1832. https://doi.org/10.1109/PIMRC.2018.8581000

[18] Zhu, W., Lan, C., Xing, J., Zeng, W., Li, Y., Shen, L., & Xie, X. (2016). Co-occurrence Feature Learning for Skeleton based Action Recognition using Regularized Deep LSTM Networks. http://arxiv.org/abs/1603.07772

[19] https://www.klobility.id/post/perbedaan-bisindo-dan-sibi#:~:text=BISINDO%20(Bahasa%20Isyarat%20Indonesia)&text=BISINDO%20dibentuk%20oleh%20kelompok%20Tuli,disampaikan%20dengan%20gerakan%20dua%20tangan. Diakses pada 17 Februari 2023

DOI: https://doi.org/10.24176/simet.v15i1.10505