Mahasiswa UMY Ciptakan Aplikasi Penerjemah Bahasa Isyarat Berbasis Machine Learning 

YOGYA - Tingginya jumlah penyandang disabilitas di Indonesia, yang mencapai 1,033,698 jiwa, dengan penyandang Tuna Netra sebesar 207,087 jiwa, Tuna Rungu 145,961 jiwa, dan Tuna Wicara 81,554 jiwa, mendorong mahasiswa dari Program Studi Teknik Elektro dan Ekonomi Bisnis, Universitas Muhammadiyah Yogyakarta (UMY) untuk berkolaborasi. Melalui Program Kreativitas Mahasiswa (PKM) Karsa Cipta (KC), mereka bekerjasama untuk membantu penyandang disabilitas, khususnya yang mengalami keterbatasan fisik, mental, intelektual, atau sensorik dalam jangka panjang, untuk berkomunikasi lebih baik di masyarakat.

Pengembangan aplikasi ini digagas oleh Reffinola Fathiny (Teknik Elektro Angkatan 2021), Salsabila Adena (Teknik Elektro Angkatan 2021), Lilis (Ekonomi Angkatan 2021), Indah Khoerunnisa (IPIEF Angkatan 2021), dan Beryl Raditya Fawwaz (Ekonomi Angkatan 2021). Selain tim PKM-KC tersebut, penelitian ini juga melibatkan tim multidisiplin yang terdiri dari pengembang perangkat lunak, ahli Machine Learning, desainer antarmuka pengguna, dan ahli disabilitas.

"Kami juga bekerja sama dengan organisasi non-profit dan lembaga penelitian yang memiliki fokus pada penyandang disabilitas untuk mendapatkan wawasan dan masukan yang berharga," jelas Reffinola selaku ketua tim PKM-KC.

Inovasi ini berupa aplikasi penerjemah bahasa isyarat berbasis teknologi Machine Learning yang mencakup Deep Learning dan Convolutional Neural Networks (CNN) untuk meningkatkan akurasi pengenalan gerakan tangan. Aplikasi ini diberi nama "Signify," yang mampu menerjemahkan bahasa isyarat ke dalam bahasa Inggris secara real-time. Meskipun dirancang untuk mencakup fitur bahasa Indonesia, fokus utamanya adalah pada penerjemahan bahasa Inggris agar aplikasi ini dapat digunakan oleh masyarakat lokal dan Internasional.

Teknologi ini memiliki potensi besar untuk meningkatkan aksesibilitas dan partisipasi sosial bagi penyandang disabilitas dalam berbagai situasi, seperti di bidang pendidikan, pekerjaan, dan interaksi sosial sehari-hari. Signify dapat mengenali gerakan tangan, ekspresi wajah, dan bahasa tubuh lainnya dengan tingkat akurasi yang tinggi sehingga memudahkan pengguna dalam berkomunikasi.

"Dengan Signify, kami berharap dapat membuka pintu aksesibilitas yang lebih luas bagi penyandang disabilitas dan mempromosikan inklusi sosial serta kesetaraan dalam masyarakat," tambah Reffinola.

Pengujian aplikasi yang dilakukan sejak awal tahun hingga Agustus 2024 ini telah melalui beberapa tahapan, seperti uji coba internal oleh tim pengembang, uji coba beta oleh kelompok kecil pengguna, dan uji coba lapangan yang melibatkan penyandang disabilitas dari berbagai latar belakang. Hal ini dilakukan untuk memastikan aplikasi berfungsi dengan baik dalam berbagai kondisi dan skenario penggunaan.

Pengembangan inovasi ini juga diperkuat oleh data WHO tahun 2015 yang menunjukkan bahwa sekitar 35-50 persen orang dengan disabilitas di negara maju dan 76-85 persen di negara berkembang tidak menerima pengobatan yang memadai. Inovasi ini tidak hanya membantu meningkatkan keterampilan berkomunikasi dalam bahasa isyarat, tetapi juga memberikan kontribusi nyata dalam meningkatkan kualitas hidup penyandang disabilitas.

Rencana ke depannya, proyek ini mencakup pengembangan fitur tambahan yang lebih canggih dan peningkatan kinerja aplikasi. Tim berencana untuk terus bekerja sama dengan organisasi dan ahli disabilitas untuk memastikan aplikasi ini sesuai dengan kebutuhan pengguna dan terus diperbarui berdasarkan masukan mereka. Kolaborasi ini juga penting untuk melakukan uji coba lapangan dan mendapatkan umpan balik langsung dari penyandang disabilitas.

"Selama program ini, kami berencana menyelesaikan pengembangan inti aplikasi, melakukan uji coba lapangan, dan meluncurkan versi awal kepada publik. Setelah itu, kami akan terus melakukan pembaruan dan perbaikan berdasarkan umpan balik pengguna," tutup Reffinola.