Implementasi YOLO11 dan OpenCV untuk Pengenalan Frasa dalam Video Real-Time Bahasa Isyarat Tangan: YOLO11 and OpenCV Implementation for Phrase Recognition in Real-Time Hand Sign Language Videos

Abstrak

Bahasa isyarat adalah alat komunikasi utama bagi para penyandang tunarungu dan tunawicara. Namun, terbatasnya pemahaman bahasa isyarat oleh masyarakat umum sering kali menjadi kendala dalam berkomunikasi. Penelitian ini bertujuan untuk merancang program pengenalan frasa bahasa isyarat tangan BISINDO secara real-time dengan menggunakan algoritma YOLO11 dan library OpenCV. YOLO11 digunakan sebagai metode deep learning untuk mengenali isyarat tangan, sedangkan OpenCV digunakan untuk pemrosesan video real-time dan visualisasi hasil deteksi. Model ini dilatih menggunakan lebih dari 3.000 gambar yang mewakili enam class frasa BISINDO: “saya”, “kamu”, “senang”, “bingung”, “marah”, dan “apa kabar”, sebanyak 263 epoch. Hasil pengujian model menunjukkan rata-rata nilai precision dan recall di atas 0,9; F1-Score sebesar 0,982; mAP50 sebesar 0,993; dan mAP50-95 sebesar 0,938. Pada pengujian real-time, model menunjukkan latency rata-rata stabil di kisaran 80-90ms, frame rate 11-12FPS, dan confidence score rata-rata 0,9 untuk semua class. Berdasarkan Penelitian yang telah dilakukan, disimpulkan bahwa integrasi YOLO11 dan OpenCV berhasil digunakan sebagai algoritma dalam mengenali frasa bahasa isyarat tangan BISINDO secara real-time.