Analisis Efektivitas GAN dalam Meningkatkan Akurasi Deteksi Tuna Rungu dengan Menggunakan Data Audio dan Visual: Analysis of GAN Effectiveness in Improving Hearing Impaired Detection Accuracy Using Audio and Visual Data

Abstrak

Penelitian ini menganalisis efektivitas Generative Adversarial Networks (GAN) dalam meningkatkan akurasi deteksi tuna rungu dengan menggunakan data audio dan visual. Data yang digunakan dalam penelitian ini meliputi rekaman video dari individu non-tunarungu yang diperoleh dari GRID Corpus dan individu tunarungu yang dikumpulkan dari YouTube dan SLB Islam As-Syafi'iyah. Tahapan penelitian melibatkan beberapa langkah, yaitu pengumpulan data, preprocessing, augmentasi data, pembangunan model, pelatihan model, dan evaluasi model. Hasil penelitian menunjukkan bahwa model GAN mampu meningkatkan akurasi deteksi tunarungu secara signifikan dengan menggunakan data visual dan audio visual. Model ini berhasil mencapai nilai Area Under Curve (AUC) sebesar 0,97, yang jauh lebih tinggi dibandingkan dengan model visual konvensional yang hanya mencapai AUC sebesar 0,52. Temuan ini menegaskan potensi besar penggunaan GAN dalam pengembangan sistem pendeteksian tuna rungu yang lebih andal dan efektif. Dengan demikian, penelitian ini memberikan dasar yang kuat untuk eksplorasi lebih lanjut tentang penggunaan metode pembelajaran mendalam dalam deteksi gangguan pendengaran, serta membuka peluang untuk inovasi di bidang teknologi kesehatan. Hasil yang diperoleh juga menunjukkan bahwa integrasi data audio dan visual dapat memberikan informasi yang lebih komprehensif dalam sistem deteksi.