Model CNN untuk Pengenalan Ekspresi Wajah pada Pembelajaran Pemrograman dengan Kondisi Oklusi di Kelas : A CNN Model for Recognizing Facial Expressions in Programming Classes under Classroom Occlusions

Abstrak

Ekspresi wajah mahasiswa merupakan indikator non-verbal yang dapat dimanfaatkan oleh Learning Analytics (LA) untuk memantau keterlibatan dan kebingungan selama mata kuliah pemrograman (programming class). Dalam konteks riset ini, LA merujuk pada proses komputasional yang menganalisis data visual (ekspresi wajah) guna menyediakan informasi bagi pengajar dan sistem pendukung pembelajaran, baik secara waktu nyata maupun pascakelas. Kami meneliti pengenalan ekspresi wajah pada kondisi kelas nyata yang sarat oklusi (layar monitor, tas, tangan, masker, rekan mahasiswa), menggunakan CNN EfficientNet-B3 dengan transfer learning dan fine-tuning untuk mengklasifikasi empat kategori: Jenuh, Normal, Senang, dan Bingung. Evaluasi menggunakan akurasi, presisi-makro, recall-makro, F1-makro, serta confusion matrix. Pada test set, model meraih 33,33% akurasi, 0,33 presisi-makro, 0,33 recall-makro, dan 0,32 F1-makro, menegaskan tantangan pengenalan di bawah oklusi dan keterbatasan data. Akurasi validasi (26,67%) dan akurasi latih (45,31%) menunjukkan model belum cukup belajar dan terjadi kebingungan antarkelas khususnya antara Normal, Senang, dan Bingung. Meski metrik masih moderat, studi ini menyediakan baseline yang dapat direplikasi untuk FER tanggap oklusi pada konteks pendidikan pemrograman. Arah peningkatan mencakup penambahan & penyeimbangan data, augmentasi spesifik oklusi, face alignment, serta modul atensi/penanganan oklusi ringan menuju LA yang lebih tangguh di kelas nyata.