Multilabel Aspect-Based Emotion Analysis Pada Ulasan Aplikasi IKD: Pengaruh Focal Loss dan Threshold Tuning Menggunakan Indobert

Abstrak

Ulasan pengguna aplikasi Identitas Kependudukan Digital (IKD) mengandung berbagai emosi terhadap berbagai aspek layanan. Ulasan ini tidak hanya mencerminkan tingkat kepuasan terhadap layanan, tetapi juga mencakup pengalaman, keluhan, harapan, dan persepsi masyarakat terhadap kualitas sistem yang digunakan. Penelitian ini bertujuan mengembangkan model Aspect-Based Emotion Analysis (ABEA) berbasis multilabel menggunakan end-to-end IndoBERT untuk mengidentifikasi emosi pengguna pada setiap aspek layanan aplikasi IKD, sekaligus menganalisis pengaruh penerapan Focal Loss dan threshold tuning terhadap performa klasifikasi pada kondisi distribusi label yang sangat tidak seimbang. Data dikumpulkan dari 13.197 ulasan pengguna di Google Play Store dalam rentang Juni 2024 hingga November 2025 menggunakan metode web scraping, kemudian dibersihkan dan difilter hingga menghasilkan 6.891 data. Aspek layanan diidentifikasi secara empiris menggunakan BERTopic. Pelabelan dilakukan oleh tiga anotator manusia dan dua anotator AI dengan label final ditentukan melalui majority voting. Model dikembangkan melalui 6 skenario eksperimen yang memvariasikan preprocessing, Focal Loss, threshold tuning dan rasio split data. Evaluasi menggunakan metrik F1 Score Macro, F1 Score Micro, Precision, Recall, dan Hamming Loss. BERTopic menghasilkan Coherence Score 0,6196 dan Topic Diversity 0,92 dengan 5 aspek representatif. Model paling optimal diperoleh dengan konfigurasi Focal Loss, threshold 0,4, dan split 60:20:20 mencapai F1 Score Macro 0,3916, meningkat 24,1% dari baseline, dengan F1 Score Micro 0,9134 dan Recall 0,9423. Model terpilih berhasil diintegrasikan ke sistem berbasis web menggunakan framework Flask untuk memvisualisasikan hasil klasifikasi. Emosi marah mendominasi ulasan pada aspek Login & Akses Akun dan Scan Barcode ke Dukcapil, sementara aspek Dokumen & Layanan Digital mencatat emosi gembira tertinggi. Kombinasi Focal Loss dan threshold tuning terbukti efektif menangani ketidakseimbangan distribusi label pada klasifikasi multilabel ABEA berbahasa Indonesia.