Analisis Sentimen Berbasis Aspek pada Ulasan Aplikasi JConnect Mobile Menggunakan IndoBERT dan mBERT

Abstrak

JConnect Mobile merupakan aplikasi mobile banking milik Bank Jatim yang menyediakan berbagai layanan transaksi perbankan secara digital. Meskipun jumlah pengguna terus meningkat, masih terdapat berbagai keluhan terkait tampilan, fitur dan performa, serta layanan yang diberikan, yang tercermin dari ulasan pengguna dan rating aplikasi yang relatif rendah. Penelitian ini bertujuan untuk membandingkan performa model IndoBERT dan mBERT dalam klasifikasi sentimen berbasis aspek pada ulasan pengguna JConnect Mobile. Data penelitian yang digunakan  sebanyak 4.344 ulasan pengguna periode 2021–2025 yang diperoleh dari Google Play Store dan App Store. Tahapan penelitian meliputi data collecting, labeling, preprocessing, feature extraction, modeling, dan evaluasi. Eksperimen dilakukan menggunakan metode 5-Fold Cross Validation dengan 24 skenario pengujian yang terdiri atas konfigurasi hyperparameter epoch 5 dan 10, dropout 0,2, 0,4, dan 0,6, serta batch size 16 dan 32. Hasil evaluasi 5-Fold Cross Validation menunjukkan bahwa IndoBERT memberikan performa terbaik dengan mean F1-score sebesar 0,86 pada aspek tampilan, 0,83 pada aspek fitur dan performa, serta 0,74 pada aspek layanan. Berdasarkan hasil tersebut, IndoBERT dipilih sebagai model tebaik karena konsisten mengungguli mBERT pada seluruh aspek. Evaluasi pada data uji menunjukkan bahwa model terbaik mampu melakukan klasifikasi sentimen dengan baik dengan F1-score sebesar 0,80 pada aspek tampilan, 0,83 pada aspek fitur dan performa, serta 0,81 pada aspek layanan.