Analisis Sentimen Ulasan Pengguna Aplikasi Info BMKG pada Google Play Store Menggunakan Model Transformer BERT dan RoBERTa

Abstrak

Aplikasi Info BMKG memiliki peran penting dalam menyampaikan informasi cuaca, iklim, gempa bumi, dan peringatan dini bencana kepada masyarakat. Seiring meningkatnya penggunaan perangkat mobile di Indonesia, analisis sentimen menjadi relevan untuk mengevaluasi kepuasan pengguna serta mengidentifikasi aspek yang perlu diperbaiki. Penelitian ini bertujuan untuk menganalisis sentimen ulasan pengguna terhadap aplikasi Info BMKG di Google Play Store dengan memanfaatkan model transformer BERT dan RoBERTa. Dataset 10.791 ulasan pengguna yang diklasifikasikan ke dalam tiga kategori sentimen meliputi positif, netral, dan negatif. Tahapan penelitian mencakup eksplorasi data awal, prapemrosesan data, serta evaluasi model. Hasil evaluasi menunjukkan bahwa model BERT memberikan performa terbaik dengan akurasi sebesar 93,14%, disusul oleh RoBERTa dengan akurasi 91,06% pada skenario pembagian data 80:10:10. Selain itu, model BERT juga unggul dalam metrik lain, yakni presisi 93,45%, recall 92,90%, dan F1-score 93,17%, dibandingkan RoBERTa dengan presisi 91,12%, recall 90,72%, dan F1-score 90,91%. Analisis lanjutan menunjukkan bahwa meskipun aplikasi mendapatkan apresiasi, pengguna juga menyoroti isu keterlambatan notifikasi gempa dan ketidakakuratan informasi. Temuan ini diharapkan dapat menjadi dasar pengembangan lebih lanjut dalam meningkatkan kualitas layanan dan efektivitas penyampaian informasi oleh BMKG.