Evaluasi Machine Learning untuk Prediksi Pembatalan Hotel dengan Threshold Adjustment dan Cost-Based Evaluation: Machine Learning Evaluation for Hotel Cancellation Prediction with Threshold Adjustment and Cost-Based Evaluation

Abstrak

Pembatalan pemesanan hotel merupakan permasalahan krusial yang berdampak langsung pada pendapatan dan perencanaan operasional. Penelitian ini mengevaluasi penerapan threshold adjustment dan cost-based evaluation untuk meningkatkan kualitas pengambilan keputusan bisnis. Penelitian ini melibatkan perbandingan beberapa jenis model machine learning menggunakan dataset hotel booking demand. Kinerja model dinilai menggunakan metrik F0.5-Score, precision, ROC AUC, dan pendekatan cost-based evaluation berbasis net revenue. Hasil penelitian menunjukkan bahwa Random Forest memberikan kinerja terbaik dengan F0.5-Score 0.8279, precision 0.878 dan ROC AUC 0.9165. Model lain seperti Logistic Regression (baseline) dengan F0.5-Score 0.7816, XGBoost dengan F-.5-Score 0.8108 dan ANN dengan F0.5-Score 0.8091 menunjukan performa lebih relatif lebih rendah, mengindikasikan bahwa dataset ini lebih cocok menggunakan pendekatan ensamble learning. Temuan penting mengungkapkan bahwa penyesuaian threshold berdasarkan F0.5-Score tidak selalu menghasilkan keuntungan ekonomi maksimum. Penggunaan threshold (0.52) terbukti menghasilkan nilai net revenue lebih tinggi dibandingkan threshold optimal berbasis F0.5-Score. Pendekatan ini diharapkan dapat meningkatkan kualitas pengambilan keputusan bisnis bagi manajer hotel dalam pengelolaan risiko finansial.