Pemanfaatan Pandas, NumPy, Spark, dan TableauPower BI dalam Pengolahan dan Visualisasi Big Data untuk Mendukung Pengambilan Keputusan

Abstrak

Perkembangan teknologi informasi menghasilkan volume data yang sangat besar, menuntut metode pengolahan dan analisis data yang efisien. Penelitian ini membahas peran empat alat utama dalam ekosistem data science: Pandas, NumPy, Apache Spark, Tableau, dan Power BI. Pandas dan NumPy digunakan untuk pengolahan data skala kecil hingga menengah, sedangkan Spark unggul dalam pemrosesan terdistribusi skala besar. Tableau dan Power BI digunakan untuk visualisasi data guna mendukung pengambilan keputusan. Hasil eksperimen menunjukkan bahwa Spark 30× lebih cepat dari Pandas pada dataset 100 ribu baris dan mampu menangani 10 juta baris, sementara Tableau lebih responsif dalam visualisasi interaktif. Integrasi alat-alat ini dapat meningkatkan efektivitas analisis data di berbagai sektor.