Penyaringan stasiun pemantau yang secara geografis berada di dalam batas administrasi hidrologis DAS Cimanuk dengan memindai kolom 'das name'. Menyisihkan data stasiun dari wilayah sungai tetangga (seperti DAS Cisanggarung, DAS Kabuyutan, dan DAS Kalicilet) untuk memastikan analisis fokus murni pada wilayah kajian.
Input
3.879.106 Baris (100,00%)
Output
2.845.209 Baris (73,35%)
Catatan
1.033.897 baris luar DAS disaring (26,65%)
# Memuat skrip Tahap 1...
Penyaringan parameter sensor telemetri untuk mempertahankan dua sensor hidrologi utama: Automatic Rainfall Recorder (ARR) untuk curah hujan dan Automatic Water Level Recorder (AWLR) untuk tinggi muka air. Menyaring parameter klimatologi non-hidrologi seperti suhu udara, kecepatan angin, kelembaban, dan radiasi matahari yang tidak digunakan dalam model banjir.
Input
2.845.209 Baris (73,35%)
Output
709.944 Baris (18,30%)
Catatan
2.135.265 baris data klimatologi disaring
# Memuat skrip Tahap 2...
Pemeriksaan dan penyeragaman kolom satuan ukur tinggi muka air. Nilai sensor duga air yang tercatat dalam satuan centimeter (cm) dikonversi secara otomatis menjadi satuan meter (m) dengan membagi nilai dengan 100 agar seluruh data elevasi sungai memiliki basis perbandingan yang seragam.
Input
709.944 Baris (18,30%)
Output
709.944 Baris (18,30%)
Catatan
Baris data tetap utuh (hanya konversi metrik satuan)
# Memuat skrip Tahap 3...
Penanganan nilai kosong (missing values / NaN) yang terjadi akibat gangguan transmisi telemetri di lapangan. Celah waktu singkat di bawah 3 jam diisi menggunakan teknik interpolasi linear temporal per stasiun guna menjaga kontinuitas deret waktu. Celah waktu panjang 3 jam ke atas dihapus dari basis data menggunakan fungsi dropna guna mencegah distorsi pola hidrograf akibat estimasi buatan yang terlalu panjang.
Input
709.944 Baris
Output
709.944 Baris (Toleransi celah < 3 jam)
Catatan
Celah < 3 jam diinterpolasi; celah >= 3 jam dibersihkan via dropna
# Memuat skrip Tahap 4...
Penyaringan anomali teknis sensor telemetri berdasarkan batas kewajaran fisik hidrologi di lapangan. Menghapus rekaman angka nol mutlak (0.0 m) pada sensor AWLR (karena Sungai Cimanuk mengalir sepanjang tahun, angka 0 mengindikasikan sensor tertimbun lumpur atau gagal kalibrasi) serta membuang outlier ekstrem (muka air > 30 m dan curah hujan > 200 mm/interval). Menghasilkan dataset steril untuk analisis Koefisien Rezim Sungai (KRS) dan korelasi silang waktu jeda (lag time).
Input
709.944 Baris
Output
623.668 Baris Bersih
Catatan
86.276 baris anomali teknis & outlier disaring (16,08% dari total awal)
# Memuat skrip Tahap 5...
Skrip master data pipeline yang mengotomatisasi seluruh 5 tahapan preprocessing secara sekuensial dari himpunan berkas CSV mentah (3,8 juta baris) hingga menghasilkan berkas master analitis berformat biner Apache Parquet kolumnar yang siap dimuat oleh dashboard Cimanuk-HEAD.
Input
3.879.106 Baris (880 MB CSV Mentah)
Output
623.668 Baris (12 MB Apache Parquet)
Catatan
Kompresi penyimpanan ~98,6% lebih hemat ruang