Penyaringan stasiun pemantau yang berada di dalam wilayah administrasi hidrologis DAS Cimanuk. Menghilangkan data stasiun dari wilayah sungai tetangga (contoh: DAS Cisanggarung, DAS Kalicilet).
Input Data
3.879.106 Baris
Output Data
2.845.209 Baris
Retensi Data
73,35% Retensi
# Memuat skrip Tahap 1...
Menyeleksi tipe sensor telemetri utama (Automatic Rain Recorder / ARR Curah Hujan & Automatic Water Level Recorder / AWLR Tinggi Muka Air). Mengeliminasi data klimatologi non-hidrologi seperti suhu, angin, dan kelembaban.
Input Data
2.845.209 Baris
Output Data
709.944 Baris
Retensi Data
18,30% Retensi
# Memuat skrip Tahap 2...
Standarisasi unit numerik pengukuran tinggi muka air telemetri. Mengonversi seluruh rekaman sensor Duga Air dari satuan sentimeter (cm) ke meter (m) dengan membagi nilai 100.
Input Data
709.944 Baris
Output Data
709.944 Baris
Retensi Data
100% Retensi (18,30% Awal)
# Memuat skrip Tahap 3...
Rekonstruksi deret waktu & penambalan kekosongan data telemetri (Missing Values). Menggunakan Interpolasi Linear Temporal dengan limit toleransi maksimal 3 jam per stasiun.
Input Data
709.944 Baris
Output Data
709.944 Baris
Retensi Data
Grid 15-Menit
# Memuat skrip Tahap 4...
Pembersihan anomali malfungsi sensor (TMA 0.0 m mutlak & outlier > 30 m / hujan > 200 mm), serta perumusan fungsi matematis Koefisien Rezim Sungai (KRS) dan Waktu Jeda (Lag Time).
Input Data
709.944 Baris
Output Data
623.668 Baris Bersih
Retensi Data
16,08% Retensi Steril
# Memuat skrip Tahap 5...
Skrip ETL Terpadu (Master Pipeline) yang mengeksekusi seluruh 5 tahapan preprocessing data telemetri hidrologi BBWS Cimanuk-Cisanggarung secara sekuensial dari 3,8 Juta data mentah hingga ekspor biner Apache Parquet Columnar.
Input Data
3.879.106 Baris (880 MB)
Output Data
623.668 Baris (12 MB Parquet)
Retensi Data
Kompresi ~99% Ukuran