Datawarehouse Untuk IT Geek

Saya kenal datawarehouse hanya dari pengalaman. Beruntunglah dulu waktu pertama kali kerja, akhir 1997, saya langsung dicemplungkan ke dalam proyek dw di Garuda indonesia. Sempat menyerap ilmu dari konsultan luar negeri juga. Lalu beberapa kali serempet sana sini soal proyek manajemen data (dan tentu saja berikut laporan-laporannya). 3 bulan sempat kerja jadi supporting staff di dw Standard Chartered Singapore yang totally SAS hardcores. Asik dah pokoknya. Sampai akhirnya menghadapi proyek datawarehouse di salah satu bank di indonesia. Pengalaman saya yang itu jadi nggak ada apa-apanya.
Karakteristik staff bank yang satu ini berbeda dengan bank pada umumnya. Direkturnya suka sekali mengolah data, jadi dia terbiasa dengan menulis query sendiri, membuat pivoting dan rumus di spreadsheet, bikin tabel-tabel analisa sendiri. Begitu juga dengan orang-orang departemen finansial dan operasionalnya: jagoan query ke database & mahir dengan XLS. Kendalanya, saat saya bekerja sebagai vendor dw di sini akhirnya datawareousenya tak begitu terpakai. Kenapa? Ya karena tidak menjawab kebutuhan! Laporan-laporan yang disusun hampir semuanya “compete” dengan laporan2 yang dibuat oleh departemen lain menggunakan spreadsheet. Lha mereka itu Excel Warriors, nggak ada yang susah pakai XLS. Sedangkan datanya, karena mereka terbiasa mengakses data core, akhirnya data-data dengan format standar star schema di dw sama sekali tak tersentuh. Padahal data core mereka tak ada historinya. Jadi kalau mau membuat laporan trend atau historis, staf departemen IT harus melakukan restore data lama di mesin lain dan melakukan query. Very time consuming.
Nah, mumpung saya di sini, sebagai karyawan, saya mau “membayar hutang” dengan membuat tabel-tabel historis yang bisa dan biasa mereka pakai. Setelah berkutat beberapa hari, akhirnya program saya sudah berjalan seiring dengan dw-cycles. Current data beres. Lalu past data gimana? ya mesti backdated, ftp dari backup storage, uncompress, restore, proses, clean up. Begitu loopnya. Satu loop memproses satu tanggal perlu waktu sekitar 15 menit. Satu tahun ada 250 tanggal, jadi untuk setahun diperlukan waktu 3 – 4 hari. Itupun kalau berjalan lancar (sudah saya tambahkan untuk halt all process jika ada error). Kalau rencana saya ini disetujui, saya juga akan menjalankan proses untuk tahun-tahun sebelumnya (sampai 2003?). It’s gonna be a huge historical data & a rich valuable one.