Apa itu Datawarehouse dan Keuntungan dari datawarehouse

Apa Itu DataWarehouse?

Datawarehouse  adalah sebuah struktur data yang dioptimasi untuk aktifitas Business Intelligence(BI).

Aktifitas ini menggunakan penyimpanan data di datawarehouse untuk membuat laporan, memberikan analisa performa dan meprediksi tren. Aktifitas ini disimpan dalam database standart. Sehingga perbedaan sebenarnya hanyalah struktur penyimpanan datanya saja.Ketika sebuah organisasi perlu data untuk analisa informasi dalam BI maka perusahaan memerlukan sebuah data yang terintegrasi, sayangnya dalam kenyataan data yang dibutuhkan sering tersebar dalam berbagai database perusahaan seperti CRM, ERP, Sales, HR dan Finance. Fungsi utama datawarehouse adalah membawa data ini menjadi satu dengan bersih. Data tersebut diverifikasi terlebih dahulu dan di-standardkan. 

Contoh data yang distandarkan : uang, berat, ukuran. 

Datawarehouse juga menyimpan data historical. Misal, dengan datawarehouse kita bisa melihat perubahan harga sebuah barang dalam datawarehouse. Query dalam datawarehouse pun sangat teroptimasi untuk menjalankan query yang meberikan hasil sangat besar sehingga dapat kita bilang bahwa struktur dalam datawarehouse sangat powerfull, meskipun datawarehouse tidak teroptimasi untuk kegiatan transaksi seperti insert data, update dan delete. 

Datawarehouse bekerja dalam konsep yang disebut Data Mart. Data mart sebuah unit singular dalam datawarehouse. Hal ini akan kita pelajari. Saat ini akan kita masuk dulu ke perbedaan datawarehouse dengan database.

Beda Database dan Datawarehouse

Database digunakan untuk menyimpan data mentah, seperti data transaksi atau disebut juga dengan OLTP(Online Transaction Processing) sedangkan datawarehouse lebih digunakan untuk OLAP(Online Analytical Processing) yang digunakan sebagai dasar untuk Business Inteligence. Data dari OLTP akan diolah(dikumpulkan dan distandarkan) baru kemudian digunakan untuk OLAP.

OLTP biasanya digunakan dalam sebuah struktur yang ter-normalisasi, untuk mengurangi redudansi  data dengan cara membaginya menjadi lebih kecil dan menyimpan dalam tabel lain. Keunggulannya adalah sangat praktis bila digunakan untuk memasukan data dengan cepat. Struktur ter-normalisasi ini termasuk lambat dalam melakukan query dikarenakan joint yang ada dalam table-table yang terbagi.

Data dalam database juga biasanya tidak terstandarisasi atau tervalidasi. Misal data di gudang menggunakan dus bisa jadi di toko menggunakan dus dan bungkus. Karena itu semua aplikasi front end untuk memasukan data akan melakukan pengecekan syntax dan tipe data. Database tersebut tidak akan memverifikasi apakah data itu valid. Kemudian bila perusahaan ini international maka akan ada perbedaan mata uang dan juga dalam ukuran.

Kemudian data transaksi(OLTP) ini tidak dapat menyimpan atau memproses data sejarah dengan baik. Misal harga barang Rp. 1.500,- kemudian naik menjadi Rp. 2.000,- maka OLTP akan melakukan update harga tanpa mencatat kapan data ini terupdate dan database OLTP ini harusnya memiliki index minimum untuk memperoleh kecepatan dalam menyimpan data agar tidak terjadi bottleneck dalam memasukan data.

Datawarehouse menggunakan struktur yang mengurangi jumlah table yang digunakan untuk menjalankan query dengan cara men-denormalisasi data yang ada. Sementara hal ini meningkatkan redudansi, dengan kecepatan yang diberikan maka redudansi adalah harga pertukaran yang tergolong murah. Kemudian datawarehouse juga menyimpan data sejarah jadi bisa diketahui kapan harga berubah atau harga bahan mentah mulai naik sehingga laporan akan jauh lebih akurat. Berlainan dengan database, datawarehouse harus menggunakan indexing secara maksimal untuk kecepatan membaca data.

OLTP membutuhkan usaha yang lebih besar dalam menghasilkan laporan, dikarenakan akan mengambil data dari beberapa tabel dan menggunakan join untuk menggabungkan tabel tersebut. Hal ini menjadi sebuah isu untuk sebuah laporan yang rata-rata menggunakan query select daripada query insert, update dan delete. Sedangkan datawarehouse memiliki struktur yang memang digunakan untuk mengubah data transaksional menjadi sebuah data yang dioptimasi untuk melakukan query. Jadi datawarehouse jauh lebih cocok untuk keperluan Business Intelligence daripada OLTP karena BI butuh melakukan analisa pada berjuta bahkan miliaran data.

Permasalahan yang muncul bila perusahaan memaksakan OLTP adalah saat laporan sales di-query maka database akan diakses, hal ini akan membuat transaksi yang terjadi lebih lambat sehingga proses insert, update dan delete yang cepat menjadi lama. Kedua, dengan pemaksaan database untuk BI maka persentase terjadi yang namanya locking menjadi lebih tinggi

Keuntungan Data Warehouse

Kembalinya nilai investasi, sebuah organisasi menghabiskan banyak sumber daya(uang) untuk memastikan sebuah data warehouse terbentuk dan bedasarkan International Data Corporation yang melakukan perhitungan memberikan laporan bahwa banyak sekali data warehouse yang memberikan kembali nilai investasi sebesar 401% dalam 3 tahun di tahun 1996. Kenapa 3 tahun?? seperti yang kita tahu membangun data warehouse memerlukan waktu. Seiring dengan meningkatnya teknologi pada tahun 2002 diketahui kembali bahwa pengembalian nilai tersebut meningkat menjadi 431% dalam waktu rata-rata 1 tahun.

Keuntungan dalam kompetisi, kembalinya nilai investasi tentu tidak semata-mata terjadi begitu saja. Data warehouse memampukan sebuah perusahaan melakukan pengolahan data dan menampilkan data tersebut dalam waktu yang singkat. Data ini sebelumnya tidak bisa muncul dikarenakan data berserakan di cabang-cabang dan berbeda. Tetapi setelah dilakukan transformasi pada data dan data tersebut sudah tersinkronisasi maka perusahaan dapat melihat informasi yang sebelumnya tidak tampak, tidak diketahui bahkan yang tidak terbentuk seperti tren, informasi kebiasaan pelanggan bahkan jumlah permintaan barang di masing-masing daerah. Hal ini menyebabkan pengambilan keputusan lebih cepat, tepat dan akurat.

Meningkatnya produktifitas dari pengambil keputusan, karena data sudah terintegrasi maka keputusan bisa dilakukan dengan lebih baik karena hasil analisa data yang lebih lengkap. Kemudian dengan data tersebut keputusan yang diambil bisa menghemat biaya dari perusahaan. contohnya diketahui bahwa di gudang barang A masih menumpuk dan cabang C membutuhkan barang tersebut. Daripada mereka memproduksi maka barang dari gudang A dikirimkan ke cabang C. Hal ini akan menghemat ongkos dengan sangat luar biasa dan tidak mungkin terjadi apabila data tidak pernah tersinkronisasi.