Senin, 04 Oktober 2010

OLAP dan Data-Mining


Suatu data warehouse hanya bermanfaat apabila berbagai informasi penting dapat dihasilkan, dan untuk menghasilkan informasi penting diperlukan perangkat lunak aplikasi pemroses data. Ada dua sistem perangkat lunak yang biasa digunakan untuk menarik informasi dari data warehouse, yaitu: On Line Analytical Processor(OLAP) dan Data-mining.
Olap adalah perangkat lunak yang melakukan pemrosesan yang memanipulasi dan menganalisa data bervolume besar dari berbagai perspektif (multidimensi). Data multidimensi adalah data yang dapat dimodelkan sebagai atribut dimensi dan atribut ukuran. Atribut dimensi adalah atribut kualitatif seperti nama barang, warnanya, dan jenisnya, sedang atribut ukuran adalah atribut kuantitatif seperti jumlah barang dan harganya. OLAP dapat digunakan untuk menganalisis data lebih dalam lagi dengan teknik drill-d


Suatu data warehouse hanya bermanfaat apabila berbagai informasi penting dapat dihasilkan, dan untuk menghasilkan informasi penting diperlukan perangkat lunak aplikasi pemroses data. Ada dua sistem perangkat lunak yang biasa digunakan untuk menarik informasi dari data warehouse, yaitu: On Line Analytical Processor(OLAP) dan Data-mining.
Olap adalah perangkat lunak yang melakukan pemrosesan yang memanipulasi dan menganalisa data bervolume besar dari berbagai perspektif (multidimensi). Data multidimensi adalah data yang dapat dimodelkan sebagai atribut dimensi dan atribut ukuran. Atribut dimensi adalah atribut kualitatif seperti nama barang, warnanya, dan jenisnya, sedang atribut ukuran adalah atribut kuantitatif seperti jumlah barang dan harganya. OLAP dapat digunakan untuk menganalisis data lebih dalam lagi dengan teknik drill-down, slicing, dan consolidation.
  • Drill-down adalah pengolahan data sedemikian rupa sehingga dari data yang ringkas dapat dijabarkan menjadi data yang lebih detil agar dapat diperoleh informasi yang rinci.
  • Slicing adalah pengolahan data untuk melihat data dari berbagai sudut pandang, misalnya dengan melihat hubungan penjualan satu macam produk berdasarkan kategorinya, seperti penjualan sirup berdasarkan rasa strawberry, mawar, pisang ambon, dsb.
  • Consolidation adalah pengolahan data dengan cara melakukan pengelompokan, misalnya data penjualan pertahun selama 5 tahun berturut-turut, atau menurut triwulan, dan bulanan.
Beberapa perangkat lunak OLAP yang dipasarkan adalah:
  • PowerPlay (Cognos Software)
  • Metacube (Informix/Stanford Technology Group)
  • Express Server (Oracle)
  • HighGate (Sybase)
Data-Mining adalah perangkat lunak yang digunakan untuk menemukan pola-pola tersembunyi maupun hubungan-hubungan yang terdapat dakam kumpulan basisdata seperti data warehouse. Data mining memanfaatkan berbagai teknik analisis untuk menemukan pola tersebut, antara lain: statistik, logika fuzzi, jaringan syaraf tiruan, algoritma genetika, dan teknologi kecerdasan buatan lainnya.
Sebagai contoh tersedia data penjualan mobil selama beberapa tahun dalam bentukdata warehouse, dengan data-mining ternyata kemudian ditemukan fakta bahwa “kebanyakan pembeli mobil Xenia adalah wanita berusia antara 25 sampai dengan 35 tahun”, oleh sebab itu segmen pasar ini perlu digarap semaksimal mungkin.
Aplikasi data mining dalam bidang perbankan misalnya digunakan untuk mendeteksi pola penyalahgunaan kartu kredit serta tingkat loyalitas nasabah. Pada bidang pemasaran dapat ditemukan pola pembelian para konsumen, serta segmen pasar potensial produk tertentu.

Apabila berbagai basis data selama beberapa tahun selalu dipelihara dan dikumpulkan maka kumpulan berbagai data periodik ini bisa disebut sebagai data warehouse. Kumpulan basis data ini dapat menjadi bahan untuk analisis data dan terutama untuk mendukung pengambilan keputusan, dan pada umumnya tidak digunakan oleh organisasi untuk memproses transaksi. Sistem untuk transaksi data harian biasa disebut sebagai On Line Transaction Processing (OLTP), sebagai perbandingan berikut ini disajikan tabel perbedaan Data Warehouse dan OLTP.
TABEL: Perbandingan antara Data Warehouse dan OLAP
Data Warehouse
OLTP
  • Lebih cendrung menangani data masa lalu
  • Data disimpan dalam satu macam platform
  • Melayani permintaan insidentil, tak berstruktur, dan bersifat heuristik
  • Mendukung pengambilan keputusan strategis
  • Data diorganisasi menurut subjek, misalnya menurut produk, supplier
  • Ber-orientasi pada analisis
  • Dapat mendukung kelompok manajerial yang berjumlah sedikit
  • Menangani data masa kini
  • Data bisa saja tersimpan dalam berbagai platform
  • Melayani permintaan yang periodik atau berulang
  • Mendukung pengambilan keputusan operasional (sehari-hari)
  • Data diorganisasi menurut fungsi, misalnya menurut penjualan atau menurut produksi
  • Ber-orientasi pada transaksi
  • Mendukung kelompok kerja operasional, berjumlah banyak
Sumber data dari Data Warehouse adalah data operasional dalam suatu organisasi seperti data pelanggan, data produk, dsb, kemudian ditambah dengan data eksternal misalnya dari Internet seperti data pemasok, dan data komersial lainnya.
Data Warehouse bersifat multidimensional, lebih dari dua dimensi, sementara tabel relasional untuk OLAP hanya berdimensi dua. Sebagai contoh berikut ini adalah tayangan data tiga dimensi dari data pembelian barang selama beberapa tahun.
GAMBAR: Gambaran Data Tiga Dimensi
GAMBAR: Gambaran Data Tiga Dimensi
Berdasarkan susunan data dimensional seperti diatas, analisis data dapat dilakukan misalnya untuk menjawab pertanyaan : “Berapa jumlah barang-1 yang disalurkan oleh pemasok-2 antara tahun (n-3) sampai dengan tahun (n-1)?”. Persoalan utama yang mungkin dihadapi adalah volume data warehouse tentu sangat besar sehingga diperlukan teknologi pemrosesan paralel seperti Symmetric Multi Processor (SMP) atau Massively Parallel Processor(MPP).
Data Warehouse dapat dibangun menggunakan program aplikasi yang dirancang sendiri, tetapi tersedia beberapa perangkat lunak yang dipasarkan khusus untuk membangun data warehouse pada suatu organisasi, antara lain:
  • SourcePoint (Software AG)
  • HP Intelligent Warehouse (Hewlett Packard)
  • FlowMark (IBM)
Laudon dan Laudon (1998) dalam bukunya menuliskan beberapa langkah untuk membangun data warehouse organisasi, yaitu:
  1. Menentukan misi dan sasaran bisnis yang akan dicapai dengan membangun data warehouse.
  2. Melakukan identifikasi komponen data yang diperlukan dari basisdata operasional untuk membangun data warehouse.
  3. Merancang struktur basis data untuk data warehouse.
  4. Membangun kebijakan dalam mengarsipkan data lama sehingga ruang penyimpanan bisa diatur sedemikian rupa agar eksekusi program analisa data tidak terlalu lamban.
  5. Mentransfer data operasional secara periodik ke dalam basis data warehouse.
Selain data warehouse dikenal pula istilah data mart yang tidak merupakan bagian dari data warehouse untuk melayani kebutuhan organisasi dalam lingkup yang lebih sempit, misalnya kebutuhan bagian atau departemen tertentu dalam organisasi. Perbedaan antara data warehouse dan data mart antara lain:
  • Data mart difokuskan untuk keperluan pemakai yang terkait dalam sebuah departemen atau suatu fungsi bisnis.
  • Data mart biasanya mengandung data operasional yang tidak terlalu rinci seperti pada data warehouse.
  • Data mart umumnya mengandung informasi yang lebih sedikit dibanding dengan data warehouse.
Beberapa contoh produk data mart adalah sebagai berikut:
  • SmartMart (IBM)
  • Visual Warehouse (IBM)
  • PowerMart (Informatica)

Apabila berbagai basis data selama beberapa tahun selalu dipelihara dan dikumpulkan maka kumpulan berbagai data periodik ini bisa disebut sebagai data warehouse. Kumpulan basis data ini dapat menjadi bahan untuk analisis data dan terutama untuk mendukung pengambilan keputusan, dan pada umumnya tidak digunakan oleh organisasi untuk memproses transaksi. Sistem untuk transaksi data harian biasa disebut sebagai On Line Transaction Processing (OLTP), sebagai perbandingan berikut ini disajikan tabel perbedaan Data Warehouse dan OLTP.
TABEL: Perbandingan antara Data Warehouse dan OLAP
Data Warehouse
OLTP
  • Lebih cendrung menangani data masa lalu
  • Data disimpan dalam satu macam platform
  • Melayani permintaan insidentil, tak berstruktur, dan bersifat heuristik
  • Mendukung pengambilan keputusan strategis
  • Data diorganisasi menurut subjek, misalnya menurut produk, supplier
  • Ber-orientasi pada analisis
  • Dapat mendukung kelompok manajerial yang berjumlah sedikit
  • Menangani data masa kini
  • Data bisa saja tersimpan dalam berbagai platform
  • Melayani permintaan yang periodik atau berulang
  • Mendukung pengambilan keputusan operasional (sehari-hari)
  • Data diorganisasi menurut fungsi, misalnya menurut penjualan atau menurut produksi
  • Ber-orientasi pada transaksi
  • Mendukung kelompok kerja operasional, berjumlah banyak
Sumber data dari Data Warehouse adalah data operasional dalam suatu organisasi seperti data pelanggan, data produk, dsb, kemudian ditambah dengan data eksternal misalnya dari Internet seperti data pemasok, dan data komersial lainnya.
Data Warehouse bersifat multidimensional, lebih dari dua dimensi, sementara tabel relasional untuk OLAP hanya berdimensi dua. Sebagai contoh berikut ini adalah tayangan data tiga dimensi dari data pembelian barang selama beberapa tahun.
GAMBAR: Gambaran Data Tiga Dimensi
GAMBAR: Gambaran Data Tiga Dimensi
Berdasarkan susunan data dimensional seperti diatas, analisis data dapat dilakukan misalnya untuk menjawab pertanyaan : “Berapa jumlah barang-1 yang disalurkan oleh pemasok-2 antara tahun (n-3) sampai dengan tahun (n-1)?”. Persoalan utama yang mungkin dihadapi adalah volume data warehouse tentu sangat besar sehingga diperlukan teknologi pemrosesan paralel seperti Symmetric Multi Processor (SMP) atau Massively Parallel Processor(MPP).
Data Warehouse dapat dibangun menggunakan program aplikasi yang dirancang sendiri, tetapi tersedia beberapa perangkat lunak yang dipasarkan khusus untuk membangun data warehouse pada suatu organisasi, antara lain:
  • SourcePoint (Software AG)
  • HP Intelligent Warehouse (Hewlett Packard)
  • FlowMark (IBM)
Laudon dan Laudon (1998) dalam bukunya menuliskan beberapa langkah untuk membangun data warehouse organisasi, yaitu:
  1. Menentukan misi dan sasaran bisnis yang akan dicapai dengan membangun data warehouse.
  2. Melakukan identifikasi komponen data yang diperlukan dari basisdata operasional untuk membangun data warehouse.
  3. Merancang struktur basis data untuk data warehouse.
  4. Membangun kebijakan dalam mengarsipkan data lama sehingga ruang penyimpanan bisa diatur sedemikian rupa agar eksekusi program analisa data tidak terlalu lamban.
  5. Mentransfer data operasional secara periodik ke dalam basis data warehouse.
Selain data warehouse dikenal pula istilah data mart yang tidak merupakan bagian dari data warehouse untuk melayani kebutuhan organisasi dalam lingkup yang lebih sempit, misalnya kebutuhan bagian atau departemen tertentu dalam organisasi. Perbedaan antara data warehouse dan data mart antara lain:
  • Data mart difokuskan untuk keperluan pemakai yang terkait dalam sebuah departemen atau suatu fungsi bisnis.
  • Data mart biasanya mengandung data operasional yang tidak terlalu rinci seperti pada data warehouse.
  • Data mart umumnya mengandung informasi yang lebih sedikit dibanding dengan data warehouse.
Beberapa contoh produk data mart adalah sebagai berikut:
  • SmartMart (IBM)
  • Visual Warehouse (IBM)
  • PowerMart (Informatica)

Data Warehouse


Apabila berbagai basis data selama beberapa tahun selalu dipelihara dan dikumpulkan maka kumpulan berbagai data periodik ini bisa disebut sebagai data warehouse. Kumpulan basis data ini dapat menjadi bahan untuk analisis data dan terutama untuk mendukung pengambilan keputusan, dan pada umumnya tidak digunakan oleh organisasi untuk memproses transaksi. Sistem untuk transaksi data harian biasa disebut sebagai On Line Transaction Processing (OLTP), sebagai perbandingan berikut ini disajikan tabel perbedaan Data Warehouse dan OLTP.
TABEL: Perbandingan antara Data Warehouse dan OLAP
Data Warehouse
OLTP
  • Lebih cendrung menangani data masa lalu
  • Data disimpan dalam satu macam platform
  • Melayani permintaan insidentil, tak berstruktur, dan bersifat heuristik
  • Mendukung pengambilan keputusan strategis
  • Data diorganisasi menurut subjek, misalnya menurut produk, supplier
  • Ber-orientasi pada analisis
  • Dapat mendukung kelompok manajerial yang berjumlah sedikit
  • Menangani data masa kini
  • Data bisa saja tersimpan dalam berbagai platform
  • Melayani permintaan yang periodik atau berulang
  • Mendukung pengambilan keputusan operasional (sehari-hari)
  • Data diorganisasi menurut fungsi, misalnya menurut penjualan atau menurut produksi
  • Ber-orientasi pada transaksi
  • Mendukung kelompok kerja operasional, berjumlah banyak
Sumber data dari Data Warehouse adalah data operasional dalam suatu organisasi seperti data pelanggan, data produk, dsb, kemudian ditambah dengan data eksternal misalnya dari Internet seperti data pemasok, dan data komersial lainnya.
Data Warehouse bersifat multidimensional, lebih dari dua dimensi, sementara tabel relasional untuk OLAP hanya berdimensi dua. Sebagai contoh berikut ini adalah tayangan data tiga dimensi dari data pembelian barang selama beberapa tahun.
GAMBAR: Gambaran Data Tiga Dimensi
GAMBAR: Gambaran Data Tiga Dimensi
Berdasarkan susunan data dimensional seperti diatas, analisis data dapat dilakukan misalnya untuk menjawab pertanyaan : “Berapa jumlah barang-1 yang disalurkan oleh pemasok-2 antara tahun (n-3) sampai dengan tahun (n-1)?”. Persoalan utama yang mungkin dihadapi adalah volume data warehouse tentu sangat besar sehingga diperlukan teknologi pemrosesan paralel seperti Symmetric Multi Processor (SMP) atau Massively Parallel Processor(MPP).