Yazının icadından önce insanlar yasadıklarını, bildikleri şeyleri birbirlerine konuşarak ve bu bilgilerde kulaktan kulağa herkese ve sonraki nesillere aktarırlardı. Daha sonra deri üzerine, papirus yapraklarına ve kağıt üzerine. yazılmaya, sonra kitap olarak ve günümüzde bilgisayar gibi çok daha kolay ve hızlı araçlar kullanılarak bilgiler saklanmaya başlandı. Son 6 senedir, insanlar dünyanın herhangi bir yerinden istedikleri bilgilere internet aracılığıyla ulaşabilmektedirler.
Tabi ki bilgisayarlarımızda bulunan gerekli olan bilgilerin saklanması konusu doğal olarak önem kazanmıştır. Artık bilgisayarlarda istediğimiz her türlü bilgiyi saklayıp, istediğimiz zaman kullanabilmekteyiz. Yakın geçmişte de kamu ve özel kuruluşlarda eski dönemlere ait bilgilerin bilgisayar ortamına geçirilmesi ve saklanması çalışmaları yapılmaya başlandı.
Sadece arşiv bilgileri değil firmaların müşteri ve personelleri ile ilgili bilgiler, hastanelerde hasta kayıtları,hasta takip süreçlerine kadar çeşitli bilgiler bilgisayarlarda saklanıp, bu saklanan bilgilerden çeşitli analizler ve geleceğe yönelik tahminler yapılabilmekte ve daha birçok yararlı amaç için kullanılmaktadır. İşte bu veriler veri ambarlarında veya datamart denen küçük veri ambarlarında saklanılıp kullanılmaktadır.
Veri Ambarı Nedir?
Veri ambarı ilişkili verilerin sorgulanabilindiği ve analizlerinin yapılabildiği bir depodur.(Jarke,473)
İs organizasyonlarında bilgi akış mimarisinde veri ambarları iki amaçla oluşturulmaktadır:
1. Hareketsel ve organizasyonel görevler arasındaki depo ve analitik stratejik verilerin birikimini sağlar. Bu veriler daha sonra yeniden kullanılmak üzere arşivlenir. Veri ambarları verilerin sorgulanabildiği ve analiz yapılabilindiği bir depodur.
2. Veri Ambarlarının pazarda yeni fırsatlar bulmaya, rekabete katkı, yoğun proje çevirimi, iş, envanter,ürün maliyetlerinin azalmasının yanında farklı işlere ait verilerin ilişkilendirilmesi, karar destek ve alınan bilgiye hızlı cevap verebilme gibi birçok katkısı vardır.
Şekil 1. Veri Ambarı Bileşenleri
Kaynak:
Laudon C.Kenneth, Laudon P.Jane,"Management Information System...",6.bs,USA,200,sf.248.
Gehrke J.Ramakrishnan R.,"DataBase Management System",2.bs.
Operasyonel ve Enformasyonel Veriler:
Operasyonel veriler, iş yapılırken kullanılan kayıtlardır. Sistemin OLTP (Online Transactional Processing) ile veriler kaydedilir ve güncellenir. OLTP‘ye örnek olarak muhasebe uygulamaları ile rezervasyon sistemlerini verebiliriz.
Enformasyonel veriler, analiz yapılabilen kayıtlardır. Bu veriler kullanılarak karar destek, rapor üretimi, yönetici bilişim sistemleri ve derin istatistik analizleri yapılabilir. Bu iki veritipi arasındaki farklılıklar vardır.
Veri Ambarı ile OLTP’i karşılaştırdığımızda Farklılıklar Tablo1’deki gibidir. (Oracle)
Tablo 1. OLTP ve Veri Ambarı
OLTP OLAP veya Veri Ambarı
Normalizasyon yüksek (3 NF)* N. düşük (1 NF)
Küçük boyutlu tablolar* Geniş boyutlu tablolar
İş süresi boyutu küçük** Geniş
Kullanıcı sayısı >1000* Kullanıcı sayısı <100
En eski veri 90 günlük* En eski veri yıllık
Güncelleme sürekli** Güncelleme daha uzun aralıklı
Cevap süresi çok hızlı* Cevap süresi uygun zamanda
Fiziksel kapsamlı* Dışşsal kapsamlı
Günlük işleri destekler** Operasyonel veri analizi yapılır
Oku/Yaz haraketleri** Sadece/Oku hareketleri
Basit sorgular** Karışık sorgularT>
MB/GB** GB/TB
Stratejik iş kararları**
Kaynak: *
intellisolve.com - Welcome to intellisolve.com, **
www.db.stanford.edu
Veri Ambarı Bileşenleri ve Fonksiyonları (Degirmendereli,61)
• Değişik platformlar üzerindeki işletimsel uygulamalara ait verilere erişim ve gerekli verilerin bu platformlardan alınması.
• Alınan verilerin temizlenmesi, tutarlı duruma getirilmesi, özetlenmesi, birleştirme ve birbirleriyle entegrasyonunun sağlanması.
• Dönüştürülen verilerin Veri Ambarı veya datamart ortamına dağıtımı
• Gönderilen verilerin bir veri tabanında toplanması
• Depolanan bilgi ile metadatada bulunan ilgili bilgilerin veri katoloğunda saklanması ve son kullanıcılara sunulması.
• VeriAmbarı veya Datamartda bulunan bilgileri uç kullanıcıların karar destek amaçlı kullanımının sağlanması.
VeriAmbarları değişik veri modellerini ve çeşitli enformasyonel uygulamaları destekleyebilmeli, bilgiyi oluştumak için tüm olanakları sağlamalıdır. Veriler, farklı boyutlara göre incelenecek ve analiz edilecek biçimde düzenlenmiş olmalıdır.
Veri Ambarı Projelerinde Beş Adım
I. İşlerde kullanılan verilerin tanımlanması. Bu verilerin belirlenmesinde diğer departmanlarla işbirliği yapılmasına gerek vardır. IT departmanının diğer departmanların yardımı olmadan hazırlayacağı veri ambarı projesinin başarılı olması beklenemez.
II. Ambar için veri modeli yaratılır.
III. Bu adım ‘the notorious cleanse-the data-step’
IV. Araçları seçerken kullanıcıların görüşlerini dikkate almak ve kullanıcılara araçların kullanımını öğretmek.
V. Monitor kullanımı ve sistem performansı. Kullanımdaki değişiklikler Veri ambarı ekibine bildirilmesi gerekir.
DataMart
Datamartlar küçük boyutlu (1-10 GB) bölümsel ambarlardır. Datamartlarda verilerine ihtiyaç duyulan bülümlere ait veri ambarıdır. Datamartlar Veriambarının alt kümesidir. Organizasyonun (işletmenin) belirli kullanıcıları için ayrlmış ve onlara ait verileri içerir.(10)
Metadata
VeriAmbarının en önemli bileşenlerinden biri metadatadır. VeriAmbarında verilerin tanımlandığı kısımdır. Metadata “veri hakkında veri“ anlamındadır. Metadata her veri elementinin anlamını, hangi elementlerin hangileriyle nasıl ilişkili olduğunu ve kaynak verisi ile erişilecek veri gibi bilgileri içermektedir. Metadartada standartlar kurulur.(10)
Veri Ambarındaki veriler, veri ambarı yöneticisinin kullandığı teknik veriler ve VeriAmbarı kullanıcılarının kullandığı iş verileri olarak ikiye ayrılır.
Teknik veriler: Operasyonel veritabanı tanımlarını ve veriambarı tanımlarını içerir. Bu iki tanım veya şema veri ambarını çalıştırılabilinmesini sağlayan veri taşıma operasyonlarını içerir. Bu bilgiler VeriAmbarı yöneticisine VeriAmbarında birbiriyle ilişkili verileri göstererek yardımcı olan bilgilerdir.
İş verileri: Kullanıcılara yardım eder. Kullanıcıların veritabanı oluşturan veriler dışındaki VeriAmbarında bulunan bilgilere ulaşmalarına yardımcı olur. Ayrıca veri ambarına verinin ne zaman ve nereden geldiği gibi bilgilerede ulaşılmasını sağlar.
Dönüştürme ve Entegrasyon
Metadata
• Özetleme ve biriktirme
• Tamir ve arındırma
• Özetleme, sıralama, düzenleme
• Yükleme
VeriAmbarı Gerçekleştirme Yaklaşımları (Degirmendereli,60)
• İki katmanlı veri ambarı
Kuruluş çapında farklı karar destek uygulamalarını destekleyecek konsolide bir VeriAmbarıdır .
• Bir Katmanlı VeriAmbarı
Departmanlar bazında datamartların oluşturulmasını içerir.
• Yönetim bilişim Sistemi (varsayılan veri ambarı)
İşletimsel veri üzerinde karar destek işlemlerine olanak sağlayan veri ambarıdır. Veri analizi gerçekleştirmede yetersizdir. Tam bir VeriAmbarı sayılmaz.
VeriAmbarı Oluşturulması
• Sağlam RDBMS (Relational Database Management System)
• Metadata Yönetimi
• SMP/MPP
• Sistem Yönetim Araçları
• Güçlü ağ yapısı
VeriAmbarı Yönetimi:
• Veri Sistemleri kaynağını değiştirmek
• Hedeflenen veri modelini değiştirmek
• Senkronize metadata
• Kullanıcılar için içerikleri tanımlayan bilgi katalogları
• Sistem kaynaklarına talebi artırma
• Geri besleme sistemini planlama
• Sosyoloji
•
o Kullanıcı beklentilerini kontrol etme
o Gerçek iş sonuçlarını ilan etme
• Performans
•
o Sorgu sonuçlarını biriktirmemek
o Datamartların ilişkiselliğini arttırmak
VeriAmbarlarında son kullanıcı araçları
• Sorgu ve Raporlar
• OLAP, çokboyutlu analiz
• Yönetici bilişim sistemleri
Veri Ambarı Süreci
• Şematik entegrasyon
Çok çeşitli kaynaklardan veriler alındığında oluşabilecek yanlış karşılaştırma ve eşleşmelerin önlenmesi gerekir.
• Karışık Kaynaklar
Çok çeşitli veriambarlarından istenilen bilgiye ulaşılabilinmelidir.
• Yükleme, Güncelleme, Arındırma
Veriler girilebilmelidir. Bu veriler, belli zamanlarda yenilenmeli ve çok eski verilerden sistem arındırılabilinmelidir.
• Metadata Yönetimi
Ambardaki bütün verilere ait bilgilerin geliş zamanları ve tüm kayıtları tutulmaktadır.
İş Zekası Yazılımları ve Data Mining
İş zekası yazılımları verilerin analizinde kullanılan yazılımlardır.Bu yazılımlar,
• Karar Destek Sistemleri
• Yönetici Bilişim sistemleri
• Data Mining içerir.
Data Mining
Data mining ile sistem veriyi araştırır, modeli belirler, sınıflandırır ve birleştirir.
Örneğin pazarlama modelleri müşterilerin satınalma modellerini analiz etmede kullanışlıdır ve bu analiz sonuçlarından yararlanılabilinmektedir. Buna göre pazarlama stratejileri geliştirme, envanter organizasyonu ile kar maksimizasyonu, maliyet minimizasyonu yapilabilinmektedir.
Bunların yanında Finans sektöründe Portföy yönetimi, risk tahmini, sağlık ve sigorta endüstrisinde hile tespiti, politika tahmini, üretim ve süreç kontrolde optimizasyon, şemalama, görsel denetim sistemleri gibi amaçlarla uygulanabilinmektedir. Data mining, VeriAmbarının çok belirgin kullanıldığı kullanıcıların almak istediği çeşitli cevaplar için sorgular yaratmalarıdır. Data mining, veri ambarının ileri şeklidir. Çok sayıda veri birikimi gerektirmektedir.
Maliyetler
VeriAmbarları pahalı girişimlerdir. Donanım, yazılım, danışmanlık ve işletme çalışanların maliyetlerinin tamamı içinde VeriAmbarı başlangıç versiyonunun ortalama maliyeti 1,5 milyon dolardır. (Watson,50)
Veri Ambarı Çalışmalarında Gerçekleşen Sonuçlar
Veri ambarları projelerinde çalışmış 106 kişiden alınan anket sonuçlarına dayanarak ortaya cıkarılmış olan onemli noktalardan bazıları aşağıda listelenmiştir.(Watson,55)
• İş, pazarlama ve satış, finans, operasyonel ve üretim bölümleri işletmelerde veri ambarlarının en yoğun kullanıcılarıdır.
• Beklenen fayda gerçekleşenden az veya eşit olur.
• En önemli yararı daha fazla ve değerli veri ve en az derecede onemli yararı sağladığı stratejik iş hedeflerinin başarılmasına yardımcı olmasıdır.
• VeriAmbarı öncelikle büyük firmaların alanındadır.
• İlk pazarlama ve satış bölümü destek olur.
• Baskın ve belirgin bir veritabanı mimarisi yoktur.
• VeriAmbarı maliyetlidir.
• Kısıtlı veriye dayalı olarak firmaların yüksek yatırıma döndükleri görülür.
Sağlık sektöründeki veri ambarı Calışmalarına Ornekler:
Veri ambarlarının sağlık sektöründeki kullanımına gen bankası ve North American Association of Central Cancer Registration (NAACCR) örnek olarak verebiliriz. Genetik alanında meydana gelen gelişmeler ışığında bilim adamları artık genleri kullanarak özellikle suç işleyenlere yönelik bir veri ambarı oluşturmaya başlamışlardır. Halen, birçok suçta suçun işlendiği suç mahalinden elde edilen ve suçluya ait olduğu düşünülen saç, tırnak, kan gibi dokulardan yapılan DNA incelemesi ile suçlu kesin ve kolay olarak tespit edilebilinmektedir. Her insanın kendisine ait bir parmak izi olduğu gibi kendisine ait bir DNA yapısıda bulunmaktadır.
Aralık 1997‘den itibaren 8 eyalette FBI’ın hazırlamış olduğu software kullanılarak daha önce suç işlemiş ve tekrar suç işleme potansiyeline sahip kişilerin DNA örnekleri girilmeye başlanmıştır. Bu sayede ilk kez Wiskonsin’de cinayete teşebüs eden ve 1989‘da seks suçu işlemiş bir kişi yakalanmıştır. Ekim 1998‘de 50 eyaletin database’i aktif hale gelmiştir. Bunun sadece suçlulardan alınan DNA örneklerinden oluşması eleştiri konusu olmuştur. Ancak, tüm popülasyonu kapsayan böyle bir girişim çok pahalıya mal olacağı bir gerçektir. Zamanla genetik alanındaki tekniklerin maliyetleri azaldıkça bu da yaygınlık kazanacağı kesindir. (Laudon,248)
Sağlık alanında veri ambarının kullanılmaya başlandığı diğer bir konu kanserdir. NAACCR’ın oluşturduğu ve ülke çapında birçok kanser merkezinin dahil olduğu kanserli hastalara ait birçok veri toplanmaktadır. Bunun için gerekli olan software, network ağı, görevlendirilen kişilerin eğitimi ile ilgili her türlü destek NAACCR tarafından sağlanmaktadır. Elde edilen verilerden kanserin etiyolojisi, tedavisi ve tedavi sonuçları hakkında geniş kapsamlı bilgiler elde edilmektedir. (14)
Sonuç
Firmaların pazarda yeni fırsatlar bulmasına, rekabet etmek için olumlu bir etki sağlayan ve maliyetlerin azalması, farklı işlere ait ilişkilerin ortaya çıkarılması, karar destek sistemlerine ve elde edilen bulgulara ve müşteri ihtiyaçlarına çabuk cevap verebilme gibi birçok katkısı olan veri ambarları görülüyor ki sadece kar amaçlı değil topluma faydalı olacak şekilde de kullanılabilmektedir.
Turkiye’de firmaların bu konuya önem vermeye başladıklarını da görmekteyiz.