Veri Ambarı Eğitimi – Bölüm 3 – Veri Ambarı VS Veritabanı

Veritabanı VS Veri Ambarı: Temel Farklar

 

Veritabanı Nedir?

Veritabanı, gerçek dünyanın bazı unsurlarını temsil eden ilgili verilerin bir koleksiyonudur. Belirli bir görev için verilerle oluşturulacak ve doldurulacak şekilde tasarlanmıştır. Aynı zamanda veri çözümünüzün yapı taşıdır.

Veri Ambarı Nedir?

Bir veri ambarı, tekli veya çoklu kaynaklardan geçmiş ve değişmeli verileri depolayan bir bilgi sistemidir. Farklı kaynaklardan gelen işlem verilerini analiz etmek, raporlamak, entegre etmek için tasarlanmıştır.

Temel Farklar

  • Veritabanı, gerçek dünyanın bazı unsurlarını temsil eden ilgili verilerin bir koleksiyonudur, oysa Veri ambarı, tekli veya çoklu kaynaklardan geçmiş ve değişmeli verileri depolayan bir bilgi sistemidir.
  • Veritabanı verileri kaydetmek için tasarlanırken, Veri ambarı verileri analiz etmek için tasarlanmıştır.
  • Veritabanı, uygulamaya yönelik veri toplama, Veri Ambarı ise konu odaklı veri toplama yöntemidir.
  • Veritabanı Çevrimiçi İşlemse İşleme (OLTP) kullanırken Veri ambarı Çevrimiçi Analitik İşleme (OLAP) kullanır.
  • Veritabanı tabloları ve birleştirmeleri, normalleştirildikleri için karmaşıktır, oysa Veri Ambarı tabloları ve birleştirmeleri normalleştirildikleri için kolaydır.
  • Veri ambarını tasarlamak için ER modelleme teknikleri kullanılırken, Veri Ambarını tasarlamak için veri modelleme teknikleri kullanılır.

 

Neden Veritabanı Kullanılmalı?

Veritabanı sistemini kullanmanın başlıca nedenleri şunlardır:

  • Verilerin güvenliğini ve erişimini sunar
  • Bir veritabanı, verileri depolamak ve almak için çeşitli teknikler sunar.
  • Veritabanı, aynı verileri kullanan birden çok uygulamanın gereksinimlerini dengelemek için verimli bir işleyici görevi görür
  • Bir DBMS, yasaklanmış verilere erişimi önlemek için yüksek düzeyde koruma elde etmek için bütünlük kısıtlamaları sunar.
  • Bir veritabanı, aynı anda yalnızca tek bir kullanıcının aynı verilere erişebileceği şekilde eşzamanlı verilere erişmenizi sağlar.

 

Neden Veri Ambarı Kullanılmalı?

Veri Ambarı kullanmanın önemli nedenleri şunlardır:

  • Veri ambarı, iş kullanıcılarının bazı kaynaklardaki kritik verilere tek bir yerden erişmesine yardımcı olur.
  • Çeşitli işlevler arası etkinlikler hakkında tutarlı bilgi sağlar
  • Üretim sistemi üzerindeki stresi azaltmak için birçok veri kaynağını entegre etmenize yardımcı olur.
  • Veri ambarı, analiz ve raporlama için TT’yi (toplam geri dönüş süresi) azaltmanıza yardımcı olur.
  • Veri ambarı, kullanıcıların farklı kaynaklardan kritik verilere tek bir yerden erişmesine yardımcı olur, böylece kullanıcının birden çok kaynaktan veri bilgilerini alma zamanından tasarruf sağlar. Ayrıca buluttaki verilere kolayca erişebilirsiniz.
  • Veri ambarı, gelecekteki tahminlerde bulunmak için farklı dönemleri ve eğilimleri analiz etmek için büyük miktarda geçmiş veriyi depolamanıza olanak tanır.
  • Operasyonel iş uygulamalarının ve müşteri ilişkileri yönetimi sistemlerinin değerini artırır
  • Analitik işlemeyi işlem veritabanlarından ayırarak her iki sistemin performansını iyileştirir
  • Paydaşlar ve kullanıcılar, kaynak sistemlerdeki verilerin kalitesini olduğundan fazla tahmin ediyor olabilir. Veri ambarı daha doğru raporlar sağlar.

 

Veritabanının Özellikleri

  • Güvenlik sunar ve fazlalığı ortadan kaldırır
  • Verilerin birden çok görünümüne izin ver
  • Veritabanı sistemi ACID uyumluluğunu (Atomiklik, Tutarlılık, İzolasyon ve Dayanıklılık) izler.
  • Programlar ve veriler arasında yalıtım sağlar
  • Veri paylaşımı ve çok kullanıcılı işlem işleme
  • İlişkisel Veritabanı çok kullanıcılı ortamı destekler

 

Veri Ambarının Özellikleri

  • Bir veri ambarı, şirketlerin devam eden operasyonları yerine temayla ilgili bilgiler sunduğu için konu odaklıdır.
  • Ayrıca verilerin Datawarehouse’da ortak ve oybirliğiyle kabul edilebilir bir şekilde depolanması gerekir.
  • Veri ambarı için zaman ufku, diğer operasyonel sistemlere kıyasla nispeten geniştir.
  • Bir veri ambarı geçici değildir, bu da önceki verilerin içine yeni bilgiler girildiğinde silinmediği anlamına gelir.

 

Veritabanı ve Veri Ambarı Arasındaki Fark

İşleme Türleri: OLAP vs OLTP

Veritabanları ile veri ambarları arasındaki en önemli fark, verileri nasıl işledikleridir.

Veritabanları, çok sayıda kısa çevrimiçi işlemi hızla silmek, eklemek, değiştirmek ve güncellemek için Çevrimiçi İşlem İşlemini (OLTP) kullanır. Bu tür bir işlem, kullanıcı isteklerine anında yanıt verir ve bu nedenle bir işletmenin günlük işlemlerini gerçek zamanlı olarak işlemek için kullanılır. Örneğin, bir kullanıcı çevrimiçi bir rezervasyon formu kullanarak bir otel odası rezerve etmek isterse, işlem OLTP ile yürütülür.

Veri ambarları, büyük hacimli verileri hızla analiz etmek için OnLine Analitik İşlem (OLAP) kullanır. Bu süreç, analistlere verilerinize farklı bakış açılarından bakma gücü verir. Örneğin, veritabanınız her günün her dakikası için satış verilerini kaydetse bile, sadece her gün satılan toplam miktarı bilmek isteyebilirsiniz. Bunu yapmak için, her gün için satış verilerini toplamanız ve toplamanız gerekir. OLAP, bunu yapmak ve aynı hesaplamayı gerçekleştirmek için OLTP kullanmanıza göre 1000 kat daha hızlı veri depolamak için kullanmak üzere özel olarak tasarlanmıştır .

Optimizasyon

Bir veritabanı, verileri maksimum hız ve verimlilikle güncellemek (eklemek, değiştirmek veya silmek) için optimize edilmiştir. Verimli işlem işleme için veritabanlarından gelen yanıt sürelerinin son derece hızlı olması gerekir. Bir veritabanının en önemli yönü, yazma işlemini sisteme kaydetmesidir; Veritabanı her satın alma işleminin kaydını tutmadıysa, bir şirket çok uzun süre faaliyette olmayacaktır!

Veri ambarları, büyük çok boyutlu veri kümelerinde az sayıda karmaşık sorguyu hızla yürütmek için optimize edilmiştir.

Veri yapısı

Veritabanlarındaki veriler normalleştirilir. Normalleştirmenin amacı, veri fazlalığını azaltmak ve hatta ortadan kaldırmaktır, yani aynı veri parçasını birden fazla kez depolamaktır. Yinelenen verilerin bu şekilde azalması, tutarlılığın artmasına ve dolayısıyla, veritabanı verileri yalnızca tek bir yerde depoladığından daha doğru verilere yol açar.

Verileri normalleştirmek, verileri birçok farklı tabloya böler. Her tablo, verilerin ayrı bir varlığını temsil eder. Örneğin, KİTAP SATIŞLARI’nı kaydeden bir veritabanı, KİTAP bilgilerini, kitapta kapsanan KONU ve YAYINCI’yı belirtmek için üç tabloya sahip olabilir.

Verileri normalleştirmek, veritabanının minimum disk alanı kaplamasını ve dolayısıyla bellek açısından verimli olmasını sağlar. Ancak, sorgulama açısından verimli değildir. Normalleştirilmiş bir veritabanını sorgulamak yavaş ve külfetli olabilir. İşletmeler, veri ambarlarındaki veriler üzerinde karmaşık sorgular gerçekleştirmek istediklerinden, bu veriler genellikle normalden uzaklaştırılır ve daha kolay erişim için tekrarlanan veriler içerir.

Veri analizi

Veritabanları genellikle sadece işlemleri işler, ancak onlarla veri analizi yapmak da mümkündür. Ancak, derinlemesine keşif, normalleştirilmiş veri yapısı ve gerçekleştirmeniz gereken çok sayıda tablo birleştirme nedeniyle hem kullanıcı hem de bilgisayar için zordur. Çok fazla zaman ve bilgi işlem kaynağı alan bir DataBase Management System (DBSM) üzerinde karmaşık sorgular oluşturmak ve yürütmek için yetenekli bir geliştirici veya analist gerektirir. Dahası, analiz derinlemesine gitmez elde edebileceğiniz en iyi şey tek seferlik statik bir rapordur, çünkü veritabanları yalnızca belirli bir zamanda verilerin anlık görüntüsünü verir.

Veri ambarları, büyük çok boyutlu veri kümeleri üzerinde karmaşık analitik sorgular basit bir şekilde gerçekleştirmek için tasarlanmıştır. Gelişmiş teori öğrenmeye veya sofistike DBMS yazılımının nasıl kullanılacağını öğrenmeye gerek yoktur. Analizin gerçekleştirilmesi daha basit olmakla kalmaz, sonuçlar çok daha kullanışlıdır; Veritabanlarının sağladığı anlık görüntü yerine, derinlemesine dalabilir ve verilerinizin zaman içinde nasıl değiştiğini görebilirsiniz.

Veri Zaman Çizelgesi

Veritabanları, işin bir yönü için günlük işlemleri işler. Bu nedenle, genellikle tek bir iş süreciyle ilgili geçmiş veriler yerine güncel veriler içerirler.

Veri ambarları, analitik amaçlar ve iş raporlaması için kullanılır. Veri ambarları genellikle farklı kaynaklardan gelen işlem verilerinin kopyalarını entegre ederek geçmiş verileri depolar. Veri ambarları, en güncel, entegre bilgileri kullanan raporlar için gerçek zamanlı veri akışlarını da kullanabilir.

Eşzamanlı kullanıcılar

Veritabanları , işletmenin işlemlerini yansıtmak için gerçek zamanlı olarak güncellendiğinden binlerce eşzamanlı kullanıcıyı destekler . Bu nedenle, birçok kullanıcının performansını etkilemeden veritabanıyla eşzamanlı olarak etkileşime girmesi gerekir.

Bununla birlikte, bir seferde yalnızca bir kullanıcı bir veri parçasını değiştirebilir – iki kullanıcının aynı bilgileri aynı anda farklı şekillerde yazması felaket olur!

Buna karşılık, veri ambarları sınırlı sayıda eşzamanlı kullanıcıyı destekler. Bir veri ambarı, ön uç uygulamalardan ayrılmıştır ve onu kullanmak, karmaşık sorguların yazılmasını ve yürütülmesini içerir. Bu sorgular hesaplama açısından pahalıdır ve bu nedenle sistemi aynı anda yalnızca az sayıda kişi kullanabilir.

ACID Uyumluluğu

Veritabanı işlemleri genellikle ACID (Atomik, Tutarlı, İzole ve Dayanıklı) uyumlu bir şekilde yürütülür. Bu uyumluluk, verilerin güvenilir ve yüksek bütünlüklü bir şekilde değişmesini sağlar. Bu nedenle, hatalar veya güç kesintileri durumunda bile güvenilir olabilir. Veritabanı ticari işlemlerin bir kaydı olduğundan, her birini en üst düzeyde bütünlükle kaydetmelidir.

Veri ambarları, birçok farklı kaynaktan alınan geçmiş verileri değiştirmek yerine okumaya odaklandığından, ACID uyumluluğu daha az sıkı bir şekilde uygulanır. Bununla birlikte, Redshift ve Panoply gibi en iyi bulut sağlayıcıları, sorgularının mümkün olduğunda ACID uyumlu olmasını sağlar. Örneğin, MySQL ve PostgreSQL kullanırken her zaman durum böyledir.

Veritabanı ve Veri Ambarı SLA’ları

Veritabanlarının çoğu SLA’sı, herhangi bir sistem arızası gelir kaybına ve davalara neden olabileceğinden%99,99 çalışma süresini karşılamaları gerektiğini belirtir.

Bazı gerçekten büyük veri ambarlarına yönelik SLA’ları, yeni verilerin periyodik olarak yüklenmesini sağlamak için genellikle kapalı kalma süresine sahiptir. Bu, modern veri ambarlama için daha az yaygındır.

Veritabanı Kullanım Durumları

Veritabanları, bir organizasyondaki günlük işlemleri işler. Bazı veritabanı uygulamaları örnekleri şunları içerir:

  • Sattığı bir ürün için sipariş oluşturan bir e-ticaret web sitesi
  • Çevrimiçi rezervasyon sistemi kullanan bir havayolu
  • Bir hastayı kaydeden bir hastane
  • Bir hesaba ATM para çekme işlemi ekleyen banka

Veri Ambarı Kullanım Durumları

Veri ambarları, işletmeleri daha bilinçli işler yapma konusunda güçlendiren yüksek düzeyde raporlama ve analiz sağlar. Kullanım örnekleri şunları içerir:

  • Müşterilere daha özel içerik sağlamak için geçmiş satın aldıklarına göre farklı gruplara ayırmak
  • Son on yıllık satış verilerini kullanarak müşteri kaybını tahmin etme
  • Önümüzdeki çeyrekte hangi alanlara odaklanılacağına karar vermek için talep ve satış tahminleri oluşturmak

Veritabanın Dezavantajları

  • Uygulayıcı bir Veritabanı sisteminin Donanım ve Yazılım maliyeti yüksektir ve bu da kuruluşunuzun bütçesini artırabilir.
  • Çoğu DBMS sistemi genellikle karmaşık sistemlerdir, bu nedenle kullanıcıların DBMS’i kullanmaları için eğitim gereklidir.
  • DBMS karmaşık hesaplamalar yapamaz
  • Zaten mevcut olan sistemlerle uyumlulukla ilgili sorunlar
  • Veri sahipleri verileri üzerindeki kontrollerini kaybederek güvenlik, sahiplik ve gizlilik sorunlarını artırabilir.

Veri Ambarının Dezavantajları

  • Yeni veri kaynakları eklemek zaman alır ve yüksek maliyetle ilişkilendirilir.
  • Bazen veri ambarıyla ilgili sorunlar yıllarca tespit edilemeyebilir.
  • Veri ambarları yüksek bakım gerektiren sistemlerdir. Verilerin çıkarılması, yüklenmesi ve temizlenmesi zaman alıcı olabilir.
  • Veri ambarı basit görünebilir, ancak aslında ortalama kullanıcılar için çok karmaşık. Veri madenciliği ve deposu kullanmayan son kullanıcılara eğitim vermeniz gerekiyor.
  • Proje yönetimindeki en iyi çabalara rağmen, veri ambarının kapsamı her zaman artacaktır.

Data Science Earth

Data Science Earth ekibi, üst düzey Veri Bilim çözümleri üretmek amacı ile toplanmış akademisyenler ve uzmanlardan oluşmaktadır. Öncelikli olarak veri bilincini geliştirmeyi ve küreselleşen rekabet ortamında verinin gücünün doğru kullanılmasını sağlamayı amaçlamaktadır.

Sponsor

QuestionPro 35 farklı soru seçim özelliği ile anket çalışmalarımıza güç katmaktadır.