Veri Ambarı Eğitimi – Bölüm 8 – Data Mart Nedir? Data Mart VS Data Warehouse

Data Mart Nedir? Data Mart VS Data Warehouse

Data Mart nedir?

Bir DATA MART bir organizasyonun tek bir işlevsel alanda odaklanmış ve bir veri ambarına depolanan veri alt kümesi içerir. Bir Data Mart, Veri Ambarının yoğunlaştırılmış bir sürümüdür ve bir organizasyondaki belirli bir departman, birim veya kullanıcı grubu tarafından kullanılmak üzere tasarlanmıştır. Örneğin, Pazarlama, Satış, İK veya finans. Genellikle bir organizasyondaki tek bir departman tarafından kontrol edilir.

Data Mart, genellikle bir Veri ambarına kıyasla yalnızca birkaç kaynaktan veri alır. Veri reyonları küçük boyutludur ve bir Datawarehouse’a kıyasla daha esnektir.

Data Mart’a neden ihtiyacımız var?

  • Data Mart, veri hacmindeki azalma nedeniyle kullanıcının yanıt süresini artırmaya yardımcı olur
  • Sık istenen verilere kolay erişim sağlar.
  • Data mart, kurumsal Datawarehouse ile karşılaştırıldığında uygulaması daha kolaydır. Aynı zamanda, Data Mart’ı uygulamanın maliyeti, tam bir veri ambarının uygulanmasına kıyasla kesinlikle daha düşüktür.
  • Veri Ambarı ile karşılaştırıldığında bir veri parçası çeviktir. Modelde değişiklik olması durumunda, daha küçük olması nedeniyle datamart daha hızlı oluşturulabilir.
  • Bir Datamart, tek bir Konu Datamart Uzmanı tarafından tanımlanır. Aksine veri ambarı, çeşitli alanlardan disiplinler arası KOBİ tarafından tanımlanır. Bu nedenle Data mart, Datawarehouse’a kıyasla değişime daha açıktır.
  • Veriler bölümlenir ve çok ayrıntılı erişim denetimi ayrıcalıklarına izin verir.
  • Veriler, farklı donanım / yazılım platformlarında bölümlere ayrılabilir ve depolanabilir.

Data Mart Türü

Üç ana veri pazarı türü vardır:

  1. Bağımlı : Bağımlı veri reyonları, doğrudan operasyonel, harici veya her iki kaynaktan veri çekilerek oluşturulur.
  2. Bağımsız : Merkezi bir veri ambarı kullanılmadan bağımsız veri pazarı oluşturulur.
  3. Karma : Bu tür veri reyonları, veri ambarlarından veya işletim sistemlerinden veri alabilir.

Bağımlı Data Mart

Bağımlı bir veri pazarı, kuruluşun verilerini tek bir Veri Ambarından tedarik etmeye olanak tanır. Merkezileştirmenin faydasını sunar. Bir veya daha fazla fiziksel veri reyonu geliştirmeniz gerekiyorsa, bunları bağımlı veri reyonları olarak yapılandırmanız gerekir.

Bağımlı veri reyonları iki farklı şekilde oluşturulabilir. Ya bir kullanıcının ihtiyaca bağlı olarak hem veri pazarına hem de veri ambarına erişebileceği veya erişimin yalnızca veri pazarı ile sınırlı olduğu yerlerde. İkinci yaklaşım, bazen veri hurdalığı olarak adlandırıldığı için optimal değildir. Veri hurdalığında, tüm veriler ortak bir kaynakla başlar, ancak hurdaya çıkarılır ve çoğunlukla hurdaya çıkarılır.

Bağımsız Veri Mart

Merkezi Veri ambarı kullanılmadan bağımsız bir veri pazarı oluşturulur. Bu tür bir Data Mart, bir organizasyon içindeki daha küçük gruplar için ideal bir seçenektir.

Bağımsız bir veri reyonunun ne kurumsal veri ambarıyla ne de başka bir veri mağazasıyla ilişkisi yoktur. Bağımsız veri pazarında veriler ayrı ayrı girilir ve analizleri de bağımsız olarak gerçekleştirilir.

Bağımsız veri reyonlarının uygulanması, bir veri ambarı oluşturma motivasyonuna aykırıdır. Her şeyden önce, çok çeşitli bilgiler isteyen farklı ilgi alanlarına sahip birden çok kullanıcı tarafından analiz edilebilen tutarlı, merkezi bir kurumsal veri deposuna ihtiyacınız vardır.

Hibrit Data Mart:

Karma bir veri pazarı, Veri ambarı dışındaki kaynaklardan gelen girdileri birleştirir. Bu, kuruluşa yeni bir grup veya ürün eklendikten sonra geçici entegrasyon istediğinizde yardımcı olabilir.

Birden çok veritabanı ortamı ve herhangi bir kuruluş için hızlı uygulama dönüşümü için en uygun yöntemdir. Ayrıca en az veri temizleme çabası gerektirir. Hybrid Data mart aynı zamanda büyük depolama yapılarını da destekler ve daha küçük veri merkezli uygulamalar için en uygun olanıdır.

Datamart Uygulamasında Adımlar

Bir Data Mart uygulamak, ödüllendirici ama karmaşık bir prosedürdür. Bir Data Mart uygulamak için ayrıntılı adımlar şunlardır:

Designing (Tasarım)

Tasarım, Data Mart uygulamasının ilk aşamasıdır. Gereksinimler hakkında bilgi toplamaya kadar bir veri pazarı talebini başlatmak arasındaki tüm görevleri kapsar. Son olarak, veri pazarının mantıksal ve fiziksel tasarımını oluşturuyoruz.

Tasarım aşaması aşağıdaki görevleri içerir:

  • İş ve teknik gereksinimleri toplamak ve veri kaynaklarını belirlemek.
  • Uygun veri alt kümesini seçme.
  • Veri pazarının mantıksal ve fiziksel yapısının tasarlanması.

Veriler aşağıdaki kriterlere göre bölümlere ayrılabilir:

  • Tarih
  • İş veya Fonksiyonel Birim
  • Coğrafya
  • Yukarıdakilerin herhangi bir kombinasyonu

Veriler, uygulama veya DBMS düzeyinde bölümlere ayrılabilir. İş ortamındaki değişiklikle her yıl farklı veri modellerine izin verdiği için Uygulama düzeyinde bölümleme yapılması önerilir.

Hangi Ürün ve Teknolojilere İhtiyacınız Var?

Basit bir kalem ve kağıt yeterli olurdu. UML veya ER diyagramları oluşturmanıza yardımcı olan araçlar, meta verileri mantıksal ve fiziksel tasarımlarınıza da ekler.

Constructing (İnşaat)

Bu, uygulamanın ikinci aşamasıdır. Fiziksel veri tabanını ve mantıksal yapıları oluşturmayı içerir.

Bu adım aşağıdaki görevleri içerir:

  • Önceki aşamada tasarlanan fiziksel veritabanının uygulanması. Örneğin tablo, indeksler, görünümler gibi veritabanı şema nesneleri oluşturulur.

Hangi Ürün ve Teknolojilere İhtiyacınız Var?

Bir veri pazarı oluşturmak için ilişkisel bir veritabanı yönetim sistemine ihtiyacınız var. RDBMS, bir Data Mart’ın başarısı için gerekli olan çeşitli özelliklere sahiptir.

  • Depolama yönetimi: Bir RDBMS, verileri oluşturmak, eklemek ve silmek için verileri depolar ve yönetir.
  • Hızlı veri erişimi: Bir SQL sorgusu ile, belirli koşullara / filtrelere göre verilere kolayca erişebilirsiniz.
  • Veri koruma: RDBMS sistemi ayrıca güç kesintileri gibi sistem arızalarından kurtulmanın bir yolunu sunar. Ayrıca, diskin başarısız olması durumunda bu yedeklemelerden verilerin geri yüklenmesine izin verir.
  • Çok kullanıcı desteği: Veri yönetim sistemi, eşzamanlı erişim, birden çok kullanıcının başka bir kullanıcı tarafından yapılan değişikliklere müdahale etmeden veya üzerine yazmadan verilere erişme ve bunları değiştirme yeteneği sunar.
  • Güvenlik: RDMS sistemi ayrıca kullanıcıların nesnelere ve belirli işlem türlerine erişimini düzenlemenin bir yolunu sağlar.

Populating (Doldurma):

Üçüncü aşamada, veri martındaki veriler doldurulur.

Doldurma adımı aşağıdaki görevleri içerir:

  • Veri Eşlemeyi hedeflemek için kaynak veriler
  • Kaynak verilerin çıkarılması
  • Veriler üzerinde temizleme ve dönüştürme işlemleri
  • Data mart’a veri yükleme
  • Meta verileri oluşturma ve depolama

Hangi Ürün ve Teknolojilere İhtiyacınız Var?

Bu doldurma görevlerini bir ETL (Dönüştürme Yükünü Çıkarma) Aracı kullanarak gerçekleştirirsiniz. Bu araç, veri kaynaklarına bakmanıza, kaynaktan hedefe eşleme yapmanıza, verileri çıkarmanıza, dönüştürmenize, temizlemenize ve veri mağazasına geri yüklemenize olanak tanır.

Bu süreçte araç, verilerin nereden geldiği, ne kadar yeni olduğu, verilerde ne tür değişiklikler yapıldığı ve hangi düzeyde özetleme yapıldığı gibi şeylerle ilgili bazı meta veriler de oluşturur.

Accessing (Erişim):

Erişim, verilerin kullanılmasını içeren dördüncü bir adımdır: verileri sorgulama, raporlar, grafikler oluşturma ve bunları yayınlama. Son kullanıcı veritabanına sorgu gönderir ve sorguların sonuçlarını görüntüler.

Erişim adımının aşağıdaki görevleri gerçekleştirmesi gerekir:

  • Veritabanı yapılarını ve nesne adlarını iş terimlerine çeviren bir meta katman oluşturun. Bu, teknik bilgisi olmayan kullanıcıların Data mart’a kolayca erişmesine yardımcı olur.
  • Veritabanı yapılarını kurun ve koruyun.
  • Gerekirse API ve arayüzleri ayarlayın

 

Hangi Ürün ve Teknolojilere İhtiyacınız Var?

Data Marta komut satırını veya GUI’yi kullanarak erişebilirsiniz. GUI, kolayca grafik oluşturabildiği ve komut satırına göre kullanıcı dostu olduğu için tercih edilmektedir.

Managing (Yönetme):

Bu, Data Mart Uygulama sürecinin son adımıdır. Bu adım, aşağıdakiler gibi yönetim görevlerini kapsar:

  • Devam eden kullanıcı erişim yönetimi.
  • Gelişmiş performansa ulaşmak için sistem optimizasyonları ve ince ayar.
  • Data Marta yeni veriler eklemek ve yönetmek.
  • Kurtarma senaryolarını planlamak ve sistemin arızalanması durumunda sistem kullanılabilirliğini sağlamak.

Hangi Ürün ve Teknolojilere İhtiyacınız Var?

Data mart yönetimi için GUI’yi veya komut satırını kullanabilirsiniz.

Veri Martlarını Uygulama için en iyi uygulamalar

Data Mart Uygulama sürecindeyken izlemeniz gereken en iyi uygulamalar şunlardır:

  • Bir Data Mart’ın kaynağı departman bazında yapılandırılmalıdır
  • Bir Data Mart’ın uygulama döngüsü kısa zaman aralıklarında, yani aylar veya yıllar yerine haftalar halinde ölçülmelidir.
  • Veri pazarı uygulaması karmaşık olabileceğinden, tüm paydaşları planlama ve tasarım aşamasına dahil etmek önemlidir.
  • Data Mart Donanım / Yazılım, Ağ Oluşturma ve Uygulama maliyetleri, planınızda doğru bir şekilde bütçelendirilmelidir
  • Data mart aynı donanım üzerinde oluşturulsa bile, kullanıcı sorgularını işlemek için bazı farklı yazılımlara ihtiyaç duyabilirler. Hızlı kullanıcı yanıtı için ek işlem gücü ve disk depolama gereksinimleri değerlendirilmelidir
  • Bir veri pazarı, veri ambarından farklı bir konumda olabilir. Bu nedenle, veri pazarına veri aktarmak için gereken Veri hacimlerini işlemek için yeterli ağ kapasitesine sahip olduklarından emin olmak önemlidir.
  • Uygulama maliyeti, Datamart yükleme işlemi için harcanan zamanı bütçelemelidir. Yükleme süresi, dönüşümlerin karmaşıklığının artmasıyla artar.

Veri Martının Avantajları ve Dezavantajları

Avantajlar

  • Veri reyonları, kuruluş çapında verilerin bir alt kümesini içerir. Bu Veriler, bir kuruluştaki belirli bir grup insan için değerlidir.
  • Oluşturulması yüksek maliyetler alabilen bir veri ambarına uygun maliyetli alternatiflerdir.
  • Data Mart, Verilere daha hızlı erişim sağlar.
  • Data Mart, kullanıcılarının ihtiyaçları için özel olarak tasarlandığından kullanımı kolaydır. Böylece bir veri pazarı iş süreçlerini hızlandırabilir.
  • Data Marts, Veri Ambarı sistemlerine kıyasla daha az uygulama süresine ihtiyaç duyar. Yalnızca verilerin tek alt kümesine konsantre olmanız gerektiğinden Data Mart’ı uygulamak daha hızlıdır.
  • Analistin veri eğilimlerini belirlemesini sağlayan geçmiş verileri içerir.

Dezavantajları

  • Çoğu zaman işletmeler, çok fazla fayda sağlamadan çok fazla farklı ve ilgisiz veri pazarı oluşturur. Korumak için büyük bir engel olabilir.
  • Data Mart, veri kümeleri sınırlı olduğu için şirket çapında veri analizi sağlayamaz.

Özet:

  • Bir Veri Pazarı, bir kuruluşun tek bir işlevsel alanına odaklanan bir Veri Ambarı alt kümesi olarak tanımlanır.
  • Data Mart, veri hacmindeki azalma nedeniyle kullanıcının yanıt süresini artırmaya yardımcı olur.
  • Üç tür veri pazarı 1) Bağımlı 2) Bağımsız 3) Karma
  • Data Mart’ın önemli uygulama adımları şunlardır: 1) Tasarlama 2) Oluşturma 3 Yerleştirme 4) Erişim ve 5) Yönetme
  • Bir Data Mart’ın uygulama döngüsü kısa zaman aralıklarında, yani aylar veya yıllar yerine haftalar halinde ölçülmelidir.
  • Data mart, oluşturmak için yüksek maliyetler alabilen bir veri ambarına uygun maliyetli alternatiflerdir.
  • Data Mart, veri seti sınırlı olduğu için şirket çapında veri analizi sağlayamaz.

 

Data Mart vs Veri Ambarı

ANAHTAR FARK

  • Veri Ambarı, farklı kaynaklardan toplanan büyük bir veri deposudur, oysa Data Mart, bir veri ambarının yalnızca alt tipidir.
  • Veri Ambarı bir organizasyondaki tüm departmanlara odaklanırken, Data Mart belirli bir gruba odaklanır.
  • Veri Ambarı tasarım süreci karmaşıktır, Data Mart sürecinin tasarımı ise kolaydır.
  • Veri Ambarı, veri işleme için uzun zaman alırken, Data Mart veri işleme için kısa bir zaman alır.
  • Veri Ambarı boyut aralığı 100 GB – 1 TB +, Data Mart boyutu 100 GB’den azdır.
  • Veri Ambarı uygulama süreci 1 aydan 1 yıla kadar sürerken, Data Mart’ın uygulama sürecini tamamlaması birkaç ay sürer.

Veri Ambarı ve Data Mart arasındaki farklar

Parametre Veri deposu Data Mart
Tanım Veri Ambarı, bir şirket içindeki farklı organizasyonlardan veya departmanlardan toplanan büyük bir veri havuzudur. Bir veri pazarı, Veri Ambarının tek bir alt türüdür. Belirli bir kullanıcı grubunun ihtiyacını karşılayacak şekilde tasarlanmıştır.
Kullanım Stratejik bir karar almaya yardımcı olur. İş için taktiksel kararlar almaya yardımcı olur.
Amaç Veri Ambarı’nın temel amacı, bir noktada entegre bir ortam ve işletmenin tutarlı bir resmini sağlamaktır. Çoğunlukla departman düzeyinde bir iş bölümünde kullanılan bir veri pazarı.
Tasarım Veri Ambarı tasarım süreci oldukça zordur. Data Mart’ın tasarım süreci kolaydır.
Boyutsal bir modelde kullanabilir veya kullanmayabilir. Ancak boyutsal modelleri besleyebilir. Bir başlangıç ​​şeması kullanarak boyutlu bir modele odaklanmıştır.
Veri işleme Veri ambarlama, kurumun geniş bir alanını kapsadığından, işlenmesi uzun zaman alır. Veri reyonlarının kullanımı, tasarımı ve uygulaması kolaydır, çünkü yalnızca küçük miktarlarda veriyi işleyebilir.
Odaklanma Veri ambarlama genel olarak tüm departmanlara odaklanmıştır. Şirketin tamamını temsil etmesi bile mümkündür. Data Mart konu odaklıdır ve departman düzeyinde kullanılır.
Veri tipi Data Warehouse’da depolanan veriler, data mart ile karşılaştırıldığında her zaman ayrıntılıdır. Veri Martları belirli kullanıcı grupları için oluşturulmuştur. Bu nedenle, veriler kısa ve sınırlıdır.
Konu alanı Veri Ambarı’nın temel amacı, bir noktada entegre bir ortam ve işletmenin tutarlı bir resmini sağlamaktır. Çoğunlukla yalnızca bir konu alanını tutun – örneğin Satış rakamı.
Veri depolama Yalnızca pazarlama verilerini değil, kurumsal çapta karar verilerini depolamak için tasarlanmıştır. Erişim katmanının performansını optimize etmek için kullanılan boyutsal modelleme ve yıldız şeması tasarımı.
Veri tipi Zaman farkı ve kalıcı tasarım kesinlikle zorunludur. Çoğunlukla konu alanının sorgu ve raporlama ihtiyaçlarını karşılamak için konsolidasyon veri yapılarını içerir.
Veri değeri Son kullanıcıların bakış açısından Salt Okunur. Doğrudan Veri Ambarı’ndan beslenen tahıldan bağımsız olarak işlem verileri.
Dürbün Veri ambarlama, herhangi bir departmandan bilgi getirebileceği için daha faydalıdır. Data mart, bir şirketin belirli bir departmanının verilerini içerir. Satış, finans, pazarlama vb. İçin ayrı veri reyonları olabilir. Sınırlı kullanıma sahiptir.
Kaynak Veri Ambarında Veriler birçok kaynaktan gelir. Data Mart’ta veriler çok az kaynaktan gelir.
Boyut Veri Ambarı boyutu 100 GB ile 1 TB + arasında değişebilir. Data Mart’ın Boyutu 100 GB’den az.
Uygulama süresi Veri Ambarı uygulama süreci aylardan yıllara uzatılabilir. Data Mart’ın uygulama süreci birkaç ay ile sınırlıdır.

Data Science Earth

Data Science Earth ekibi, üst düzey Veri Bilim çözümleri üretmek amacı ile toplanmış akademisyenler ve uzmanlardan oluşmaktadır. Öncelikli olarak veri bilincini geliştirmeyi ve küreselleşen rekabet ortamında verinin gücünün doğru kullanılmasını sağlamayı amaçlamaktadır.

Sponsor

QuestionPro 35 farklı soru seçim özelliği ile anket çalışmalarımıza güç katmaktadır.