Veri gölleri ve anlamsal katmanlar her biri kendi duvarlı bahçelerinde yaşıyor, oldukça dar kullanım durumlarına sıkı sıkıya bağlı. Veri ve analitik altyapısı buluta taşınırken, çoğu kişi bu temel teknoloji bileşenlerinin modern veri ve analitik yığınına nasıl sığdığını sorguluyor. Bu makalede, bir veri göl evi ve bir semantik katmanın birlikte, veri gölleri ile analitik altyapısı arasındaki geleneksel ilişkiyi nasıl alt üst ettiğini inceleyeceğiz. Semantik bir göl evinin basitleştirmeyi nasıl önemli ölçüde basitleştirebileceğini öğreneceğiz. bulut veri mimarileri, gereksiz veri hareketini ortadan kaldırın ve değer elde etme süresini ve bulut maliyetlerini azaltın.
Geleneksel Veri ve Analitik Mimarisi
2006 yılında Amazon, şirket içi veri merkezini buluta boşaltmanın yeni bir yolu olarak Amazon Web Services'ı (AWS) tanıttı. Temel bir AWS hizmeti, dosya veri deposuydu ve bununla birlikte ilk bulut veri gölü olan Amazon S3 doğdu. Diğer bulut satıcıları, bundan sonra kendi bulut veri gölü altyapısı sürümlerini tanıtacaktı.
Bulut veri gölü, ömrünün büyük bir bölümünde aptal, ucuz veri saklama - Bir sahneleme Veriler yararlı bir şeye dönüştürülene kadar ham veriler için alan. Analitik için, veri gölü, kopyalanıp optimize edilmiş bir analitik platformuna yükleninceye kadar veriler için bir tutma kalemi görevi gördü; tipik olarak ya OLAP küplerini, Tableau Hyper gibi tescilli iş zekası (BI) araç veri özetlerini besleyen ilişkisel bir bulut veri ambarı ya da Power BI Premium veya yukarıdakilerin tümü. Bu işleme modelinin bir sonucu olarak, verilerin bir kez ham biçimde ve bir kez de "analitik olarak optimize edilmiş" biçimde olmak üzere en az iki kez depolanması gerekiyordu.
Çoğu geleneksel bulut analitiği mimarisinin aşağıdaki şemaya benzemesi şaşırtıcı değildir:
Gördüğünüz gibi, "analitik ambarı", tüketicilere analitik sağlayan işlevlerin çoğundan sorumludur. Bu mimarideki sorun şu şekildedir:
- Veriler iki kez depolanır, bu da maliyetleri artırır ve operasyonel karmaşıklık yaratır.
- Analitik ambarındaki veriler bir anlık görüntüdür, yani veriler anında eskir.
- Analitik ambarındaki veriler genellikle veri gölündeki verilerin bir alt kümesidir ve bu da tüketicilerin sorabileceği soruları sınırlar.
- Analitik ambarı, bulut veri platformundan ayrı ve farklı şekilde ölçeklenerek ek maliyetler, güvenlik endişeleri ve operasyonel karmaşıklık getirir.
Bu dezavantajlar göz önüne alındığında, "Bulut veri mimarları neden bu tasarım modelini seçsin?" Cevap, analitik tüketicilerinin taleplerinde yatıyor. Veri gölü teorik olarak analitik sorguları doğrudan tüketicilere sunabilirken, pratikte veri gölü çok yavaştır ve popüler analitik araçlarıyla uyumsuzdur.
Keşke veri gölü bir analitik ambarının faydalarını sağlayabilseydi ve biz de verileri iki kez depolamaktan kurtulabilseydik!
Data Lakehouse'un Doğuşu
"Göl Evi" terimi, 2020'de yeni ufuklar açan Databricks teknik raporuyla ilk kez sahneye çıktı. "Göl Evi nedir?" Ben Lorica, Michael Armbrust, Reynold Xin, Matei Zaharia ve Ali Ghodsi tarafından. Yazarlar, veri gölünün yalnızca statik bir dosya deposu değil, analitik sağlamak için bir motor işlevi görebileceği fikrini ortaya attı.
Veri gölü sağlayıcıları, veri gölündeki ham veri dosyaları üzerinde çalışan ve ANSI standart bir SQL arabirimini kullanıma sunan yüksek hızlı, ölçeklenebilir sorgu motorları sunarak vizyonlarını gerçekleştirdiler. Bu önemli yenilikle, bu mimarinin savunucuları, veri göllerinin, verileri çoğaltmaya gerek kalmadan bir analitik ambarı gibi davranabileceğini savunuyorlar.
Ancak, analitik ambarının, yalnızca veri göl evi mimarisi tarafından karşılanmayan diğer hayati işlevleri yerine getirdiği ortaya çıktı:
- Çok çeşitli sorgular üzerinde tutarlı bir şekilde "düşünce hızı" sorguları (2 saniyenin altındaki sorgular) sağlamak.
- Tüketicilerin SQL yazmaya gerek duymadan soru sormasına olanak tanıyan iş dostu bir anlamsal katman sunmak.
- Sorgu zamanında veri yönetişimi ve güvenliği uygulama.
Bu nedenle, bir veri göl evinin gerçekten analitik ambarının yerini alması için başka bir şeye ihtiyacımız var.
Semantik Katmanın Rolü
Rolü hakkında çok şey yazdım. anlam katmanı modern veri yığınında. Özetlemek gerekirse, semantik katman, fiziksel verileri sorgu zamanında iş dostu verilere dönüştürmek için veri sanallaştırma teknolojisinden yararlanan iş verilerinin mantıksal bir görünümüdür.
Bir veri göl evinin üstüne bir anlamsal katman platformu ekleyerek, anlamsal katman platformu şu nedenlerle analitik ambar işlevlerini tamamen ortadan kaldırabiliriz:
- Veri sanallaştırma ve otomatikleştirilmiş sorgu performansı ayarlamayı kullanarak veri göl evinde "düşünce sorgularının hızını" sağlar.
- Her bir BI aracının içine gömülü olan tescilli anlamsal görünümlerin yerini alan ve işletme kullanıcılarının SQL sorguları yazmaya gerek kalmadan soru sormasına olanak tanıyan iş dostu bir anlamsal katman sunar.
- Sorgu zamanında veri yönetişimi ve güvenliği sağlar.
Anlamsal bir katman platformu, veri göl evinde eksik olan eksik parçaları sağlar. Kuruluşlar, anlamsal bir katmanı bir veri göl eviyle birleştirerek şunları yapabilir:
- Veri kopyalarını ortadan kaldırın ve veri boru hatlarını basitleştirin.
- Veri yönetimini ve güvenliğini birleştirin.
- İş ölçütleri için "tek bir doğruluk kaynağı" sağlayın.
- Verileri veri gölünde tutarak operasyonel karmaşıklığı azaltın.
- Analitik tüketicilerine daha fazla veriye ve daha zamanında veriye erişim sağlayın.
Semantik Lakehouse: Herkes Kazanır
Bu mimari ile herkes kazanıyor. Tüketiciler gecikme olmadan daha ayrıntılı verilere erişebilir. BT ve veri mühendisliği ekiplerinin taşıyacak ve dönüştürecek daha az verisi vardır. Finans, bulut altyapı maliyetlerine daha az para harcar.
Gördüğünüz gibi, anlamsal bir katmanı bir veri göl evi ile birleştirerek, kuruluşlar verilerini ve analitik işlemlerini basitleştirebilir ve daha fazla veriyi daha hızlı, daha fazla tüketiciye daha düşük maliyetle sunabilir.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
- Kaynak: https://www.dataversity.net/the-semantic-lakehouse-explained/
