Zephyrnet Logosu

Veri Mimarisi Nedir? Bileşenler ve Kullanımlar – VERİ VERİMLİLİĞİ

Tarih:

Veri Mimarisi, bir veriyi birbirine bağlayan altyapıyı tanımlar. İşletme Stratejisi ve Veri Stratejisi teknik uygulama ile. İdeal olarak Veri Mimarisi, insanların ve sistemlerin verilerle çalışması için bir temel sağlayan sistematik bir çerçeve içinde gerçekleşir.

Mimari altyapısının altında üç tür bileşen bulunur ve bağlanır içgörüleri artırmak için, veriye dayalı kararlar alın ve riski yönetin. Onlar içerir:

  • Sonuçlar: Çeşitli düzeylerde tasvir edilen modeller, tanımlar ve veri akışları genellikle "mimari eserler" olarak anılır.
  • Etkinlikler: Mimari amaçların formları, konuşlandırılması ve yerine getirilmesi
  • Davranışlar: İş ekiplerini, rolleri ve kurumsal mimariyi etkileyen işbirlikleri, zihniyetler ve beceriler

Her Veri Mimarisi öğe tipinin spesifik örnekleri aşağıdaki "Veri Mimarisi Bileşenleri Örneği" bölümünde yer almaktadır.

Akış verilerinden içgörü talebiyle birlikte, pek çok kişi Veri Mimarisinin temelleri Öncelikle satışları, satın almaları ve hizmetleri desteklemek için modernizasyon ihtiyacıyla karşı karşıyayız. iş zekası (BI). Yeni teknolojiler ve veri formatları kullanıma sunuldukça ve veri hızı ve kullanımı arttıkça Veri Mimarisi kuruluşlarda gelişmeye ve değişmeye devam edecek.

Tanımlı Veri Mimarisi

Veri Mimarisinin diğer tanımları, onun veri akışı etrafındaki yapısını vurguluyor ve bunun bir kurallar kümesiNe tür verilerin toplanacağını ve bunların bir veritabanı sistemi içinde nasıl kullanılacağını, işleneceği ve depolanacağını belirleyen politikalar ve modeller. 

The Harvard Business Review Veri Mimarisinin, verilerin üretimden tüketime nasıl ulaştığını ve dönüştürme veya depolama gibi aradakiler de dahil olmak üzere tüm veri etkinliklerini kapsadığını vurguluyor.

Veri gereksinimleri ve standardizasyon, bir şeyin Veri Mimarisi olup olmadığını belirlerken de merkezi bir rol oynar. DAMA DMBoK Veri Mimarisi formundaki Veri Stratejisinde ortaya konduğu gibi mevcut bir durumu tanımlamak, veri gereksinimlerini tanımlamak, veri entegrasyonunu yönlendirmek ve veri varlıklarını kontrol etmek için kullanılan spesifikasyonları belirtir. 

Veri Mimarisini ifade etmek aşağıdakilere dayanır: ortak kelime dağarcığı entegre gereksinimlerin tanımlanması, veri varlıklarının saklanmasının, düzenlenmesinin, yönetilmesinin ve stratejiyi desteklemek için kullanılmasının sağlanması. Bu paylaşılan kelime dağarcığı, Veri Mimarisinin üretmesini sağlar erişilebilir veri bir kuruluştaki sistemler ve ekipler için.

Veri Mimarisi Bileşenlerine Örnekler

Bu bölümde, bu makalenin başında bahsedilen üç farklı Veri Mimarisi bileşenini genişletmek için örnekler kullanılmıştır. 

Sonuçlar: Yukarıda belirtildiği gibi, veri mimarisi sonuçları, genellikle mimari eserler olarak adlandırılan, çeşitli düzeylerde gösterilen modeller, tanımlar ve veri akışlarından oluşur. Örneğin:

  • Kurumsal veri modeli (EDM): The EDM Kuruluş genelinde bütünsel ve tutarlı bir veri görünümü göstermek için diğer modelleme bileşenlerini birbirine bağlar. EDM aracılığıyla kavramsal modeller iş gereksinimleri haritasını fiziksel modellerle gösteren teknik planlar, sistemlerin nereye entegre edilmesi gerektiğini gösterir.
  • Otomatik veri akışları: Otomatik veri akışları, verilerin kuruluş içinde nasıl hareket ettiğini gösterir ve bir veri akışı oluşturarak DataOps'un iyileştirilmesinde kritik bir rol oynar. öngörülebilir teslimat.
  • İş sözlüğü: Bir iş sözlüğü, kavramsal veri modellerinin bileşenlerini tanımlar ve iş gereksinimlerine bağlı anlamlı tanımlar sağlar. Bu ortak anlamlar, BT ile iş dünyası arasındaki konuşmaların temelini oluşturur ve üzerinde anlaşmaya varılan bir veri altyapısının geliştirilmesine yol açar.

Faaliyetler: Veri Mimarisi faaliyetler mimari amaçları oluşturur, dağıtır ve yerine getirir. Örnek olarak kullanılan daha modern etkinliklerin bir listesi:

  • Buluta geçiş: Kuruluşlar buluta geçiş yaparak bilgi işlem, depolama, güvenlik, bakım ve yönetim kaynaklarını dış kaynaklardan temin edebilir. Kuruluşlar bu kaynakları serbest bırakarak verileri hesaplamak için daha fazla güce sahip olabilir ve içgörüler için veri depolama maliyetlerinden tasarruf edebilir. Sonuç olarak şirketler, veri mimarilerini iş ve veri stratejilerine göre güncellemek için bulut dağıtımlarını uygulayacak.
  • Veri ardışık düzenleri oluşturma: Şirketler, verileri ölçeklendirmek ve kuruluş genelinde veri hareketini optimize etmek için işlem hatları oluşturur. Bu konektörler seri olarak bağlanan veri öğelerini veri çıkışıyla dönüştürür. bir öğe bir sonrakine girdi görevi görüyor. Kuruluşlar, kuruluş genelinde veri entegrasyonunu geliştirmek ve ekipler arasındaki paylaşımı geliştirmek için veri mimarilerini bu hatları içerecek şekilde yükseltmeyi planlıyor.
  • Container mimarisine alınmış uygulamaları veya Kubernetes'i kurma: Container mimarisine alınmış uygulamalar Kodu, farklı veri ürünlerinde yeniden kullanılabilecek bileşen algoritmalarına ayırın. Veri Mimarisi, genellikle bulutta, dijital dönüşümü hızlandırmak için kapsayıcılaştırmayı kullanır. Değer yaratma Teknolojileri sürekli olarak uygun ölçekte dağıtarak ve iş operasyonlarını daha verimli hale getirerek. 

Davranışlar: Özetlemek gerekirse davranışlar, iş bölümlerini ve kurumsal mimariyi etkileyen işbirliklerini, zihniyetleri ve becerileri içerir. Aşağıda Veri Mimarisi davranışlarına ilişkin bazı örnekleri bulabilirsiniz:

  • Veri Kalitesi (DQ) zihniyeti: Veri mimarisi, mükemmel ve doğru öngörüler elde etmek için Veri Kalitesi zihniyetine sahip kişilere dayanır. Ek olarak, iyi DQ uygulamaları, teknolojinin daha etkili ve verimli kullanılmasına yol açan doğru veri mimarisi modellerine ve şemalarına bilgi sağlar. Veri Kalitesine odaklanmak, daha iyi iş ve BT çalışma ilişkilerini teşvik eder ve bu da veri mimarisini geliştirir.
  • Veri Yönetişimi (DG) işbirlikleri: DG işbirliği, kurumsal verilere erişimi, bunlarla ilişkileri ve sahipliğini uyumlu hale getirir ve resmileştirir. DG ile veri mimarisi arasındaki bu bağlantı, verilerin nerede yaşadığı, otomasyonun nasıl kullanılacağı ve gruba göre erişilebilirliğin nasıl ayarlanacağı konusunda net bir plan sağlar.
  • Meta veri yönetimi becerileri: Meta veriler, veri kümelerini ve bunların bağlamlarını tanımlamak için bağlam oluşturur. Şirketlerin bir veri varlığını diğerinden açıkça ayırt edebilmek için meta veri yönetimi yapması gerekiyor. 

Veri Mimarisi, paylaşılan meta verileri şuraya çevirir: veri modelleri. İş dünyası ve BT, meta veriler hakkında iletişim kurar ve Veri Mimarisi'nin veri modelleriyle uyum sağlamak amacıyla meta verileri oluşturmak, güncellemek ve sürdürmek için otomasyonu kullanır.

Veri Mimarisi Modelleri

İşletmeler, stratejilerine göre yaygın olarak bulunan Veri Mimarisi kalıplarına dayalı teknolojileri seçerler. Bu formlar kendilerini iki mimari türe ayırır: merkezi ve dağıtılmış mimariler. 

Merkezi veri mimarileri: Merkezi veri mimarileri, veri depolamayı tek bir depoda düzenler ve işlevler genelinde iş verilerinin tek bir görünümüne sahip olur. Bu türe ilişkin Veri Mimarisi kalıpları şunları içerir:

  • Veri deposu: veri ambarı tüm bilgiler için tek bir depo içerir ve hızlı erişim için bilgileri tek bir şemada düzenlediği için ilgi çekici kalır.
  • Veri Pazarı: A mart tarihi Belirli bir iş koluna veya amaca hizmet etmek için tasarlanmış bir veri ambarının alt kümesidir.
  • Veri Gölü: Bir veri gölü Alınabilecek, depolanabilecek, değerlendirilebilecek ve analiz edilebilecek geniş veri türlerini ve yapılarını içerir. Tanımsız bir yapıya sahiptir.

Dağıtılmış veri mimarileri: Dağıtılmış veri mimariler tek bir görünüme yol açar ancak verileri depolamak ve hesaplamak için birden fazla platform ve süreç kullanır. İşletmeler esneklik, etki alanına bağlılık ve paylaşım yetenekleri için dağıtılmış veri mimarilerini sever. Dağıtılmış mimariler genellikle aşağıdaki teknik tasarımlardan en az bir veya daha fazlasını içerir:

  • Veri Gölü Evi: veri göl evi, bir Databricks tarafından türetilen terim, bir veri gölü ile veri ambarının veri mimarilerini birleştirir.
  • Veri Ağı: Veri ağı, kuruluşların farklı etki alanları tarafından düzenlenen birden fazla veri ambarına ve göle sahip olacağını kabul eder ve tavsiyelerde bulunur. dört temel ilke işbirlikçi Veri Mimarisini genişletmek için.
  • Veri Dokusu: Veri dokusu, akıllı ve otomatikleştirilmiş algoritmaları birleştirir ve sistemler arasındaki farklı verileri birleştirerek entegre kurumsal verilere erişim sağlar. Bu Veri Mimarisi, kuruluşlar büyüdükçe zahmetsizce ölçeklenir.
  • Veri Bulutu: William McKnight'a göre veri bulutu daha yeni bir kavramdır ve Veri Mimarisi, paylaşılan verilerine birkaç tıklamayla erişen birden fazla ortağı ve şemsiye işletmeyi içermektedir. Şirketler üretken yapay zekadan en iyi şekilde nasıl yararlanabileceklerini belirledikçe Veri Mimarisi modeli sağlamlaşacak.

Genel Kullanım Durumları

Veri Mimarisi birçok kullanım senaryosunu karşılar ve bazı örnekler aşağıda verilmiştir:

  • DataOps'a katılma: DataOps'a katılma izler ve iyileştirir kurumsal veri akışı, öngörülebilir iş ve veri hizmetleri oluşturur ve mevcut veri mimarisi bileşenlerini uyarlanabilir hale getirir.
  • Makine öğreniminden (ML) yararlanmak için Veri Kalitesini artırma: Makine öğrenimi açıklıyor algoritmalar Yeni girdi kalıplarının analiz edilmesi ve sentezlenmesinden elde edilen çıktıları ayarlayarak daha iyi içgörü ve çözümlere yol açar. Şirketler, iyi bir veri mimarisiyle Veri Kalitesini artırır, bu da makine öğrenimi için daha iyi eğitim materyalleri ve öneriler sağlar.
  • Veri silolarını parçalamak: Batı Yakası'ndaki büyük bir kamu hizmeti şirketi şunu istedi: siloları kırmak daha iyi entegrasyon için. Veri mimarisi, bu hedefe ulaşmak için veri akışlarına, depolamaya ve idareye/yönetime odaklandı.
  • Bir veri dokusunun uygulanması: Domino uygulandı Çeşitli veri türleri ve konumları genelinde dağıtılmış verileri entegre etmek ve birleştirmek için bir veri dokusu. Bu, birden fazla veri formatı ve hizmeti genelinde içgörülere erişilmesine yol açtı.

Roller ve Sorumluluklar

Bir süre veri mimarı oynuyor Bir kuruluşun Veri Mimarisinin geliştirilmesinde, güncellenmesinde ve sürdürülmesinde en önemli rol olan herkes veri mimarisine katılır. Örneğin, bir çalışanın bir veri cihazını yetkisiz erişime karşı kilitlemesi, veri altyapısını daha az riskli hale getirerek iş stratejisini destekler.

Her kişi, konumuna bağlı olarak Veri Mimarisi ile farklı şekilde etkileşime girer. Örnek roller aşağıda açıklanmıştır:

  • Veri mimarları: Veri mimarı, işletmeyi verilerine bağlayarak net spesifikasyonlar, modeller ve tanımlar sağlar. Bu rol genişledi ve teknik bir uygulama önerirken iş anlayışını gerektirdi.
  • Veri mühendisleri: Veri mühendisleri Veri Mimarisi oluşturun ve bakımını yapın veri sistemleri. Gibi bazı manuel işlemler yapabilirler. ETL, veri kümelerini diğer sistemler tarafından kullanılmak üzere dönüştürmek için.
  • Konu uzmanları (KOBİ'ler): KOBİ'ler düzenlemekMevcut mimariyi geliştirerek veri kümelerini yönetin, yönetin ve teslim edin. KOBİ'ler veri mimarına ihtiyaçlar ve uygulamalar konusunda tavsiyelerde bulunur. Bazı KOBİ'ler Veri Mimarisini sürükle ve bırak arayüzü gibi bir uygulama aracılığıyla değiştirebilir.
  • Hukuk ekipleri: Veri mimarileri uymalı düzenlemelerle ve bununla ilgili %65 2023 yılında dünya nüfusunun %XNUMX'si Avrupa GDPR'sine benzer kanunların kapsamına girecek. Avukatların şirketlere mevcut ve güncel veri mimarileri içerisinde bu düzenlemelere nasıl uyum sağlayacakları konusunda tavsiyelerde bulunmaları gerekiyor. 
  • Proje yöneticileri: Bir proje yöneticisi, ekiplerin veri mimarisini veri modelleri, veri akışları veya diğer sonuçlardaki spesifikasyonlara göre geliştirmesini, uygulamasını, sürdürmesini ve güncellemesini sağlar.

Veri Mimarisi Neden Önemlidir?

iyi Veri Mimarisi Veri kullanıcısının verileri analiz etmek yerine verileri ayıklamak ve düzenlemek için daha fazla zaman harcamasını önler. Veri Mimarisi, standartlaştırma yoluyla teknolojileri ve araçları bir kuruluş için daha değerli hale getirir.

Avantajları şunlardır:

  • Organizasyonların hazırlanması gelişmek için modüler bir yaklaşımla hızlı bir şekilde
  • kolaylaştırıcı hiza BT ve iş sistemleri
  • Kuruluş çapında karmaşık veri ve bilgi dağıtımını yönetme
  • Yeni iş faaliyetlerine ilişkin içgörüler sağlamak
  • Güvenlik ihlallerinden kaynaklanan riskleri yönetme

Shutterstock.com lisansı altında kullanılan görsel

spot_img

En Son İstihbarat

spot_img