Zephyrnet Logosu

Self Servis Öngörüler Sağlamak için Data Lake Engine Kullanma

Tarih:

Müşteriyi anlamak ve yerine getirmek
ihtiyaçlar iş başarısının anahtarıdır ve müşteri verileri bunun temelidir
hangi başarı inşa edilmiştir. Verilere erişmek ve bunları analiz etmek neredeyse her zaman
Veri mühendislerine ve diğer BT personeline bağımlıyken, karar vericiler
içgörüler alın. Beklemeyi atlamanın ve verileri doğrudan şu adrese teslim etmenin bir yolu:
son kullanıcılar için, dahili bir Hizmet Olarak Veri (DaaS) modeli oluşturarak,
yardımı olmadan, nerede olursa olsun kurumsal verilere erişim
BT personeli.

Hizmet Olarak Veri

Göre DAMA DMBoK2, Hizmet Olarak Veri için iki model vardır: Bir model şirket dışından gelen verileri kullanır ve ikinci model şirketin BT departmanı aracılığıyla dahili veri tüketicilerine “hizmet” olarak sunulan dahili verilerini kullanır. Harici DaaS, lisanslama kuruluşu tarafından saklanmak ve muhafaza edilmek yerine, talep üzerine sağlanan bir satıcıdan lisanslanan verileri kullanır. Bu türün yaygın bir örneği Hizmet Olarak Veri borsada satılan menkul kıymetler ve ilgili fiyatlar hakkında bilgileri içerir. DaaS'ın dahili modeli, bir şirketin kendi kurumsal verilerini veya veri hizmetlerini çeşitli işlevlere, insanlara ve operasyonel sistemlere sağlamak için bir kuruluş içindeki "hizmet" kavramını kullanır.

Daniel Newman, Forbes'ta başlıklı bir yazısında Hizmet Olarak Veri: İş İçin Büyük Fırsat Yerinde veri depolama ve analize sahip çoğu şirketin "veri odaklı içgörülere yönelik artan talebi karşılamakta zorlandığını" söyledi. DaaS, müşteri ihtiyaçlarına göre hazırlanmış veri akışları sunarak değerli zaman ve emekten tasarruf sağladığını söyledi. Şirketler ihtiyaç duydukları verilere kullanımı kolay bir formatta eriştiğinde, bu verilerden bir varlık olarak yararlanmayı çok daha kolay ve daha az zaman alır.

Tomer Shiran, kurucu ortağı ve CEO'su dremio. Shiran, analitiklere erişimin bir yardımcı programa benzer olması gerektiğine inanıyor: "Tıpkı elektriğe erişebildiğiniz veya evinizdeki musluğu açabildiğiniz ve suyunuz olduğu gibi. Bunun için endişelenmene gerek yok." Gerçek şu ki, şirketler tüm verilerine tek bir yerde sahip değiller, bu nedenle verilere kolayca erişip analiz etmekten çok uzaklar.

Dağınık Veriler ve BT Üzerindeki Yük

Birçok şirket göz önüne alındığında, bkz.
ana ayırt edici varlıkları olarak verilerini alabilmeleri gerekir.
avantajı var, dedi Shiran, ancak çoğu şirket için bu imkansız. İle birlikte
birden fazla farklı sisteme dağılmış veriler, analitik için erişiyor
çok karmaşık ve bunaltıcı hale geliyor ve beceri setleri bunu yapabilmek için orada değil
düzenlemek ve üzerinde sorgular çalıştırmak için.

Bugün BT personeli, verileri gölden başka bir yere kopyalamak ve taşımak zorunda kalıyor. veri depolarıShiran, küpler, BI özleri ve yeterli performans elde etmek için toplama tabloları hakkında soru sorabileceklerini söyledi. Ancak bunu yapmak, analiz için mevcut verilerin kapsamını da önemli ölçüde daraltır. "Henüz gerçekleştirilmemiş hedef, nerede olduğuna bakılmaksızın tüm veriler hakkında soru sorabilmek ve yine de son derece hızlı bir yanıt alabilmektir."

Son kullanıcılar anlamıyor veya anlamıyor
Oracle veritabanı ile parke dizini arasındaki farkı önemseyin
S3'teki dosyalar, dedi. "Bunun işe yaramasının tek yolu, eğer yapabilirsen
verilerin nerede olduğu hakkında sorular sorun ve bu giderek artan bir şekilde veri gölü depolama alanındadır.”

İş tarafındaki kullanıcılara, bir
veri seti bir veri setidir ve sadece kolayca yeni kaynaklar eklemek isterler ve
sorgulama yapıp yapmadıklarına bakılmaksızın hızlı yanıt süreleri yaşarlar.
tek kaynaktan veya birden çok kaynaktan. “İnsanlar bir süreçten geçmek istemiyorlar.
artık seyahat acentesi. Bağımsız ve hızlı hareket etmekte özgür olmak istiyorlar”

İş yeri nereye evrildi
iş tarafındaki analistler, veri kullanımı hakkında çok bilgili ve
hepsini keşfedebilmek ve kendi sorularını sorabilmek isterler. “Bu insanlar
Artık sabahları masalarında bir çıktı görmek istemiyorlar. İsterler
gidip kendileri yapmak."

Hadoop ve Satıcı Kilitleme Zorlukları

Hadoop tabanlı veri gölleri nihayetinde şirketlerin yaratması, sürdürmesi ve kullanması zorlaştı, bu yüzden onlardan en fazla değeri alan kişilerin geliştiriciler ve teknik personel olduğunu söyledi.

"Dremio, her şeye temiz bir sayfayla başlayıp veri gölü depolamasını ve diğer kaynakları sorgulamayı çok daha kolay ve hızlı hale getirebilirseniz, bunun sihirli olacağını düşünerek başladı."

“Temiz sayfa” zihniyetine izin verildi
dünyadaki mevcut teknoloji trendlerinden yararlanmanın bilgeliğini görmeleri için
bulut benimseme gibi endüstri ve özellikle iniş eğilimi
ve her tür veriyi AWS S3 gibi bulut tabanlı veri gölü depolama alanında depolamak ve
Microsoft ADLS. Ve bu verilerin çarpıcı biçimde artan hacmi,
kopyalamak, dönüştürmek ve veriye taşımak giderek daha az pratik hale geliyor
depolar. Sadece şirketlerin değil, tüm şirketlerin
girişimler ve teknoloji şirketleri, genel buluttan yararlanacak
büyük bir yol, dedi Shiran, bu yüzden bu trendi geliştirmek istediler.

Onlar da açık olmasını istediler.
şirketlerin istedikleri bulutları kolayca seçebilecekleri bir yaklaşım
arasında göç eder. “Birçok şirketin çoklu bulut stratejisi var. Olmak
aynı teknolojiyi hem şirket içi veri gölünüz için hem de
bulut tabanlı veri gölünüz de aynı derecede önemlidir.”

Kaçınmak istedikleri bir sorun şuydu:
satıcı kilitlenmesi, son zamanlarda şirketlerden duydukları bir trend
on yıl. Belirli satıcılara veya belirli bir tür veriye kilitlenmek
Maliyetleri hızla artan depo, müşteriler için bir acı noktası olduğunu söyledi.
“Bir şirket olarak odak noktamız, müşterinin
diğer bilgi işlem motorlarını ve diğer araçları verileriyle birlikte kullanmak.”

Veri Gölü Motoru

Modern bir sistem, veriler nerede olursa olsun kullanıcı isteklerine hızlı, erişilebilir yanıtlar sağlayarak veri bağımsızlığını ve yeniliği destekleyebilmelidir. Dremio, veri gölü depolamayı amaca yönelik olarak oluşturulmuş veri gölü motoru, Shiran, veri mimarları için esneklik ve kontrol ve veri tüketicileri için self servis sağladığını söyledi. Veri gölü motoruyla, veri tüketicileri, analitiklerini tam etkileşimli performansla doğrudan veri gölüne karşı gerçekleştirir. Veri gölü motoru veri kopyalamalarını ve hareketlerini ortadan kaldırdığı için tüm veriler yerinde kalır.

Veri gölü motoru, iş kullanıcılarının tüm verilerini kolayca anlamlandırabilmeleri için tüm meta verileri dizine ekleyen tümleşik, aranabilir bir katalogla kullanıcı tarafından oluşturulan bir anlamsal katman sağlar. Herhangi bir BI veya Data Science aracına bağlanabilir ve tıpkı bir ilişkisel veritabanı. Standart bir SQL sanal bağlamında veri iyileştirme, bir veya daha fazla kaynaktan gelen verilerin hızlı, kolay ve uygun maliyetli filtrelenmesine, dönüştürülmesine, birleştirilmesine ve toplanmasına olanak tanır; bunların tümü BT ve veri mühendisliği ekiplerinin katılımı olmadan gerçekleşir.

Veri mimarları tam kontrolü koruyun: Hassas veriler maskelenebilir, satır ve sütun düzeyinde izinler ayarlanabilir ve rol tabanlı kontrol, son kullanıcıların ihtiyaç duyduğu her şeye sorunsuz erişim sağlar. Veri kaynakları, sanal veri kümeleri ve Dremio'nun veri grafiğinde tutulan sorgular arasındaki ilişkilerle veri kökeni yerleşiktir ve her veri kümesinin tam olarak nereden geldiğini gösterir.

Shiran, müşterileri için kişiselleştirilmiş bir deneyim sağlamak için DaaS kullanan bir şirket örneği olarak Royal Caribbean Cruise Line'ı kullandı. “Bulutta çok modern bir veri mimarisi oluşturdular, Azure'dave Azure Data Lake Storage'ı besleyen birkaç düzine farklı sistemde verileri var," dedi mülk yönetiminden kumarhanelerine ve rezervasyon sistemlerine kadar.

Müşteri davranışı, bir gemi seyahati rezervasyonu yapmadan önceki dönemde ve müşteriler seyahatleri için alışveriş yaparken yakalanır ve bu, gemi yolculuğunda yaptıklarıyla ilgili bilgilerin yanı sıra müşterilerin gemi seyahatinden sonra sağladığı geri bildirimlerle birleştirilir. Bu kapsamlı veri toplama süreci, müşterilerinin çok daha derinden anlaşılmasını sağlayarak, örneğin Royal Caribbean'ın emekli bir çifte dört küçük çocuklu bir aileye göndereceklerinden farklı bir hedefli gemi seyahati teklifi göndermesine olanak tanır.

Büyük Değişim Fırsat Getiriyor

“Büyük bir olayın ortasındayız.
genel bulutun yükselişi nedeniyle değişim ve bunun sonucunda ayrılık
bilgi işlem ve depolama, "dedi Shiran. Geçmişte, Hadoop kümeleriyle,
bilgi işlem depolamada çalıştı çünkü o zamanlar ağ iletişimi en büyük
ilgilendirmek. "Karıştırma hızıydı ve yeterli ağ bağlantısına sahip olup olmadığımı merak ediyordum.
bu büyük sorguların gerçekten çalışmasını sağlamak için bant genişliği.” Şimdi bulutla,
ağ oluşturma artık bir sorun değil ve depolama bir hizmet olarak sunulduğundan,
hesaplama ayrılmıştır. "Yani şimdi şirketler için bu fırsatı görüyorsunuz.
iş için en iyi aracı seçin.”

Bir de röportaj Sourceforge'da Shiran, DaaS'nin, nerede yönetilirse yönetilsin, ne kadar büyük olursa olsun ve analiz veya görselleştirme için hangi araç kullanılırsa kullanılsın, verilerin keşfedilmesini, düzenlenmesini, paylaşılmasını ve analiz edilmesini kolaylaştıran bir paradigma olduğunu söyledi. DaaS, birkaç işlevsel alanı tek, ölçeklenebilir ve self servis bir çözüme entegre eder. DaaS paradigmasını benimseyen şirketler, veri tüketicilerini kendi kendilerine yeterli ve bağımsız hale getirirken, veri mühendisleri daha üretken.

Shiran, "Şu anda yaşadığımız dünyada hayatta kalabilmek için şirketlerin veri odaklı olması gerekiyor, ancak bu kolay olmadıkça bu olmayacak" dedi.

Görüntü, lisansı altında kullanıldı
Shutterstock.com

Kaynak: https://www.dataversity.net/using-a-data-lake-engine-to-provide-self-service-insights/

spot_img

En Son İstihbarat

spot_img