Bu yazı Bluestone'dan Toney Thomas ve Ben Vengerovsky ile birlikte yazılmıştır.

Sürekli gelişen finans ve kredi dünyasında, gerçek zamanlı, güvenilir ve merkezi verilere olan ihtiyaç çok önemli hale geldi. GöztaşıÖnde gelen bir finans kuruluşu olan , veri altyapısını modernize etmek ve veri odaklı bir organizasyona geçiş yapmak için dönüştürücü bir yolculuğa çıktı. Bu yazıda Bluestone'un AWS hizmetlerini, özellikle de bulut veri depolama hizmetini nasıl kullandığını inceliyoruz. Amazon Kırmızıya Kaydırma, veri varlıklarını yönetme, erişme ve kullanma biçimlerinde devrim yaratacak şekilde son teknoloji bir veri ağı mimarisi uygulamak.

Zorluk: Modernizasyon mirası

Bluestone, aşağıdaki şemada gösterildiği gibi eski bir SQL tabanlı borç verme platformuyla çalışıyordu. Rekabetçi kalabilmek ve değişen pazar dinamiklerine duyarlı olabilmek için altyapılarını modernleştirmeye karar verdiler. Bu modernizasyon, hizmet olarak yazılım (SaaS) tabanlı kredi kullandırma ve temel kredi verme platformlarına geçişi içeriyordu. Bu yeni sistemler çok büyük miktarlarda veri ürettiğinden, tüm veri tüketicileri için tek bir doğruluk kaynağı sağlama zorluğu ortaya çıktı.

Bluestone Veri Platformunun Doğuşu

Merkezileştirilmiş, ölçeklenebilir ve yönetilebilir verilere olan ihtiyacı karşılamak için Bluestone, Bluestone Veri Platformunu tanıttı. Bu platform, kuruluş genelinde veriyle ilgili tüm faaliyetlerin merkezi haline geldi. AWS, bu vizyonun hayata geçirilmesinde önemli bir rol oynadı.

Bluestone Veri Platformunun temel bileşenleri şunlardır:

• Veri ağı mimarisi – Bluestone, veri sahipliğini farklı iş birimlerine dağıtan bir paradigma olan veri ağı mimarisini benimsedi. Kuruluş içindeki her veri üreticisinin Apache Hudi formatında kendi veri gölü vardır ve bu veri egemenliği ve özerkliğini sağlar.
• Dört katmanlı veri gölü ve veri ambarı mimarisi – Mimari, Amazon Redshift'te barındırılan amaca yönelik olarak oluşturulmuş gerçekleri ve boyut veri kümelerini barındıran analitik katman da dahil olmak üzere dört katmandan oluşur. Amazon Redshift gibi hizmetler ve Power BI gibi araçlar tarafından desteklenen bu veri kümeleri, raporlama ve analiz kullanım durumları için çok önemlidir.
• Makine öğrenimi analitiği – Hizmet, Borç Verme, Satış ve Pazarlama, Finans ve Kredi Riski gibi çeşitli iş birimleri, veri gölü ve veri ambarındaki boyutsal modelin üzerinde çalışan makine öğrenimi analitiğini kullanıyor. Bu, kuruluş genelinde veriye dayalı karar almayı mümkün kılar.
• Yönetişim ve self servis – Bluestone Veri Platformu, tüm veri kullanım durumları için yönetilen, seçilen ve self servis bir yol sağlar. AWS hizmetleri gibi AWS Göl Oluşumu ile birlikte Atlan Veri erişiminin ve politikaların yönetilmesine yardımcı olun.
• Veri kalitesi çerçevesi – Veri güvenilirliğini sağlamak için bir veri kalitesi çerçevesi uyguladılar. Veri kalitesini sürekli olarak değerlendirir ve kalite puanlarını Atlan yönetişim aracıyla senkronize ederek platformdaki veri varlıklarına güven aşılar.

Aşağıdaki diyagram güncellenmiş veri platformunun mimarisini göstermektedir.

AWS ve üçüncü taraf hizmetler

AWS, Bluestone'un Veri Platformunun gelişmesini sağlamada çok önemli ve çok yönlü bir rol oynadı. Aşağıdaki AWS ve üçüncü taraf hizmetleri, Bluestone'un veri odaklı bir kuruluş olma yolundaki yolculuğunun şekillenmesinde etkili oldu:

• Amazon Kırmızıya Kaydırma – Bluestone, Amazon Redshift'in gücünden ve onun gibi özelliklerinden yararlandı bilgi paylaşımı veri varlıklarının merkezi bir deposunu oluşturmak. Bu stratejik hamle, farklı iş birimleri arasında kesintisiz veri paylaşımını ve işbirliğini kolaylaştırarak daha bilinçli ve veriye dayalı karar almanın yolunu açtı.
• Göl Oluşumu – Lake Formation, Bluestone'un veri yönetimi stratejisinde bir mihenk taşı olarak ortaya çıktı. Veri erişim kontrollerinin uygulanmasında ve veri politikalarının uygulanmasında kritik bir rol oynadı. Bluestone, Lake Formation ile hassas verilerin korunmasını ve yasal gerekliliklere uygunluğu sağladı.
• Veri kalitesi izleme – Veri güvenilirliğini ve doğruluğunu korumak için Bluestone sağlam bir veri kalitesi çerçevesi kullandı. AWS hizmetleri, şirket içi bir veri kalitesi izleme sistemi oluşturmak için açık kaynak araçlarını tamamladıkları için bu çabada çok önemliydi. Bu sistem, veri kalitesini sürekli olarak değerlendirerek kuruluşun veri varlıklarının güvenilirliğine güven sağlar.
• Veri yönetimi araçları – Bluestone, Atlan'ı seçti; AWS Pazar YeriKapsamlı veri yönetimi araçlarını uygulamak. Bu SaaS hizmeti, birden fazla iş ekibinin katılımında ve Bluestone'da veri merkezli bir kültürün geliştirilmesinde önemli bir rol oynadı. Ekiplerin veri varlıklarını verimli bir şekilde yönetmesine ve yönetmesine olanak sağladı.
• Amazon MWAA kullanarak düzenleme – Bluestone'a büyük ölçüde güvenildi Apache Airflow için Amazon Tarafından Yönetilen İş Akışları (Amazon MWAA) iş akışı düzenlemelerini verimli bir şekilde yönetmek için. Bu düzenleme çerçevesi, kullanılarak değerlendirilen çeşitli veri kalitesi kurallarıyla sorunsuz bir şekilde entegre edilmiştir. Büyük beklentiler Airflow ortamındaki operatörler.
• AWS BYS – Göztaşı kullanıldı AWS Veritabanı Geçiş Hizmeti (AWS DMS), eski verilerin veri platformunda birleştirilmesini kolaylaştırmak için. Bu hizmet, verilerin eski SQL Server ambarlarından veri gölüne ve veri ambarına sorunsuz bir şekilde aktarılmasını kolaylaştırarak veri sürekliliği ve erişilebilirliği sağladı.
• AWS Tutkal – Bluestone şunu kullandı: AWS Tutkal Veri ayıklama, dönüştürme ve yükleme (ETL) işlemlerini uygulamaya yönelik PySpark ortamı. Çeşitli kaynak sistemlerden gelen verilerin işlenmesinde, veri tutarlılığının ve analitik kullanıma uygunluğun sağlanmasında çok önemli bir rol oynadı.
• AWS Tutkal Veri Kataloğu – Bluestone veri yönetimini merkezileştirdi AWS Tutkal Veri Kataloğu. Bu katalog, Bluestone veri alanı içindeki veri varlıklarını yönetmek için omurga görevi görerek veri keşfedilebilirliğini ve erişilebilirliğini artırdı.
• AWS CloudTrail – Göztaşı uygulandı AWS CloudTrail Platform faaliyetlerini titizlikle izlemek ve denetlemek. Bu güvenlik odaklı hizmet, veri operasyonlarında uyumluluk ve güvenlik sağlayarak platform eylemlerine yönelik temel görünürlük sağladı.

AWS'nin kapsamlı hizmet paketi, Bluestone Veri Platformunun veri odaklı başarıya doğru ilerlemesinde önemli bir rol oynadı. Bu hizmetler yalnızca verimli veri yönetimini, kalite güvencesini ve düzenlemeyi sağlamakla kalmamış, aynı zamanda kuruluş içinde veri odaklılık kültürünü de teşvik ederek sonuçta daha iyi karar alma ve rekabet avantajı sağlamıştır. Bluestone'un yolculuğu, AWS'nin kuruluşları kendi sektörlerinde veri odaklı liderlere dönüştürmedeki gücünü gösteriyor.

Bluestone veri mimarisi

Bluestone'un veri mimarisi, göl evi çerçevesinden veri ağı mimarisine geçiş yaparak dinamik bir dönüşüm geçirdi. Bu evrim, kuruluşun dağıtılmış sahipliğe sahip veri ürünlerine olan ihtiyacından ve bu veri ürünlerini çeşitli iş birimleri genelinde yönetmek ve bunlara erişmek için merkezi bir mekanizmanın gerekliliğinden kaynaklandı.

Aşağıdaki şemada çözüm mimarisi ve AWS ile üçüncü taraf hizmetlerinin kullanımı gösterilmektedir.

Bu mimari değişimin nasıl ortaya çıktığını ve neleri gerektirdiğini daha derinlemesine inceleyelim:

• Değişim ihtiyacı – Bu dönüşümün katalizörü, Bluestone içindeki her iş biriminin benzersiz gereksinimlerine göre uyarlanmış ayrı veri ürünlerine yönelik artan talepti. Bu iş birimleri kendi etki alanlarında kendi veri varlıklarını oluşturduğundan, zorluk bu çeşitli veri depolarını verimli bir şekilde yönetmek, idare etmek ve bunlara erişmekte yatıyordu. Bluestone, daha yapılandırılmış ve ölçeklenebilir bir yaklaşıma olan ihtiyacın farkına vardı.
• Dağıtılmış sahipliğe sahip veri ürünleri – Bu talebe yanıt olarak Bluestone, her iş biriminin ihtiyaçlarına uygun farklı veri ürünlerinin oluşturulmasına olanak tanıyan bir veri ağı mimarisini benimsedi. Bu veri ürünlerinin her biri bağımsız olarak var olup kendi alanına özgü veri varlıklarını oluşturur ve düzenler. Bu veri ürünleri, veri özerkliği ve uzmanlaşmayı sağlayan bireysel veri merkezleri olarak hizmet verir.
• Merkezi katalog entegrasyonu – Bluestone, bu veri ürünlerine dağılmış olan veri varlıklarının keşfedilmesini ve erişilebilirliğini kolaylaştırmak için merkezi bir katalog başlattı. Bu katalog, tüm veri ürünlerinin ilgili veri varlıklarını kaydettiği birleşik bir depo görevi görür. Veri keşfi ve yönetimi için kritik bir bileşen olarak hizmet eder.
• Veri yönetimi aracı entegrasyonu – Kuruluş genelinde veri yönetiminin ve köken takibinin sağlanması bir diğer önemli husustu. Bluestone, merkezi kataloğa bağlanan güçlü bir veri yönetimi aracı uyguladı. Bu entegrasyon, veri varlıklarının kapsayıcı kökeninin kapsamlı bir şekilde haritalanmasını ve yakalanmasını sağlar. Veri yönetimi süreçleri bu sayede tutarlı bir şekilde uygulanarak veri kalitesi ve uyumluluğu garanti edilir.
• Kontrol ve erişim için Amazon Redshift veri paylaşımı – Bireysel veri ürünü Redshift bulut sunucularında bulunan veri varlıklarına kontrollü ve güvenli erişimi kolaylaştırmak için Bluestone, Amazon Redshift veri paylaşımını kullandı. Bu yetenek, veri varlıklarının seçici olarak açığa çıkarılmasına ve paylaşılmasına olanak tanıyarak, veri güvenliğini ve bütünlüğünü korurken erişim üzerinde ayrıntılı kontrol sağlar.

Bluestone'un göl evinden veri ağı mimarisine yolculuğu, özünde, veri yönetimi ve yönetişiminde stratejik bir değişimi temsil ediyor. Bu dönüşüm, merkezi kontrol, yönetişim ve erişilebilirlik sağlarken farklı iş birimlerinin kendi veri alanları içerisinde özerk bir şekilde çalışmasına olanak tanır. Merkezi bir katalog ve veri yönetimi araçlarının entegrasyonu, Amazon Redshift veri paylaşımının esnekliğiyle birleştiğinde, veriye dayalı karar vermenin geliştiği uyumlu bir ekosistem oluşturarak sonuçta Bluestone'un sürekli gelişen finansal ortamda başarısına katkıda bulunur.

Sonuç

Bluestone'un eski SQL tabanlı sistemden AWS'deki modern veri ağı mimarisine yolculuğu, kuruluşun verilerle etkileşim kurma biçimini geliştirdi ve onları finans sektöründe veri odaklı bir güç merkezi olarak konumlandırdı. Bluestone, AWS hizmetlerini benimseyerek ekiplerine bilinçli kararlar alma, inovasyonu teşvik etme ve rekabet ortamında önde kalma gücü veren merkezi, ölçeklenebilir ve yönetilebilir bir veri platformunu başarıyla elde etti. Bu dönüşüm, Amazon Redshift ve AWS Cloud veri paylaşımı özelliklerinin, AWS ile kendi veri odaklı yolculuklarına çıkmak isteyen kuruluşlar için harika bir yol olduğunun ikna edici bir kanıtıdır.

Yazarlar Hakkında

Toney Thomas Bluestone'da Veri Mimarı ve Veri Mühendisliği Lideridir ve şirketin öncü veri stratejisini tasarlama ve oluşturmadaki rolüyle tanınmaktadır. Karmaşık iş zorluklarının üstesinden gelmek için ileri teknolojinin gücünden yararlanmaya stratejik olarak odaklanan Toney, Bluestone'da Veri Mühendisleri, Raporlama Mühendisleri, Kalite Güvence uzmanları ve İş Analistlerinden oluşan dinamik bir ekibe liderlik ediyor. Liderliği, çeşitli organizasyon birimlerinde sağlam veri yönetimi çerçevelerinin uygulanmasını teşvik etmeye kadar uzanıyor. Onun rehberliği altında Bluestone, kuruluşun veri demokratikleşmesi ve mükemmelliği taahhüdüyle kusursuz bir şekilde uyum sağlayan, gömülü veri kalitesi mekanizmalarına sahip, tamamen yönetilen bir veri ağı iş veri sistemi gibi yenilikçi platformların konuşlandırılması da dahil olmak üzere olağanüstü bir başarı elde etti.

Ben Vengerovsky Bluestone'da Veri Platformu Ürün Yöneticisidir. Şirketin veri altyapısında devrim yaratmak için bulut teknolojisini kullanma konusunda tutkulu. Mortgage kredileri konusunda geçmişi olan ve AWS hizmetlerine ilişkin derinlemesine bilgi sahibi olan Ben, iş büyümesini destekleyen ve müşteri deneyimlerini geliştiren ölçeklenebilir ve verimli veri çözümleri tasarlama konusunda uzmanlaşmıştır. İş gereksinimlerini veriye dayalı karar almayı güçlendiren yenilikçi teknik çözümlere dönüştürmek için işlevler arası ekiplerle işbirliği yapmaktan hoşlanıyor.

Rada Staniç Amazon Web Services'te Baş Teknoloji Uzmanıdır ve burada farklı segmentlerdeki ANZ müşterilerinin iş sorunlarını AWS Bulut teknolojilerini kullanarak çözmelerine yardımcı olur. Özel ilgi alanları veri analitiği, makine öğrenimi/yapay zeka ve uygulama modernizasyonudur.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/big-data/empowering-data-driven-excellence-how-the-bluestone-data-platform-embraced-data-mesh-for-success/