Bu yazı Unity'den Amir Souchami ve Fabian Szenkier ile birlikte yazılmıştır.

Unity'den Aura (eski adıyla ironSource), müşterilerin ilgisini çeken ve elde tutan zengin cihaz deneyimleri oluşturmaya yönelik pazar standardıdır. Aura, güçlü bir dizi çözümle tam bir dijital dönüşüm sağlayarak operatörlerin temel hizmetleri mağaza dışında doğrudan cihaz üzerinde tanıtmasına olanak tanıyor.

Amazon Kırmızıya Kaydırma bulut veri ambarları, veri reyonları ve diğer analitik veri depoları gibi çevrimiçi analitik işleme (OLAP) iş yükleri için önerilen bir hizmettir. Her ölçekte en iyi fiyatı/performansı sunmak amacıyla yapılandırılmış ve yarı yapılandırılmış verileri, operasyonel veritabanlarını ve veri göllerini analiz etmek için basit SQL kullanabilirsiniz. Amazon Redshift veri paylaşımı özelliği, aynı veya farklı AWS hesaplarındaki ve AWS Bölgeleri genelindeki birden fazla Redshift veri ambarı genelinde veri kopyaları ve veri taşıma olmadan anında, ayrıntılı ve yüksek performanslı erişim sağlar. Veri paylaşımı, verilere canlı erişim sağlar, böylece veri ambarında güncellenirken her zaman en güncel ve tutarlı bilgileri görürsünüz.

Amazon Redshift Sunucusuz Veri ambarı kümelerini kurup yönetmeye gerek kalmadan analitiği saniyeler içinde çalıştırmayı ve ölçeklendirmeyi kolaylaştırır. Redshift Serverless, en zorlu ve öngörülemeyen iş yüklerinde bile hızlı performans sağlamak için veri ambarı kapasitesini otomatik olarak hazırlar ve akıllı bir şekilde ölçeklendirir; yalnızca kullandığınız kadar ödersiniz. Amazon Redshift Sorgu Düzenleyicisi'nde veya favori iş zekası (BI) aracınızda verilerinizi yükleyip sorgulamaya hemen başlayabilir ve kullanımı kolay, sıfır yönetimli bir ortamda en iyi fiyat/performans ve tanıdık SQL özelliklerinden yararlanmaya devam edebilirsiniz. .

Bu yazıda, Aura'nın genel teklifli reklam kampanyalarının pazara çıkış süresini 24 saatten 2 saate optimize etmelerine olanak tanıyan Redshift Serverless'ı başarılı ve hızlı bir şekilde benimsemesini açıklıyoruz. Aura'nın neden bu çözümü seçtiğini ve hangi teknolojik zorlukların çözülmesine yardımcı olduğunu araştırıyoruz.

Aura'nın ilk veri hattı

Aura, ayıklama, dönüştürme ve yükleme (ETL) ve BI iş yükleri için veri paylaşımıyla Redshift RA3 kümelerinin kullanılmasında öncüdür. Aura'nın faaliyetlerinden biri reklam kampanyalarına teklif vermektir. Bu kampanyalar, kampanya başına yüzlerce analitik sorgunun çalıştırılmasını gerektiren yapay zeka tabanlı bir teklif süreci kullanılarak optimize edilir. Bu sorgular, RA3 tarafından sağlanan bir Redshift kümesinde bulunan veriler üzerinde çalıştırılır.

Entegre işlem hattı çeşitli AWS hizmetlerinden oluşur:

Aşağıdaki şema bu mimariyi göstermektedir.

İlk mimarinin zorlukları

Her kampanyaya ilişkin sorgular aşağıdaki şekilde çalıştırılır:

İlk olarak, bir hazırlık sorgusu ham verileri filtreleyip toplayarak sonraki işlem için hazırlar. Bunu, hazırlık sorgusu sonuç setine göre mantığı yürüten ana sorgu takip eder.

Kampanyaların sayısı arttıkça Aura'nın Veri ekibinin bu adımların her biri için yüzlerce eş zamanlı sorgu çalıştırması gerekti. Aura'nın mevcut tedarik edilen kümesi veri alımı, ETL ve BI iş yükleriyle zaten yoğun bir şekilde kullanılıyordu, bu nedenle bu iş yükünü özel bilgi işlem kaynaklarıyla izole etmenin uygun maliyetli yollarını arıyorlardı.

Ekip, verilerin Amazon S3'e boşaltılması, veri paylaşımı ve Redshift sunucusuzluğun kullanıldığı çoklu küme mimarisi dahil olmak üzere çeşitli seçenekleri değerlendirdi. Ekip, sorgunun yeniden yazılmasını gerektirmediği, bu belirli iş yükü için özel hesaplamaya izin verdiği, verileri ana kümeden çoğaltma veya taşıma ihtiyacını ortadan kaldırdığı ve yüksek eşzamanlılık ve otomatik ölçeklendirme sağladığı için veri paylaşımlı çoklu küme mimarisine yöneldi. Son olarak, kullandığınız kadar öde modelinde faturalandırılır ve provizyon basit ve hızlıdır.

Kavramın ispatı

Seçenekleri değerlendirdikten sonra Aura'nın Veri ekibi, Redshift tarafından sağlanan ana kümenin tüketicisi olarak Redshift Serverless'ı kullanarak, yalnızca gerekli sorguları çalıştırmak için ilgili tabloları paylaşarak bir kavram kanıtlama işlemi gerçekleştirmeye karar verdi. Redshift Serverless, Redshift İşleme Birimlerindeki (RPU'lar) veri ambarı kapasitesini ölçer. Tek bir RPU 16 GB bellek sağlar ve sunucusuz uç nokta 8 RPU ile 512 RPU arasında değişebilir.

Aura'nın Veri ekibi, 256 RPU Redshift Sunucusuz uç noktası kullanarak konsept kanıtını başlattı ve sorgu çalışma süresinin gerekli hedefin altında olduğundan emin olurken maliyetleri azaltmak için RPU'yu kademeli olarak düşürdü.

Sonunda ekip, RPU'yu gerektiği gibi otomatik olarak yükselterek yüzlerce eşzamanlı sorgunun çalıştırılmasına olanak tanıyan Redshift Sunucusuz otomatik ölçeklendirme özelliğini kullanırken, temel RPU olarak 128 RPU (2 TB RAM) Redshift Sunucusuz uç noktası kullanmaya karar verdi.

Aura'nın Redshift Serverless ile yeni çözümü

Başarılı bir kavram kanıtlamasının ardından üretim kurulumu, sağlanan Redshift kümesi ile Redshift Sunucusuz uç noktası arasında geçiş yapmak için kod eklemeyi içeriyordu. Bu, işlem hattının başlangıcında tüketilen belirli bir MSK konusunda işlenmeyi bekleyen sorguların sayısına dayalı olarak yapılandırılabilir bir eşik kullanılarak yapıldı. Küçük ölçekli kampanya sorguları, sağlanan kümede çalışmaya devam edecek ve büyük ölçekli sorgular Redshift Sunucusuz uç noktasını kullanacak. Yeni çözüm, bir DynamoDB tablosundan yapılandırma bilgilerini getiren, reklam kampanyalarını temsil eden işleri tüketen ve ardından EKSPodOperator kullanılarak tetiklenen yüzlerce EKS işini çalıştıran bir Amazon MWAA işlem hattını kullanıyor. Her iş iki seri sorguyu çalıştırır (hazırlık sorgusu ve ardından sonuçları Amazon S3'e gönderen bir ana sorgu). Bu, Redshift Sunucusuz bilgi işlem kaynakları kullanılarak aynı anda birkaç yüz kez gerçekleşir.

Ardından süreç, Amazon S3'te kaydedilen veri sonucuna göre AI eğitim kodunu çalıştırmak için başka bir EKSPodOperator operatörleri kümesini başlatır.

Aşağıdaki şemada çözüm mimarisi gösterilmektedir.

Sonuç

Boru hattının genel çalışma süresi 24 saatten sadece 2 saate düşürülerek 12 kat iyileşme sağlandı. Redshift Serverless'ın bu entegrasyonu, veri paylaşımıyla birleştiğinde işlem hattı süresinde %90'lık bir azalmaya yol açarak veri çoğaltma veya sorgu yeniden yazma ihtiyacını ortadan kaldırdı. Üstelik özel bir bilgi işlem kaynağı olarak özel bir tüketicinin sunulması, üretici kümesinin yükünü önemli ölçüde hafifleterek küçük ölçekli sorguların daha da hızlı çalıştırılmasına olanak sağladı.

"Redshift Sunucusuz ve veri paylaşımı, hızlı performans, yüksek eşzamanlılık sunmak ve zorlu ML iş yüklerini çok az çabayla ele almak için veri ambarı kapasitemizi sağlamamıza ve ölçeklendirmemize olanak sağladı."

– Amir Souchami, Aura'nın Baş Teknik Sistem Mimarı.

öğrenmeler

Aura'nın Veri ekibi son derece uygun maliyetli bir şekilde çalışmaya odaklanmıştır ve bu nedenle Redshift Sunucusuz uç noktalarında çeşitli maliyet kontrolleri uygulamıştır:

• Bir ayarlayarak genel harcamayı sınırlayın maksimum RPU saati kullanım sınırı çalışma grubu için (günlük, haftalık, aylık). Aura bu sınırı, bu sınıra ulaşıldığında Amazon Redshift'in ilgili Amazon Redshift yönetici ekibine bir uyarı göndereceği şekilde yapılandırdı. Bu özellik aynı zamanda bir sistem tablosuna giriş yazmaya ve hatta kullanıcı sorgularını kapatmaya da olanak tanır.
• Kullanmak maksimum RPU yapılandırmasıRedshift Serverless'ın herhangi bir zamanda kullanabileceği bilgi işlem kaynaklarının üst sınırını tanımlar. Çalışma grubu için maksimum RPU sınırı ayarlandığında Redshift Serverless, iş yükünü çalıştırmaya devam etmek için bu sınır dahilinde ölçeklenir.
• Uygulamak sorgu izleme kuralları Bu, israflı kaynak kullanımını ve kötü yazılmış sorgulardan kaynaklanan kontrolden çıkan maliyetleri önler.

Sonuç

Veri ambarı, veri odaklı herhangi bir modern şirketin önemli bir parçasıdır ve karmaşık iş sorularını yanıtlamanıza ve içgörüler sağlamanıza olanak tanır. Amazon Redshift'in gelişimi, tedarik edilen ve Redshift Sunucusuz veri ambarları arasındaki veri paylaşımını birleştirerek Aura'nın iş gereksinimlerine hızla uyum sağlamasına olanak tanıdı. Aura'nın Redshift Serverless ile olan yolculuğu, verimliliği ve operasyonel mükemmelliği artırmada stratejik teknoloji entegrasyonunun büyük potansiyelinin altını çiziyor.

Aura'nın yolculuğu ilginizi çektiyse ve kuruluşunuzda benzer bir çözümü uygulamayı düşünüyorsanız, dikkate almanız gereken bazı stratejik adımlar şunlardır:

• Kuruluşunuzun veri ihtiyaçlarını ve böyle bir çözümün bu ihtiyaçları nasıl karşılayabileceğini iyice anlayarak başlayın.
• Kendi deneyimlerine dayanarak size rehberlik sağlayabilecek AWS uzmanlarına ulaşın. Bu teknolojileri tartışan seminerlere, çalıştaylara veya çevrimiçi forumlara katılmayı düşünün. Başlamak için aşağıdaki kaynaklar önerilir:
• Bu yolculuğun önemli bir kısmı kavram kanıtını uygulamak olacaktır. Bu tür uygulamalı deneyim, üretime geçmeden önce değerli bilgiler sağlayacaktır.

Redshift uzmanlığınızı yükseltin. Zaten Amazon Redshift'in gücünün tadını çıkarıyor musunuz? Veri yolculuğunuzu geliştirin en son özellikler ve uzman rehberliği. Kişiselleştirilmiş destek için özel AWS hesap ekibinize ulaşın, en son özellikleri keşfedin ve verilerinizden daha da fazla değer elde edin. Amazon Kırmızıya Kayma.

Yazarlar Hakkında

Emir SouchamiUnity'den Aura'nın Baş Mimarı, büyük ölçekte dayanıklı ve performanslı bulut sistemleri ve mobil uygulamalar oluşturmaya odaklanıyor.

Fabian Szenkier Aura by Unity'de ML ve Büyük Veri Mimarı olup, modern AI/ML çözümleri ve geniş ölçekte son teknoloji ürünü veri mühendisliği ardışık düzenleri oluşturmak için çalışmaktadır.

Liat Tzur Amazon Web Services'te Kıdemli Teknik Hesap Yöneticisidir. Müşterinin savunucusu olarak hizmet eder ve müşterilerinin iş hedefleriyle uyumlu bulut operasyonel mükemmelliğine ulaşmalarına yardımcı olur.

Adi Jabkowski AWS'deki Dünya Çapında Uzman Organizasyonunun (WWSO) bir parçası olan EMEA'da Kıdemli Redshift Uzmanıdır.

Yonatan Dolan Amazon Web Services'te Baş Analitik Uzmanıdır. İsrail'de bulunuyor ve müşterilerin verilerden yararlanmak, içgörü kazanmak ve değer elde etmek için AWS analitik hizmetlerinden yararlanmasına yardımcı oluyor.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/big-data/how-aura-from-unity-revolutionized-their-big-data-pipeline-with-amazon-redshift-serverless/