Bu, Dafiti'den Valdiney Gomes, Hélio Leal ve Flávia Lima'nın konuk gönderisidir.
Veriler ve çeşitli kullanımları şirketlerde giderek daha belirgin hale geliyor ve her profesyonelin verileri görselleştirmek için hangi teknolojileri kullanacağı konusunda kendi tercihleri var ki bu, bir şirketin teknolojik ihtiyaçları ve altyapısıyla uyumlu olmayabilir. -de DafitiBrezilyalı bir moda ve stil e-ticaret perakendecisi için durum farklı değildi. Şirketin farklı sektörleri tarafından kullanılan beş araç, yanlış hizalamaya ve yönetim yüküne neden oldu ve kaynaklarımızı onları desteklemek için ince bir şekilde yaydı. Verilerimizi demokratikleştirmemizi sağlayacak bir araç ararken, seçtik Amazon QuickSight, veri görselleştirme için kurumsal bir çözüm olarak, veriye dayalı daha iyi kararlar vermemizi sağlayan etkileşimli panoları destekleyen, bulut tabanlı, sunucusuz bir iş zekası (BI) hizmeti.
Bu yazıda, QuickSight'ı neden seçtiğimizi ve onu nasıl uyguladığımızı tartışıyoruz.
QuickSight'ı neden seçtik?
BI çözümümüz için özel gereksinimlerimiz vardı ve birçok farklı seçeneğe baktık. Aşağıdaki faktörler kararımızı yönlendirdi:
- Veriye yakın araç – Veri görselleştirme aracının verilere olabildiğince yakın olması önemliydi. Dafiti'de tüm altyapı AWS üzerindedir ve biz Amazon Kırmızıya Kaydırma Veri Ambarımız olarak. QuickSight, kullanırken BAHARAT (Süper hızlı, Paralel, Bellek İçi Hesaplama Motoru), kullanarak Amazon Redshift'ten mümkün olan en verimli şekilde veri çıkarır. BOŞALT, Amazon Redshift kullanımını optimize eder.
- Yüksek düzeyde kullanılabilir ve erişilebilir çözüm – API çağrıları aracılığıyla hemen hemen her şeyi yapabilmenin yanı sıra araca web veya mobil arayüz üzerinden erişebilmek istedik.
- Sunucusuz çözüm – Dafiti'de kullanılan diğer tüm veri görselleştirme çözümleri tesis içindeydi ve bu, bu hizmetleri sürdürmek için gereksiz maliyet ve çaba yaratarak, odağı bizim için en önemli olan şeyden, verilerden uzaklaştırdı.
- Esnek fiyatlandırma modeli – Şirketteki herkese lisansla değil kullanıma göre tanımlanan bir fiyatla erişim sağlamamıza izin verecek bir fiyatlandırma modeline ihtiyacımız vardı. Önceki ana veri görselleştirme çözümümüzde sahip olduğumuz kullanıcı sayısının iki katından fazla olan AWS kullandıkça öde fiyatlandırması sayesinde, QuickSight ile maliyetimiz yaklaşık 10 kat daha düşük.
- Sağlam dokümantasyon – AWS tarafından sağlanan malzemenin yararlı olduğu kanıtlandı ve ekibimizin projeyi üretime geçirmesine olanak sağladı.
Çözümümüzü birleştirmek
Verilerimizi farklı ekipler genelinde analiz etmek için daha önce Qlikview, Sisense, Tableau, SAP ve Excel kullanıyorduk. 230'dan fazla Dafiti çalışanı için bir hibrit etkinlik olan AWS ile Veri Savaşına ev sahipliği yaptığımızda zaten başka AWS hizmetlerini kullanıyor ve QuickSight'ı öğreniyorduk. Bu etkinlik, bir atölye çalışması ve ardından dostça bir QuickSight yarışması ile uygulamalı bir yaklaşıma sahipti. Katılımcıların doğru yanıt verebilmeleri için kendi panolarında bilgi almaları gerekiyordu. Bu 5 saatlik etkinlik hızla geçti, teknik ve iş ekiplerinin öğrenme yolunu hızlandırdı ve QuickSight'ın bizim için doğru araç olduğunu kanıtladı.
QuickSight, maliyetleri %80 oranında düşürürken ve birlikte çok daha fazlasını yapmamızı sağlarken tüm ekiplerimizi tek bir araçta topladı. Şu anda, CEO'muz da dahil olmak üzere dokuz farklı iş birimindeki 400'den fazla çalışan, her gün tek gerçek kaynağı olarak QuickSight'ı kullanıyor. Buna, daha önce analizleri çeşitli kaynaklara yayılmış olan insan kaynakları, denetim ve müşteri hizmetleri dahildir.
Veri demokratikleştirme
Veri demokratikleştirme, Dafiti'nin ana hedeflerinden biridir. Brezilya, Arjantin ve Kolombiya gizlilik yasalarına uygun olarak herkesin verileri analiz etmesine izin vermenin, şirket tarafından üretilen verilerden değer çıkararak karar verme süreçlerini iyileştirme potansiyelini açığa çıkardığına inanıyoruz. Ancak, verilerin demokratikleştirilmesi, kaynakların sorumlu kullanımıyla birlikte gelir. Evet, tüm kullanıcıların verilere erişmesini ve verilerden değer çıkarmasını istiyoruz, ancak maliyet asla bunun ürettiği değerden fazla olamaz.
Projeyi nasıl organize ettik?
Verilerin demokratikleştirilmesi, Dafiti'nin stratejisini yönlendiriyor. QuickSight'ı uygularken, daha da fazla veri odaklı bir şirket olma takıntısı (bundan ilk toplantıda bahsediyoruz. AWS Zirvesi SP 2022) ve verilere giderek daha fazla erişilebilir olması, projeye yön veren şeydi.
QuickSight'ı aşağıdaki şekilde görüldüğü gibi klasörlere göre düzenledik ve her klasör bir iş alanını temsil ediyor. Bu, erişim vermeyi kolaylaştırır ve aynı alandaki tüm kişilerin tam olarak aynı veri ve raporlara erişmesini sağlar.
Bu modelde, kurumsal veri alanındaki kişiler herhangi bir alandan herhangi bir kaynağı görüntüleyebilir ve düzenleyebilirken, müşteri hizmetleri kullanıcıları yalnızca müşteri hizmetleri için kaynakları görüntüleyebilir ve düzenleyebilir.
Modeli biraz genişleterek, SAC raporunun Destek ile paylaşıldığı ve raporlama portföyü dediğimiz şeyi oluşturduğu aşağıdaki şekilde görüldüğü gibi, bir alan tarafından oluşturulan raporlar başkalarıyla paylaşılabilir.
Bu şekilde, herhangi bir gruba katılan tüm kullanıcılar, herhangi bir akranıyla tamamen aynı görünüme sahip olacak ve verilere erişimdeki ayrıcalıkları ortadan kaldıracaktır. Ayrıca, portföy her geçen gün başka alanlar tarafından oluşturulan ve sürdürülen, ancak onu oluşturmaktan sorumlu olmayan alanların ilgisini çekebilecek raporlarla zenginleştirilmektedir.
Bunun doğru bir şekilde çalışması için, tanımlanmış birkaç adlandırma ve dokümantasyon standardıyla ilgili olarak belirli bir katılık gereklidir. Öte yandan tasarımcılar, raporlarının özelliklerini tanımlama konusunda tam özgürlüğe sahiptir.
Bu modelde öne çıkan diğer bir nokta ise, hiçbir raporun belirli bir kullanıcıyla doğrudan paylaşılamaması; bu kısıtlama kullanılarak tanımlandı özel izinler QuickSight'ta. Bu nedenle raporlar her zaman sadece klasörler üzerinden paylaşılır. Sonuçta, verilerin şirketteki herkes tarafından eşit şekilde erişilebilir olmasını istiyoruz.
Teknik konfigürasyonlar
QuickSight, kapsamlı bir API sunar ve günlük olarak gerçekleştirdiğimiz tüm faaliyetler bu API'ler aracılığıyla gerçekleşir. Bu faaliyetler arasında, erişim izni verilmesini ve aracın çeşitli yönlerinin izlenmesini vurguluyoruz.
QuickSight görsel arabirimi, aracın bakım etkinliklerinin çoğunun gerçekleştirilmesine ve Active Directory veya AWS Kimlik ve Erişim Yönetimi (IAM) kullanıcıları olabilir, ancak erişim izni vermenin ideal bir seçim olmayacağını anlıyoruz. Bu nedenle, kullanıcı ve gruplar için bir erişim izni akışı tanımladık. QuickSight API'si, aşağıdaki şekilde görüldüğü gibi. Bu modelde, kullanıcıların oluşturulması ve kaldırılması, aşağıdaki yapıya sahip bir JSON dosyası aracılığıyla yapılır:
Bir kullanıcının eklenmesi veya değiştirilmesi gerektiğinde, dosya düzenlenir ve GitHub'a bir çekme isteği gönderilir. İstek onaylanırsa, dosyayı bir alıcıya göndermek için bir eylem tetiklenir. Amazon Basit Depolama Hizmeti (Amazon S3) paketi. Bundan, bir AWS Lambda iki aktivite gerçekleştiren bir fonksiyon tetiklenir: ilki, kullanıcıların ve grupların bakımı ve ikincisi, aracılığıyla bir davetin gönderilmesidir. Amazon Basit E-posta Hizmeti (Amazon SES), kullanıcıların QuickSight'a katılması için. Bizim durumumuzda, yürütülmekte olan veri demokratikleştirme girişimini vurgulayacak kişiselleştirilmiş bir davet modelini tercih ettik.
Aracı izlemek için, kullandığımız aşağıdaki şekilde gösterilen mimariyi uyguladık. AWS CloudTrail raporlar, kullanıcılar, veri kümeleri, veri kaynakları ve daha fazlası gibi aracın kaynaklarından bilgi çıkarmak için QuickSight günlüklerini ve QuickSight API'sini çıkarmak için. Tüm bu veriler, veri entegrasyon aracımız Glove tarafından işlenir, Amazon Redshift'te depolanır ve QuickSight'ın kendisinde analiz edilir. Bu, optimum maliyet kontrolüne ve SPICE kullanımına izin vermenin yanı sıra, kullanıcılarımızın davranışlarını anlamamıza ve çabalarımızı en çok kullanılan kaynaklar üzerinde yoğunlaştırmamıza olanak tanır.
Veri kümelerini güncellemek için, büyük veri hacmi ve DAG'lerin karmaşıklığı nedeniyle QuickSight dahili zamanlayıcıyı kullanmıyoruz. ETL (ayıklama, dönüştürme ve yükleme) ve ELT süreç düzenleme akışımız içindeki veri kümelerini güncellemeyi tercih ediyoruz. Bu amaçla orkestrasyon aracımız olan Hanger'ı kullanıyoruz. Bu yaklaşım, veri setlerinin yalnızca veri kaynağı değiştirildiğinde ve veri kalitesi süreçleri yürütüldüğünde güncellenmesini sağlar. Bu model aşağıdaki şekil ile temsil edilmektedir.
Sonuç
Bir veri görselleştirme aracı seçmek basit bir iş değildir. Pek çok hususu içerir ve seçimin şirketin özelliklerine uyması ve iş kullanıcılarının profiliyle tutarlı olması için çeşitli yönlerin analiz edilmesi gerekir.
Dafiti için QuickSight, özelliklerini öğrendiğimiz andan itibaren doğal bir seçimdi. Ana veri kaynaklarımızla aynı bulutta yer alan, SPICE kullanan son derece hızlı, kurum içi uygulamaların bakım ve maliyet sorununu çözen bir hizmete ihtiyacımız vardı. İşimiz için gerekli olan işlevsellik açısından ihtiyaçlarımızı mükemmel bir şekilde karşıladı.
Dafiti'de veri alanında ne yaptığımız hakkında daha fazla bilgi edinmek ister misiniz? Aşağıdaki videolara göz atın:
Yazarlar Hakkında
Valdiney Gomes Dafiti'de Veri Mühendisliği Koordinatörüdür. Uzun yıllar yazılım mühendisliğinde çalıştı, veri mühendisliğine geçti ve şu anda Dafiti'nin Latin Amerika'daki veri platformundan sorumlu harika bir ekibe liderlik ediyor.
Hélio Leal Dafiti'de AWS çözümlerini kullanarak Dafiti'deki tüm veri platformunun sürdürülmesinden ve geliştirilmesinden sorumlu bir Veri Mühendisliği Uzmanıdır.
Flavia Lima Dafiti'de veri platformunun sürdürülmesinden ve birçok kaynaktan iç müşterilere veri sağlanmasından sorumlu bir Veri Mühendisidir.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoAiStream. Web3 Veri Zekası. Bilgi Genişletildi. Buradan Erişin.
- Adryenn Ashley ile Geleceği Basmak. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/big-data/how-dafiti-made-amazon-quicksight-its-primary-data-visualization-tool/
