Müşteriler, veri ambarlarını Amazon Kırmızıya Kaydırma çünkü hızlı, ölçeklenebilir ve uygun maliyetlidir. Ancak, veri ambarı geçiş projeleri karmaşık ve zorlu olabilir. Bu gönderide, veri ambarı geçişinin ortak sürücülerini, geçiş stratejilerini ve geçiş projenize yardımcı olmak için hangi araç ve hizmetlerin mevcut olduğunu anlamanıza yardımcı olacağım.

Önce büyük veri ortamını, modern veri mimarisinin anlamını ve modern bir veri mimarisi oluştururken veri ambarı geçiş projeniz için nelere dikkat etmeniz gerektiğini tartışalım.

İş fırsatları

Veriler çalışma, yaşama ve oynama şeklimizi değiştiriyor. Tüm bu davranış değişiklikleri ve buluta geçiş, son 20 yılda bir veri patlamasına neden oldu. Nesnelerin İnterneti ve akıllı telefonların yaygınlaşması, her gün üretilen veri miktarını hızlandırdı. İş modelleri değişti ve bu işletmeleri yöneten insanların ihtiyaçları da değişti. Sadece birkaç yıl önce terabaytlarca veri hakkında konuşmaktan şimdi petabaytlarca ve eksabaytlarca veriye geçtik. Verileri verimli bir şekilde çalışmaya koyarak ve toplanan verilerden derin iş içgörüleri oluşturarak, farklı sektörlerdeki ve çeşitli büyüklükteki işletmeler çok çeşitli iş sonuçları elde edebilir. Bunlar genel olarak aşağıdaki temel iş sonuçlarına göre sınıflandırılabilir:

• Operasyonel verimliliği artırma – İşletmeler, çeşitli operasyonel süreçlerden toplanan verileri anlamlandırarak müşteri deneyimini iyileştirebilir, üretim verimliliğini artırabilir ve satış ve pazarlama çevikliğini artırabilir.
• Daha bilinçli kararlar vermek – Bir kuruluştaki verilerin tam resmini bir araya getirerek daha anlamlı içgörüler geliştirerek, işletmeler daha bilinçli kararlar verebilir
• İnovasyonu hızlandırmak – Dahili ve harici veri kaynaklarını birleştirmek, işletmelerin süreçleri otomatikleştirmesine ve daha önce yapılması imkansız veya yapılması çok zor olan iş fırsatlarının kilidini açmasına yardımcı olan çeşitli AI ve makine öğrenimi (ML) kullanım senaryolarına olanak tanır.

İş zorlukları

Üstel veri büyümesi aynı zamanda iş zorluklarını da beraberinde getirdi.

Her şeyden önce, işletmelerin kuruluş genelindeki tüm verilere erişmesi gerekir ve veriler silolar halinde dağıtılabilir. Çok çeşitli kaynaklardan, çok çeşitli veri türlerinden ve büyük hacim ve hızda gelir. Bazı veriler, ilişkisel veritabanlarında yapılandırılmış veriler olarak saklanabilir. Diğer veriler, ortam dosyaları ve mobil cihazlardan sürekli olarak akan tıklama akışı verileri gibi nesne depolarında yarı yapılandırılmış veriler olarak saklanabilir.

İkinci olarak, verilerden içgörüler oluşturmak için işletmelerin analitik yaparak verilere derinlemesine dalmaları gerekir. Bu analitik faaliyetler genellikle sisteme aynı anda erişmesi gereken düzinelerce ve yüzlerce veri analistini içerir. Sorgu talebini karşılamak için ölçeklenebilir performanslı bir sisteme sahip olmak genellikle zorlu bir iştir. İşletmelerin analiz edilen verileri müşterileriyle paylaşması gerektiğinde daha karmaşık hale gelir.

Son olarak, işletmelerin veri siloları, performans, ölçeklenebilirlik, güvenlik ve uyumluluk zorluklarını ele almak için uygun maliyetli bir çözüme ihtiyacı vardır. Maliyeti görselleştirebilmek ve tahmin edebilmek, bir işletmenin çözümünün maliyet etkinliğini ölçmesi için gereklidir.

Bu zorlukları çözmek için işletmelerin geleceğe hazır modern bir veri mimarisine ve sağlam, verimli bir analitik sistemine ihtiyacı var.

Modern veri mimarisi

Modern bir veri mimarisi, kuruluşların herhangi bir miktarda veriyi açık formatlarda depolamasına, bağlantısız veri silolarını parçalamasına, kullanıcıların tercih ettikleri araç veya tekniği kullanarak analitik veya ML çalıştırmalarına ve uygun güvenlikle belirli veri parçalarına kimlerin erişimi olduğunu yönetmesine olanak tanır. ve veri yönetişimi kontrolleri.

AWS veri gölü mimarisi, aşağıdaki şekilde gösterildiği gibi verileri bir veri gölünde depolamanıza ve göl çevresinde amaca yönelik olarak oluşturulmuş veri hizmetleri halkasını kullanmanıza olanak tanıyan modern bir veri mimarisidir. Bu, hızlı ve çevik, geniş ölçekte ve uygun maliyetli kararlar vermenizi sağlar. Daha fazla ayrıntı için, bkz. AWS'de Modern Veri Mimarisi.

Modern veri ambarı

Amazon Kırmızıya Kaydırma geniş ölçekte hızlı, kolay ve güvenli analitikle içgörülere ulaşma süresini hızlandıran, tümüyle yönetilen, ölçeklenebilir, modern bir veri ambarıdır. Amazon Redshift ile tüm verilerinizi analiz edebilir, düşük ve öngörülebilir maliyetlerle her ölçekte performans elde edebilirsiniz.

Amazon Redshift aşağıdaki avantajları sunar:

• Tüm verilerinizi analiz edin – Amazon Redshift ile, tutarlı güvenlik ve yönetim ilkeleriyle veri ambarınız ve veri gölünüz genelindeki tüm verilerinizi kolayca analiz edebilirsiniz. Buna modern veri mimarisi diyoruz. İle birlikte Amazon Kırmızıya Kaydırma Spektrumu, veri gölünüzdeki verileri yüklemeye veya başka bir veri hazırlığına gerek duymadan sorgulayabilirsiniz. Ve birlikte veri gölü dışa aktarma, bir Amazon Redshift sorgusunun sonuçlarını tekrar göle kaydedebilirsiniz. Bu, Amazon Redshift veri gölünüzle tamamen entegre olduğundan, yeniden mimariye gerek kalmadan gerçek zamanlı analitik ve ML/AI kullanım senaryolarından yararlanabileceğiniz anlamına gelir. gibi yeni yeteneklerle bilgi paylaşımı, verileri Amazon Redshift kümeleri arasında hem dahili hem de harici olarak kolayca paylaşabilir, böylece herkesin canlı ve tutarlı bir veri görünümüne sahip olmasını sağlayabilirsiniz. Amazon Redshift ML Verilerinizle daha fazlasını yapmayı kolaylaştırır; doğrudan Amazon Redshift veri ambarlarında tanıdık SQL komutlarını kullanarak makine öğrenimi modelleri oluşturabilir, eğitebilir ve dağıtabilirsiniz.
• Her ölçekte hızlı performans – Amazon Redshift, sıralama anahtarları ve dağıtım anahtarları tanımlama gibi görevlerle veri ambarınızı ayarlamanın farklı olmayan ağır yükleri olmadan iş yükleriniz için en iyi performansı elde etmenize olanak tanıyan kendi kendini ayarlayan ve kendi kendine öğrenen bir sistemdir. gerçekleşen görüşler, otomatik yenileme ve otomatik sorgu yeniden yazma. Amazon Redshift, gigabaytlardan petabaytlarca veriye ve birkaç kullanıcıdan binlerce veriye kadar tutarlı bir şekilde hızlı sonuçlar sunmak için ölçeklenir. Kullanıcı tabanınız binlerce eşzamanlı kullanıcıya ölçeklendikçe, eşzamanlılık ölçekleme yeteneği, ek yükü yönetmek için gerekli bilgi işlem kaynaklarını otomatik olarak dağıtır. Amazon Redshift RA3 örnekleri yönetilen depolama ile ayrı bilgi işlem ve depolama, böylece her birini bağımsız olarak ölçeklendirebilir ve yalnızca ihtiyacınız olan depolama alanı için ödeme yapabilirsiniz. Amazon Redshift için AQUA (Gelişmiş Sorgu Hızlandırıcı) belirli türdeki sorguları otomatik olarak artıran, dağıtılmış ve donanımla hızlandırılmış yeni bir önbellektir.
• Herkes için kolay analitik – Amazon Redshift, ayrıntılı altyapı yönetimi veya performans optimizasyonunun yükünü ortadan kaldıran, tümüyle yönetilen bir veri ambarıdır. Altyapı sağlama, yedekleme oluşturma, veri düzenini ayarlama ve diğer görevler gibi bakım görevlerini yerine getirmek yerine içgörülere ulaşmaya odaklanabilirsiniz. Verileri açık biçimlerde çalıştırabilir, tanıdık SQL komutlarını kullanabilir ve yeni sürüm aracılığıyla sunulan sorgu görselleştirmelerinden yararlanabilirsiniz. Sorgu Düzenleyicisi v2. Ayrıca, yazılım sürücülerini yapılandırmadan, veritabanı bağlantılarını yönetmeden güvenli bir veri API'si aracılığıyla herhangi bir uygulamadan verilere erişebilirsiniz. Amazon Redshift, iş zekası (BI) araçlarıyla uyumludur ve Amazon Redshift'in gücünü ve entegrasyonunu BI aracından çalışan iş kullanıcılarına açar.

Veri gölü mimarisine sahip modern bir veri mimarisi ve Amazon Redshift ile modern veri ambarı, farklı boyutlardaki işletmelerin büyük veri zorluklarını ele almasına, büyük miktarda veriyi anlamlandırmasına ve iş sonuçlarını yönlendirmesine yardımcı olur. Veri ambarınızı Amazon Redshift'e geçirerek modern bir veri mimarisi oluşturma yolculuğuna başlayabilirsiniz.

Taşıma ile ilgili hususlar

Veri ambarı geçişi, proje karmaşıklığı açısından bir zorluk teşkil eder ve kaynaklar, zaman ve maliyet açısından bir risk oluşturur. Veri ambarı geçişinin karmaşıklığını azaltmak için mevcut veri ambarı ortamınıza ve Amazon Redshift'e geçiş için gereken dönüşüm miktarına göre doğru bir geçiş stratejisi seçmeniz önemlidir. Aşağıdakiler, geçiş stratejisi kararınızı etkileyebilecek temel faktörlerdir:

• beden – Taşınacak kaynak veri ambarının toplam boyutu, taşımaya dahil edilen nesneler, tablolar ve veritabanları tarafından belirlenir. Amazon Redshift'e geçmek için gereken veri kaynakları ve veri etki alanlarının iyi anlaşılması, geçiş projesinin en uygun şekilde boyutlandırılmasını sağlar.
• veri aktarımı – Veri ambarı geçişi, kaynak veri ambarı sunucuları ile AWS arasında veri aktarımını içerir. Kaynak konum ile AWS arasında bir ağ ara bağlantısı üzerinden veri aktarabilirsiniz. AWS Doğrudan Bağlan veya aşağıdaki gibi araçlar veya hizmetler aracılığıyla verileri çevrimdışı olarak aktarın. AWS Kar Ailesi.
• Veri değişim oranı – Veri ambarınızda veri güncellemeleri veya değişiklikleri ne sıklıkla gerçekleşir? Mevcut veri ambarı veri değişim oranınız, kaynak veri ambarını ve hedef Amazon Redshift'i senkronize tutmak için gereken güncelleme aralıklarını belirler. Yüksek veri değişim hızına sahip bir kaynak veri ambarı, hizmetin kaynaktan Amazon Redshift'e geçişinin bir güncelleme aralığı içinde tamamlanmasını gerektirir ve bu da daha kısa bir geçiş geçiş aralığına yol açar.
• Veri dönüşümü – Mevcut veri ambarınızı Amazon Redshift'e taşımak, veri eşleme ve şema değişikliği gibi veri dönüşümlerini içeren heterojen bir geçiştir. Veri dönüştürmenin karmaşıklığı, bir geçiş yinelemesi için gereken işlem süresini belirler.
• Taşıma ve ETL araçları – Taşıma ve ayıklama, dönüştürme ve yükleme (ETL) araçlarının seçimi, taşıma projesini etkileyebilir. Örneğin, bu araçların dağıtımı ve kurulumu için gereken çabalar değişebilir. AWS araçlarına ve hizmetlerine kısa süre içinde daha yakından bakacağız.

Tüm bu hususları hesaba kattıktan sonra, Amazon Redshift geçiş projeniz için bir geçiş stratejisi seçeneği belirleyebilirsiniz.

Taşıma stratejileri

Üç geçiş stratejisi arasından seçim yapabilirsiniz: tek adımlı taşıma, iki adımlı taşıma veya dalga tabanlı taşıma.

Tek adımlı geçiş, devam eden veri değişikliklerini kaynak ve hedef arasında eşitlemede tutmak için sürekli çoğaltma gibi sürekli işlem gerektirmeyen veritabanları için iyi bir seçenektir. Varolan veritabanlarını virgülle ayrılmış değer (CSV) dosyaları veya Parquet gibi sütunlu biçimde çıkarabilir, ardından aşağıdakiler gibi AWS Snow Family hizmetlerini kullanabilirsiniz: AWS Kartopu veri kümelerini teslim etmek için Amazon Basit Depolama Hizmeti (Amazon S3) Amazon Redshift'e yüklemek için. Ardından, kaynakla veri tutarlılığı için hedef Amazon Redshift veritabanını test edersiniz. Tüm doğrulamalar geçtikten sonra veritabanı AWS'ye geçer.

İki aşamalı geçiş, sürekli çoğaltma gibi sürekli işlem gerektiren her boyuttaki veritabanları için yaygın olarak kullanılır. Geçiş sırasında kaynak veritabanlarında devam eden veri değişiklikleri olur ve sürekli çoğaltma, veri değişikliklerini kaynak ile Amazon Redshift arasında eşitlenmiş halde tutar. İki aşamalı geçiş stratejisinin dökümü aşağıdaki gibidir:

• İlk veri taşıma – Veriler, etkiyi en aza indirmek için tercihen yoğun olmayan kullanım sırasında kaynak veritabanından çıkarılır. Daha sonra veriler, daha önce açıklanan tek adımlı geçiş yaklaşımı izlenerek Amazon Redshift'e geçirilir.
• Değişen veri taşıma – İlk veri geçişinden sonra kaynak veritabanında değişen veriler, geçişten önce hedefe yayılır. Bu adım, kaynak ve hedef veritabanlarını senkronize eder. Değiştirilen tüm veriler taşındıktan sonra, hedef veritabanındaki verileri doğrulayabilir ve gerekli testleri gerçekleştirebilirsiniz. Tüm testler başarılı olursa Amazon Redshift veri ambarına geçersiniz.

Dalga tabanlı geçiş, büyük ölçekli veri ambarı geçiş projeleri için uygundur. Dalga tabanlı göç ilkesi, karmaşık bir göç projesini çoklu mantıksal ve sistematik dalgalara bölmek için önlemler almaktır. Bu strateji, karmaşıklığı ve riski önemli ölçüde azaltabilir. Çok sayıda veri kaynağını ve orta düzeyde karmaşıklığa sahip konu alanlarını kapsayan bir iş yükünden başlarsınız, ardından sonraki her dalgada daha fazla veri kaynağı ve konu alanı eklersiniz. Bu stratejiyle, kaynak veri ambarını tamamen kullanımdan kaldırmadan önce hem kaynak veri ambarını hem de Amazon Redshift üretim ortamlarını belirli bir süre paralel olarak çalıştırırsınız. Görmek Amazon Redshift ile veri ambarınızı modernize etmek için bir uygulama geçişi metodolojisi geliştirin Dalga tabanlı geçiş yaklaşımını kullanarak kaynak veri ambarından Amazon Redshift'e geçiş yapmak için veri kaynaklarının ve analitik uygulamalarının nasıl belirlenip gruplandırılacağına ilişkin ayrıntılar için.

Geçiş stratejisi kararınızı yönlendirmek için, tercih edilen bir geçiş stratejisiyle göz önünde bulundurulan faktörleri eşleştirmek için aşağıdaki tabloya bakın.

Taşıma işlemi

Bu bölümde, geçiş sürecinin üç üst düzey adımını gözden geçiriyoruz. İki aşamalı geçiş stratejisi ve dalga tabanlı geçiş stratejisi, üç geçiş adımının tümünü içerir. Ancak, dalga tabanlı geçiş stratejisi bir dizi yineleme içerir. Yalnızca sürekli işlemler gerektirmeyen veritabanları tek adımlı geçiş için uygun olduğundan, geçiş sürecinde yalnızca Adım 1 ve 2 gereklidir.

Adım 1: Şemayı ve konu alanını dönüştürün

Bu adımda, aşağıdaki gibi şema dönüştürme araçlarını kullanarak kaynak veri ambarı şemasını dönüştürerek kaynak veri ambarı şemasını Amazon Redshift şemasıyla uyumlu hale getirirsiniz. AWS Şema Dönüştürme Aracı (AWS SCT) ve AWS iş ortaklarının diğer araçları. Bazı durumlarda, karmaşık şema dönüştürmelerini gerçekleştirmek için özel kod kullanmanız da gerekebilir. Daha sonraki bir bölümde AWS SCT ve geçişle ilgili en iyi uygulamaları daha derinlemesine inceleyeceğiz.

Adım 2: İlk veri çıkarma ve yükleme

Bu adımda, ilk veri çıkarma işlemini tamamlar ve kaynak verileri Amazon Redshift'e ilk kez yüklersiniz. Kullanabilirsiniz AWS SCT veri çıkarıcıları veri boyutunuz ve veri aktarım gereksinimleriniz birbirine bağlı ağ üzerinden veri aktarmanıza izin veriyorsa, kaynak veri ambarından veri çıkarmak ve verileri Amazon S3'e yüklemek için. Alternatif olarak, ağ kapasite sınırı gibi sınırlamalar varsa verileri Snowball'a yükleyebilirsiniz ve oradan veriler Amazon S3'e yüklenir. Kaynak veri ambarındaki veriler Amazon S3'te kullanılabilir olduğunda Amazon Redshift'e yüklenir. Kaynak veri ambarı yerel araçlarının AWS SCT veri çıkarıcılarından daha iyi bir veri boşaltma ve yükleme işi yaptığı durumlarda, bu adımı tamamlamak için yerel araçları kullanmayı seçebilirsiniz.

Adım 3: Delta ve artımlı yük

Bu adımda, delta veya artımlı değişiklikleri yakalamak ve kaynaklardan Amazon Redshift'e yüklemek için AWS SCT'yi ve bazen kaynak veri ambarı yerel araçlarını kullanırsınız. Buna genellikle veri yakalamayı (CDC) değiştirmek denir. CDC, bir veritabanında yapılan değişiklikleri yakalayan ve bu değişikliklerin veri ambarı gibi bir hedefe çoğaltılmasını sağlayan bir süreçtir.

Artık veri ambarınız için bir geçiş planı geliştirmeye başlamak için yeterli bilgiye sahip olmalısınız. Aşağıdaki bölümde, veri ambarınızı Amazon Redshift'e taşımanıza yardımcı olabilecek AWS hizmetlerine ve veri ambarı geçiş projenizin başarılı bir şekilde teslim edilmesini hızlandırmak için bu hizmetleri kullanmanın en iyi uygulamalarına daha derinlemesine dalacağım.

Veri ambarı taşıma hizmetleri

Veri ambarı geçişi, geçiş sürecini desteklemek için bir dizi hizmet ve araç içerir. Bir veritabanı geçişi değerlendirme raporu oluşturmaya ve ardından AWS SCT kullanarak kaynak veri şemasını Amazon Redshift ile uyumlu olacak şekilde dönüştürmeye başlarsınız. Verileri taşımak için, entegrasyona sahip AWS SCT veri çıkarma aracını kullanabilirsiniz. AWS Veri Taşıma Hizmeti (AWS DMS) AWS DMS görevleri oluşturup yönetmek ve veri geçişini düzenlemek için.

Kaynak ve AWS arasında birbirine bağlı ağ üzerinden kaynak verileri aktarmak için şunları kullanabilirsiniz: AWS Depolama Ağ Geçidi, Amazon Kinesis Veri İtfaiyesi, Doğrudan bağlantı, AWS Transfer Ailesi hizmetleri, Amazon S3 Transfer Hızlandırma, ve AWS Veri Eşzamanlama. Büyük miktarda veri içeren veri ambarı geçişi için veya birbirine bağlı ağ kapasitesiyle ilgili kısıtlamalar varsa, AWS Snow Ailesi hizmetlerinden yararlanarak veri aktarabilirsiniz. Bu yaklaşımla verileri cihaza kopyalayabilir, AWS'ye geri gönderebilir ve verilerin Amazon S3 aracılığıyla Amazon Redshift'e kopyalanmasını sağlayabilirsiniz.

AWS SCT, Amazon Redshift'e veri ambarı geçişinizi hızlandırmak için önemli bir hizmettir. Daha derine inelim.

AWS SCT kullanarak taşıma

AWS SCT, veri ambarı şemanızı Amazon Redshift veritabanı şemasına dönüştürme sürecinin çoğunu otomatikleştirir. Kaynak ve hedef veritabanı motorları birçok farklı özellik ve yeteneğe sahip olabileceğinden, AWS SCT, mümkün olan her yerde hedef veritabanınızda eşdeğer bir şema oluşturmaya çalışır. Doğrudan dönüştürme mümkün değilse AWS SCT, şemanızı dönüştürmenize yardımcı olmak için bir veritabanı geçişi değerlendirme raporu oluşturur. Veritabanı geçişi değerlendirme raporu, şemanın kaynak veritabanınızdan hedef veritabanınıza dönüştürülmesi hakkında önemli bilgiler sağlar. Rapor, tüm şema dönüştürme görevlerini özetler ve hedef veritabanınızın DB motoruna dönüştürülemeyen şema nesneleri için eylem öğelerinin ayrıntılarını verir. Rapor ayrıca, otomatik olarak dönüştürülemeyen eşdeğer kodu hedef veritabanınıza yazmak için gereken çaba miktarına ilişkin tahminleri de içerir.

Depolama optimizasyonu, bir veri ambarı dönüşümünün kalbidir. Amazon Redshift veritabanınızı kaynak olarak ve bir test Amazon Redshift veritabanını hedef olarak kullanırken AWS SCT, veritabanınızı optimize etmek için sıralama anahtarları ve dağıtım anahtarları önerir.

AWS SCT ile aşağıdaki veri ambarı şemalarını Amazon Redshift'e dönüştürebilirsiniz:

• Amazon Kırmızıya Kaydırma
• Azure Synapse Analytics (sürüm 10)
• Greenplum Veritabanı (sürüm 4.3 ve üstü)
• Microsoft SQL Server (sürüm 2008 ve sonrası)
• Netezza (sürüm 7.0.3 ve üstü)
• Oracle (sürüm 10.2 ve üstü)
• Kar tanesi (sürüm 3)
• Teradata (sürüm 13 ve üstü)
• Vertica (sürüm 7.2 ve üstü)

At
AWS, ürünümüzü geliştirmek için yeni özellikler ve geliştirmeler yayınlamaya devam ediyoruz. Desteklenen en son dönüşümler için şu adresi ziyaret edin: AWS ÖTV Kullanıcı Kılavuzu.

AWS SCT veri çıkarma aracını kullanarak verileri taşıma

Şirket içi veri ambarınızdan verileri çıkarmak ve bunları Amazon Redshift'e geçirmek için bir AWS SCT veri çıkarma aracı kullanabilirsiniz. Aracı, verilerinizi çıkarır ve verileri Amazon S3'e veya büyük ölçekli geçişler için bir AWS Snowball Family hizmetine yükler. Ardından verileri Amazon Redshift'e kopyalamak için AWS SCT'yi kullanabilirsiniz. Amazon S3 bir depolama ve alma hizmetidir. Amazon S3'te bir nesne depolamak için saklamak istediğiniz dosyayı bir S3 klasörüne yüklersiniz. Bir dosya yüklediğinizde, nesneye ve ayrıca herhangi bir meta veriye ilişkin izinleri ayarlayabilirsiniz.

Bir AWS Snowball Family hizmetine veri yüklemeyi içeren büyük ölçekli geçişlerde, gerçek geçişi gerçekleştirmek için veri çıkarma aracının AWS DMS'yi düzenlediği süreci otomatikleştirmek için AWS SCT'de sihirbaz tabanlı iş akışlarını kullanabilirsiniz.

Amazon Redshift geçiş araçlarına ilişkin hususlar

Amazon Redshift'e veri ambarı geçişini iyileştirmek ve hızlandırmak için aşağıdaki ipuçlarını ve en iyi uygulamaları göz önünde bulundurun. Bu liste ayrıntılı değildir. Veri ambarı profilinizi iyi anladığınızdan emin olun ve geçiş projeniz için hangi en iyi uygulamaları kullanabileceğinizi belirleyin.

• Bir geçiş değerlendirme raporu oluşturmak ve geçiş çabasını kapsamak için AWS SCT'yi kullanın.
• Mümkün olduğunda AWS SCT ile geçişi otomatikleştirin. Müşterilerimizin deneyimi, AWS SCT'nin DDL ve SQL komut dosyalarının çoğunu otomatik olarak oluşturabildiğini gösteriyor.
• Otomatik şema dönüştürme mümkün olmadığında, kod dönüştürme için özel komut dosyası kullanın.
• Veri taşıma performansını ve güvenilirliğini iyileştirmek için AWS SCT veri çıkarma aracılarını veri kaynağına mümkün olduğunca yakın kurun.
• Veri taşıma performansını iyileştirmek için, dosyanızı uygun şekilde boyutlandırın. Amazon Elastik Bilgi İşlem Bulutu (Amazon EC2) örneği ve veri çıkarma aracılarının yüklendiği eşdeğer sanal makineleri.
• Ayrılan ağ bant genişliğinin kullanımını en üst düzeye çıkararak veri geçiş performansını iyileştirmek için birden çok görevi paralel olarak çalıştırmak için birden çok veri çıkarıcı aracıyı yapılandırın.
• Şema dönüştürme performansını iyileştirmek için AWS SCT bellek yapılandırmasını ayarlayın.
• Görüntüler, PDF'ler gibi büyük nesneleri ve mevcut veri ambarınızdaki diğer ikili verileri depolamak için Amazon S3'ü kullanın.
• Büyük tabloları geçirmek için sanal bölümlemeyi kullanın ve veri geçiş performansını iyileştirmek için alt görevler oluşturun.
• Direct Connect, AWS Transfer Ailesi ve AWS Snow Ailesi gibi AWS hizmetlerinin kullanım örneklerini anlayın. Veri taşıma gereksinimlerinizi karşılamak için doğru hizmeti veya aracı seçin.
• AWS hizmet kotalarını anlayın ve bilinçli geçiş tasarımı kararları alın.

Özet

Veriler hacim ve karmaşıklık açısından her zamankinden daha hızlı büyüyor. Ancak, bu paha biçilmez varlığın yalnızca bir kısmı analiz için kullanılabilir. Geleneksel şirket içi veri ambarları, modern büyük veri analitiği kullanım örnekleri için ölçeklenmeyen katı mimarilere sahiptir. Bu geleneksel veri ambarlarının kurulması ve işletilmesi pahalıdır ve hem yazılım hem de donanım için büyük ön yatırımlar gerektirir.

Bu gönderide, tüm verilerinizi analiz etmenize ve düşük ve tahmin edilebilir maliyetle her ölçekte performans elde etmenize yardımcı olabilecek, tümüyle yönetilen, ölçeklenebilir, modern bir veri ambarı olarak Amazon Redshift'i ele aldık. Veri ambarınızı Amazon Redshift'e geçirmek için, karmaşıklığı azaltmak için uygun bir geçiş stratejisi ve süreci seçmeden önce veri ambarının toplam boyutu, veri değişim hızı ve veri dönüştürme karmaşıklığı gibi bir dizi faktörü göz önünde bulundurmanız gerekir. veri ambarı geçiş projenizin maliyeti. AWS SCT ve AWS DMS gibi AWS hizmetleriyle ve bu hizmetlerin ipuçlarını ve en iyi uygulamalarını benimseyerek geçiş görevlerini otomatikleştirebilir, geçişi ölçeklendirebilir, veri ambarı geçiş projenizin teslimini hızlandırabilir ve müşterilerinizi memnun edebilirsiniz.

Yazar Hakkında

Lewis Tang Sidney, Avustralya merkezli Amazon Web Services'de Kıdemli Çözüm Mimarıdır. Lewis, iş ortaklarına çok çeşitli AWS hizmetleri için rehberlik sağlar ve iş ortaklarının AWS uygulamalarının büyümesini hızlandırmasına yardımcı olur.

• Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
• Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
• KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
• Kaynak: https://aws.amazon.com/blogs/big-data/what-to-consider-while-migrating-data-warehouse-to-amazon-redshift/