Sen kullanabilirsiniz Amazon Veri Firehose yakalanan uygulamalarınızdaki ve hizmetlerinizdeki günlük olaylarını toplamak ve sunmak için Amazon CloudWatch Günlükleri sizin için Amazon Basit Depolama Hizmeti (Amazon S3) veri analitiği, güvenlik analizi, uygulama sorun giderme vb. kullanım durumları için paket ve Splunk hedefleri. CloudWatch Günlükleri varsayılan olarak gzip ile sıkıştırılmış nesneler olarak sunulur. Uygulama izleme ve denetleme için verilerin sıkıştırılmış halinin açılmasını veya günlüklerin sıkıştırılmış veri girişi gerektiren Splunk'a teslim edilmesini isteyebilirsiniz.

AWS, Firehose'da CloudWatch Logs'un sıkıştırmasını açmayı destekleyen bir özellik yayınladı. Bu yeni özellik sayesinde Firehose'da CloudWatch Logs'un sıkıştırmasını açmak için bir seçenek belirleyebilirsiniz. Artık kullanarak ek işlem yapmanıza gerek yok AWS Lambda veya sıkıştırılmış günlükleri almak için işlem sonrası ve sıkıştırılmış verileri Splunk'a iletebilir. Ek olarak, CloudWatch Günlüklerini Parquet veya ORC'ye dönüştürmek için kayıt formatı dönüştürme ve akış kayıtlarını verilerdeki anahtarlara göre (örneğin aya göre) otomatik olarak gruplandırmak ve gruplandırılmış kayıtları karşılık gelen yerlere iletmek için dinamik bölümleme gibi isteğe bağlı Firehose özelliklerini kullanabilirsiniz. Amazon S3 önekleri.

Bu yazıda Splunk ve Amazon S3 hedefleri için sıkıştırmayı açma özelliğinin nasıl etkinleştirileceğine bakıyoruz. Yeni akışlar için Splunk ve ardından Amazon S3 ile başlıyoruz, ardından bu özellikten yararlanmak ve mevcut işlem hattınızı basitleştirmek için geçiş adımlarını ele alıyoruz.

Splunk için CloudWatch Günlüklerinin Sıkıştırmasını Açın

Verileri doğrudan Firehose'a veya Firehose aracılığıyla almak için CloudWatch günlük gruplarında abonelik filtresini kullanabilirsiniz. Amazon Kinesis Veri Akışları.

Not: CloudWatch Logs sıkıştırmasını açma özelliği için bir HTTP Olay Toplayıcı Dizin oluşturucu onayı etkinleştirilmiş ve Splunk'ta oluşturulan (HEC) veri girişi ve kaynak tipi. Bu, sıkıştırılmış günlüklerin doğru kaynak türüne eşlenmesi için gereklidir. HEC girişini oluştururken kaynak türü eşlemesini ekleyin (örneğin, aws:cloudtrail).

Sıkıştırmayı açma özelliğine yönelik bir Firehose dağıtım akışı oluşturmak için aşağıdaki adımları tamamlayın:

1. Hedef ayarlarınızı sağlayın ve Ham uç nokta uç nokta türü olarak.

Splunk'a hem ham hem de JSON biçimli olay verilerini almak amacıyla sıkıştırmayı açma özelliği için ham bir uç nokta kullanabilirsiniz. Örneğin, VPC Akış Günlükleri verileri ham verilerdir ve AWS CloudTrail veriler JSON formatındadır.

2. HEC jetonunu girin Kimlik doğrulama jetonu.
   
3. Sıkıştırmayı açma özelliğini etkinleştirmek için seçimi kaldırın AWS Lambda ile kaynak kayıtlarını dönüştürün altında Kayıtları dönüştür.
4. seç Basınç azaltmayı aç ve Mesaj ayıklamayı aç için Amazon CloudWatch Logs'daki kaynak kayıtlarının sıkıştırmasını açın.
5. seç Mesaj ayıklamayı aç Splunk hedefi için.
   

Mesaj çıkarma özelliği

Sıkıştırmayı açmanın ardından CloudWatch Logs, aşağıdaki şekilde gösterildiği gibi JSON formatındadır. Sıkıştırılmış verilerin meta veri bilgilerine sahip olduğunu görebilirsiniz. logGroup, logStream, ve subscriptionFiltersve gerçek veriler buna dahil edilmiştir. message altında alan logEvents (aşağıdaki örnekte CloudWatch Günlüklerindeki CloudTrail olaylarının bir örneği gösterilmektedir).

Mesaj ayıklamayı etkinleştirdiğinizde, Firehose aşağıdaki şekilde gösterildiği gibi yalnızca mesaj alanlarının içeriğini çıkaracak ve içerikleri aralarında yeni bir satırla birleştirecektir. CloudWatch Logs meta verileri bu özellikle filtrelendiğinde Splunk, gerçek günlük verilerini başarıyla ayrıştıracak ve HEC belirtecinde yapılandırılan kaynak türüyle eşleyecektir.

Ek olarak, bu CloudWatch olaylarını gerçek zamanlı olarak Splunk hedefinize ulaştırmak istiyorsanız, sıfır ara belleğe almaFirehose'da yakın zamanda kullanıma sunulan yeni bir özellik. Splunk hedefine saniyeler içinde gerçek zamanlı olarak veri iletmek için arabellek aralığı olarak 0 saniyeyi veya 0-60 saniye arasında herhangi bir zaman aralığını ayarlamak için bu özelliği kullanabilirsiniz.

Bu ayarlarla artık sıkıştırılmış CloudWatch günlük verilerini Firehose kullanarak Splunk'a sorunsuz bir şekilde aktarabilirsiniz.

Amazon S3 için CloudWatch Günlüklerinin sıkıştırmasını açın

Amazon S3 hedefi için CloudWatch Logs sıkıştırma açma özelliği Splunk'a benzer şekilde çalışır; burada Lambda'yı kullanarak veri dönüştürmeyi kapatabilir ve sıkıştırmayı açma ve mesaj çıkarma seçeneklerini açabilirsiniz. Günlük verilerini bir metin dosyası olarak Amazon S3 hedefine yazmak için sıkıştırmayı açma özelliğini kullanabilir veya Parquet veya ORC kullanarak kayıt formatı dönüştürme veya verileri bölümlemek için dinamik bölümleme gibi diğer Amazon S3 hedef özellikleriyle birlikte kullanabilirsiniz.

Sıkıştırmayı açma ile dinamik bölümleme

Amazon S3 hedefi için Firehose, veri içindeki anahtarları kullanarak akış verilerini sürekli olarak bölümlendirmenize ve ardından bu anahtarlara göre gruplandırılmış verileri ilgili Amazon S3 öneklerine teslim etmenize olanak tanıyan dinamik bölümlendirmeyi destekler. Bu, aşağıdaki hizmetleri kullanarak Amazon S3'teki akış verileri üzerinde yüksek performanslı, uygun maliyetli analizler yürütmenize olanak tanır: Amazon Atina, Amazon EMR'si, Amazon Kırmızıya Kaydırma Spektrumu, ve Amazon QuickSight. Verilerinizi bölümlendirmek, taranan veri miktarını en aza indirir, performansı optimize eder ve Amazon S3'teki analiz sorgularınızın maliyetlerini azaltır.

Yeni sıkıştırmayı açma özelliği sayesinde, CloudWatch Logs'ta bölümleme anahtarlarını eşlemek için herhangi bir Lambda işlevi olmadan dinamik bölümleme gerçekleştirebilirsiniz. Şunu etkinleştirebilirsiniz: JSON için satır içi ayrıştırma seçeneği, sıkıştırılmış günlük verilerini tarayın ve bölümleme anahtarlarını seçin. Aşağıdaki ekran görüntüsü, CloudTrail kaydında hesap kimliği ve AWS Bölgesi için seçilen bölümleme şemasıyla CloudTrail günlük verileri için satır içi ayrıştırmanın etkinleştirildiği bir örneği göstermektedir.

Sıkıştırmayı açmayla format dönüştürmeyi kaydedin

CloudWatch Logs verileri için, Amazon S3 hedefine yönelik sıkıştırılmış veriler üzerinde kayıt biçimi dönüştürme özelliğini kullanabilirsiniz. Firehose, giriş veri formatını JSON'dan JSON'a dönüştürebilir Apache Parke or Apache ORC'si Verileri Amazon S3'te saklamadan önce. Parke ve ORC, JSON gibi satır odaklı formatlara kıyasla yerden tasarruf sağlayan ve daha hızlı sorgu yapılmasını sağlayan sütunlu veri formatlarıdır. Kayıt formatı dönüştürmeye yönelik özellikleri, altında kullanabilirsiniz. Kayıtları dönüştürün ve dönüştürün CloudWatch günlük verilerini Parquet veya ORC formatına dönüştürmek için ayarlar. Aşağıdaki ekran görüntüsünde Parquet formatı için kayıt formatı dönüştürme ayarlarının bir örneği gösterilmektedir. AWS Tutkal CloudTrail günlük verileri için şema ve tablo. Dinamik bölümleme ayarları yapılandırıldığında, kayıt formatı dönüştürme, hedef S3 klasöründe bir bölüm klasörü yapısına sahip çıktı formatındaki dosyaları oluşturmak için dinamik bölümleme ile birlikte çalışır.

Sıkıştırmayı açmak için mevcut dağıtım akışlarını taşıyın

Sıkıştırmayı açmak için Lambda'yı kullanan mevcut bir Firehose akışını Firehose'un bu yeni açma özelliğine taşımak istiyorsanız, şu bölümde özetlenen adımlara bakın: Dekompresyonu etkinleştirme ve devre dışı bırakma.

Fiyatlandırma

Firehose açma özelliği, verilerin sıkıştırmasını açar ve sıkıştırılmış veri GB'ı başına ücretlendirir. Dekompresyon fiyatlandırmasını anlamak için bkz. Amazon Data Firehose fiyatlandırması.

Temizlemek

Gelecekte masraf oluşmasını önlemek için oluşturduğunuz kaynakları aşağıdaki sırayla silin:

1. CloudWatch Logs abonelik filtresini silin.
2. Firehose dağıtım akışını silin.
3. S3 paketlerini silin.

Sonuç

Firehose'un sıkıştırmayı açma ve mesaj çıkarma özelliği, CloudWatch Log'larının Amazon S3 ve Splunk hedeflerine herhangi bir kod geliştirme veya ek işlem gerektirmeden teslim edilmesini basitleştirir. Amazon S3 hedefi için sıkıştırılmış veriler üzerinde Parquet veya ORC dönüştürme ve dinamik bölümleme özelliklerini kullanabilirsiniz.

Daha fazla bilgi için aşağıdaki kaynaklara bakın:

Yazarlar Hakkında

Ranjit Kalidasan Boston, Massachusetts merkezli Amazon Web Services'te Kıdemli Çözüm Mimarıdır. Kendisi, güvenlik ISV iş ortaklarının çözümleri AWS ile birlikte oluşturmasına ve ortak pazarlamasına yardımcı olan bir İş Ortağı Çözüm Mimarıdır. Küresel müşterilerin güvenlik ve analitik için karmaşık çözümler uygulamalarına yardımcı olan bilgi teknolojisi alanında 25 yılı aşkın deneyime sahiptir. Ranjit ile şu adresten bağlantı kurabilirsiniz: LinkedIn.

Phaneendra Vuliyaragoli AWS'de Amazon Data Firehose Ürün Yönetimi Lideridir. Bu rolde Phaneendra, Amazon Data Firehose'un ürün ve pazara giriş stratejisine liderlik ediyor.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/big-data/deliver-decompressed-amazon-cloudwatch-logs-to-amazon-s3-and-splunk-using-amazon-data-firehose/