Denetimsiz makine öğrenimi analitik güçlü bir araç olarak ortaya çıkmıştır. anomali tespiti günümüzün veri açısından zengin ortamında, özellikle de makine tarafından üretilen verilerin artan hacmiyle birlikte. Yayın içi anormallik tespiti, veri anormalliklerine ilişkin gerçek zamanlı bilgiler sunarak proaktif müdahaleye olanak tanır. Amazon OpenSearch Sunucusuz kusursuz ölçeklenebilirlik ve arama iş yüklerinin yönetimini sağlamaya odaklanır; Amazon Açık Arama Alımı indekslenmiş verilerde anormallik tespiti için sağlam bir çözüm sağlayarak bunu tamamlar.

Bu yazıda, OpenSearch Ingestion'ı kullanarak kendi AWS ortamınızda yayın içi anormallik tespiti gerçekleştirmenize olanak tanıyan bir çözüm sunuyoruz.

OpenSearch Ingestion ile yayın içi anormallik tespiti

OpenSearch Ingestion, yayın içi anormallik tespit sürecini basit ve daha az maliyetli hale getirir. Yayın içi anormallik tespiti, indekslemeden tasarruf etmenize yardımcı olur ve büyük verileri işlemek için kapsamlı kaynaklara olan ihtiyacı ortadan kaldırır. Kuruluşların uygun kaynakları uygun zamanda uygulamalarına, büyük verileri verimli bir şekilde yönetmelerine ve para tasarrufu yapmalarına olanak tanır. Eş ileticilerin ve toplu işlemcilerin kullanılması işleri daha karmaşık ve pahalı hale getirebilir; OpenSearch Ingestion bu sorunları azaltır.

Yayın içi anormallik tespiti için OpenSearch Ingestion yapılandırması YAML'sini gösteren bir kullanım örneğine bakalım.

Çözüme genel bakış

Bu örnekte, günlük sayımlarını 5 dakikalık bir süre içinde izlemek için rastgele kesilmiş bir orman anormallik dedektörü kullanarak OpenSearch Ingestion'ın kurulumunu inceliyoruz. Ayrıca gelen veri akışının kapsamlı bir gösterimini sağlamak için ham günlükleri de indeksliyoruz. Kullanım durumunuz ham günlüklerin analizini gerektiriyorsa, ilk ardışık düzeni atlayarak ve yalnızca belirlenen anormallikleri dizine ekleyerek doğrudan yayın içi anormallik tespitine odaklanarak süreci kolaylaştırabilirsiniz.

Aşağıdaki şema çözüm mimarimizi göstermektedir.

Yapılandırma iki OpenSearch Ingestion hattının ana hatlarını çiziyor. Reklam kanalı olmayan ilki, HTTP verilerini alır, zaman damgasını koyar ve hem reklam kanalına hem de reklam dizini olmayan bir OpenSearch dizinine iletir. İkinci reklam hattı ise bu verileri alır, 5 dakikalık bir pencere içinde kimliğe dayalı olarak toplama gerçekleştirir ve anormallik tespitini gerçekleştirir. Sonuçlar reklam-anomali-indeksi dizininde saklanır. Bu kurulum, OpenSearch Hizmeti içindeki veri işlemeyi, anormallik tespitini ve depolamayı göstererek analiz yeteneklerini geliştirir.

Çözümü uygula

Çözümü ayarlamak için aşağıdaki adımları tamamlayın:

1. İşlem hattı rolü oluşturma.
2. Koleksiyon oluştur.
3. Boru hattı oluşturma boru hattı rolünü belirttiğiniz.

İşlem hattı, istekleri OpenSearch Sunucusuz toplama uç noktasına imzalamak için bu rolü üstlenir. Aşağıdaki işlem hattı yapılandırmasındaki anahtarların değerlerini belirtin:

• İçin sts_role_arn, oluşturduğunuz işlem hattı rolünün Amazon Kaynak Adını (ARN) belirtin.
• İçin hosts, oluşturduğunuz koleksiyonun uç noktasını belirtin.
• set serverless doğru.

version: "2"
# 1st pipeline
non-ad-pipeline:
  source:
    http:
      path: "/${pipelineName}/test_ingestion_path"
  processor:
    - date:
        from_time_received: true
        destination: "@timestamp"
  sink:
    - pipeline:
        name: "ad-pipeline"
    - opensearch:
        hosts:
          [
            "https://{collection-id}.us-east-1.aoss.amazonaws.com",
          ]
        index: "non-ad-index"
        
        aws:
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
          region: "us-east-1"
          serverless: true
# 2nd pipeline
ad-pipeline:
  source:
    pipeline:
      name: "non-ad-pipeline"
  processor:
    - aggregate:
        identification_keys: ["id"]
        action:
          count:
        group_duration: "300s"
    - anomaly_detector:
        keys: ["value"] # value will have sum of logs
        mode:
          random_cut_forest:
            output_after: 200 
  sink:
    - opensearch:
        hosts:
          [
            "https://{collection-id}.us-east-1.aoss.amazonaws.com",
          ]
        aws:
          sts_role_arn: "arn:aws:iam::{account-id}:role/pipeline-role"
          region: "us-east-1"
          serverless: true
        index: "ad-anomaly-index"

Gerekli parametreler ve sınırlamalar hakkında ayrıntılı bir kılavuz için bkz. Amazon OpenSearch Ingestion işlem hatları için desteklenen eklentiler ve seçenekler.

4. Yapılandırmayı güncelledikten sonra işlem hattı ayarlarınızın geçerliliğini seçerek onaylayın. Boru hattını doğrula.

Başarılı bir doğrulama şunu belirten bir mesaj görüntüleyecektir: "İşlem hattı yapılandırma doğrulaması başarılı." aşağıdaki ekran görüntüsünde gösterildiği gibi.

Doğrulama başarısız olursa, bkz. Amazon OpenSearch Hizmetinde Sorun Giderme sorun giderme ve rehberlik için.

OpenSearch Beslemesi için maliyet tahmini

Yalnızca sayısı kadar ücretlendirilirsiniz. Besleme OpenSearch İşlem Birimleri (Besleme OCU'ları), ardışık düzen boyunca veri akışı olup olmadığına bakılmaksızın bir ardışık düzene tahsis edilir. OpenSearch Ingestion, kullanıma bağlı olarak ardışık düzen kapasitesini yukarı veya aşağı ölçeklendirerek iş yüklerinizi anında karşılar. Harcamalara genel bir bakış için bkz. Amazon Açık Arama Alımı.

Aşağıdaki tablo, belirtilen aktarım hızlarına ve bilgi işlem ihtiyaçlarına göre yaklaşık aylık maliyetleri gösterir. Operasyonun hafta içi sabah 8:00'den akşam 8:00'ye kadar gerçekleştiğini ve OCU başına saat başına 0.24 ABD doları maliyetle gerçekleştiğini varsayalım.

Formül şöyle olacaktır: Toplam Maliyet/Ay = OCU Gereksinimi * OCU Fiyatı * Saat/Gün * Gün/Ay.

Temizlemek

Çözümü kullanmayı tamamladığınızda işlem hattı rolü, işlem hattı ve koleksiyon dahil olmak üzere oluşturduğunuz kaynakları silin.

Özet

OpenSearch Ingestion ile OpenSearch Hizmeti ile yayın içi anormallik tespitini keşfedebilirsiniz. Bu gönderideki kullanım örneği, OpenSearch Ingestion'ın süreci nasıl basitleştirdiğini ve daha az kaynakla daha fazlasını başardığını gösteriyor. Hizmetin günlük oranlarını analiz etme, anormallik bildirimleri oluşturma ve anormalliklere proaktif yanıt verme yeteneğini gösterir. OpenSearch Ingestion ile operasyonel verimliliği artırabilir ve gerçek zamanlı risk yönetimi yeteneklerini geliştirebilirsiniz.

Yorumlara her türlü düşüncenizi ve sorunuzu bırakın.

Yazarlar Hakkında

Rupesh TiwariBir AWS Çözüm Mimarı olan , veri analitiği, OpenSearch ve üretken yapay zekaya odaklanarak uygulamaları modernleştirme konusunda uzmanlaşmıştır. Dönüştürücü iş sonuçları için bulut teknolojisinden yararlanan ölçeklenebilir, güvenli çözümler yaratmasıyla, aynı zamanda topluluk katılımına ve uzmanlık paylaşımına zaman ayırmasıyla tanınıyor.

Muthu Pitchaimani Amazon OpenSearch Hizmetinde bir Arama Uzmanıdır. Büyük ölçekli arama uygulamaları ve çözümleri geliştiriyor. Muthu, ağ oluşturma ve güvenlik konularıyla ilgileniyor ve Austin, Teksas merkezli.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/big-data/in-stream-anomaly-detection-with-amazon-opensearch-ingestion-and-amazon-opensearch-serverless/