È comune archiviare i registri generati dalle applicazioni e dai servizi del cliente in vari strumenti. Questi registri sono importanti per la conformità, gli audit, la risoluzione dei problemi, le risposte agli incidenti di sicurezza, il rispetto dei criteri di sicurezza e molti altri scopi. È possibile eseguire l'analisi dei log su questi log per comprendere il comportamento e i modelli delle applicazioni degli utenti per prendere decisioni informate.

Quando si eseguono carichi di lavoro su Amazon Web Services (AWS), è necessario analizzare Cloud privato virtuale di Amazon (VPC di Amazon) Log di flusso per tenere traccia del traffico IP in entrata e in uscita dalle interfacce di rete per i carichi di lavoro nel loro VPC. L'analisi dei log di flusso VPC ti aiuta a capire come le tue applicazioni comunicano sulla rete VPC e funge da principale fonte di informazioni per la rete nel tuo VPC.

Puoi facilmente fornire dati a supportati Destinazioni usando il Firehose dati Amazon Kinesis integrazione con i log di flusso VPC. Kinesis Data Firehose è un servizio completamente gestito per la distribuzione di dati in streaming quasi in tempo reale a varie destinazioni per l'archiviazione e l'esecuzione di analisi quasi in tempo reale. Con le sue capacità estendibili di trasformazione dei dati, puoi anche semplificare l'elaborazione dei log e le pipeline di distribuzione dei log in un unico flusso di distribuzione Kinesis Data Firehose. Puoi eseguire analisi sui log di flusso VPC forniti dal tuo VPC utilizzando l'integrazione di Kinesis Data Firehose con Datadog come destinazione.

Datadog è una piattaforma di monitoraggio e sicurezza e Rete di partner AWS (APN) Partner tecnologico avanzato con Competenze AWS in AWS Cloud Operations, DevOps, migrazione, sicurezza, networking, container e carichi di lavoro Microsoft, insieme a molti altri.

Datadog ti consente di esplorare e analizzare facilmente i log per ottenere informazioni più approfondite sullo stato delle tue applicazioni e dell'infrastruttura AWS. Puoi analizzare tutti i tuoi log di servizio AWS memorizzando solo quelli di cui hai bisogno, generare metriche dai log aggregati per scoprire e inviare avvisi sulle tendenze nei tuoi servizi AWS.

In questo post imparerai come integrare i log di flusso VPC con Kinesis Data Firehose e distribuirli a Datadog.

Panoramica della soluzione

Questa soluzione utilizza l'integrazione nativa dei log di flusso VPC trasmessi a Kinesis Data Firehose. Utilizziamo un flusso di consegna Kinesis Data Firehose per eseguire il buffering dei log di flusso VPC trasmessi a un endpoint di destinazione Datadog nel tuo account Datadog. Puoi utilizzare questi log con Datadog Log Management e Datadog Cloud SIEM per analizzare lo stato, le prestazioni e la sicurezza delle tue risorse cloud.

Il diagramma seguente illustra l'architettura della soluzione.

Ti guidiamo attraverso i seguenti passaggi di alto livello:

1. Collega il tuo account AWS con il tuo Conto DataDog.
2. Crea il flusso Kinesis Data Firehose in cui il servizio VPC trasmette i log di flusso.
3. Crea la sottoscrizione del log di flusso VPC a Kinesis Data Firehose.
4. Visualizza i log di flusso VPC nella dashboard di Datadog.

L'ID account 123456781234 utilizzato in questo post è un account fittizio. Viene utilizzato solo a scopo dimostrativo.

Prerequisiti

Dovresti avere i seguenti prerequisiti:

Collega il tuo account AWS con il tuo account Datadog per l'integrazione AWS

Seguire le istruzioni fornito sul sito Web di Datadog per l'integrazione AWS. Da configurare archiviazione dei registri e arricchisci i dati di log inviati dal tuo account AWS con un contesto utile, collega gli account. Una volta completata la configurazione del collegamento, procedere al passaggio successivo.

Crea un flusso Kinesis Data Firehose

Ora che l'integrazione di Datadog con AWS è completa, puoi creare un flusso di distribuzione Kinesis Data Firehose in cui vengono trasmessi i log di flusso VPC seguendo questi passaggi:

1. Sulla console Amazon Kinesis, selezionare Kinesis Data Firehose nel pannello di navigazione.
2. Scegli Crea flusso di consegna.
3. Scegli PUT diretto come fonte.
4. Impostato Nei Dintorni as Datadog.
   

5. Nel Nome flusso di consegna, accedere PUT-DATADOG-DEMO.
6. mantenere Trasformazione dei dati impostato disabile per Trasforma i record.
7. In Impostazioni della destinazione, Per URL dell'endpoint HTTP, scegliere l'endpoint HTTP del log desiderato in base alla configurazione dell'account Region e Datadog.
   
8. Nel Chiave API, Inserisci la tua Chiave API Datadog.

Ciò consente al flusso di distribuzione di pubblicare i log di flusso VPC sull'endpoint Datadog. Le chiavi API sono univoche per la tua organizzazione. UN Chiave API è richiesto dall'agente Datadog per inviare metriche ed eventi a Datadog.

9. Impostato Codifica dei contenuti a GZIP per ridurre la dimensione dei dati trasferiti.
10. Impostare il Durata del nuovo tentativo a 60.Puoi cambiare il Durata del nuovo tentativo valore se necessario. Ciò dipende dalla capacità di gestione delle richieste dell'endpoint Datadog.
    
    Sotto Suggerimenti per il buffer, Dimensione buffer ed Intervallo di buffer sono impostati con valori di default per l'integrazione Datadog.
    

11. Sotto Impostazioni di backup, come indicato nei prerequisiti, scegli il bucket S3 che hai creato per archiviare i log non riusciti e il backup con un prefisso specifico.
12. Sotto Suggerimenti per il buffer S3 sezione, impostare Dimensione buffer a 5 e Intervallo di buffer a 300.

È possibile modificare la dimensione e l'intervallo del buffer S3 in base alle proprie esigenze.

13. Sotto Compressione e crittografia S3, selezionare GZIP per Compressione per record di dati o un altro metodo di compressione a tua scelta.

La compressione dei dati riduce lo spazio di archiviazione richiesto.

14. Seleziona disabile per Crittografia dei record di dati. È possibile abilitare la crittografia dei record di dati per proteggere l'accesso ai registri.
    

15. Facoltativamente, in impostazioni avanzate, selezionare Abilita la crittografia lato server per i record di origine nel flusso di distribuzione.
    Puoi usare Chiavi gestite da AWS o CMK gestito da te per il tipo di crittografia.

16. permettere Registrazione degli errori di CloudWatch.
17. Scegli Crea o aggiorna il ruolo IAM, creato da Kinesis Data Firehose come parte di questo flusso.
    

18. Scegli Avanti.
19. Controlla le tue impostazioni.
20. Scegli Crea flusso di consegna.

Crea una sottoscrizione ai log di flusso VPC

Crea una sottoscrizione ai log di flusso VPC per il flusso di distribuzione Kinesis Data Firehose creato nel passaggio precedente:

1. Sulla VPC Amazon console, scegli I tuoi VPC.
2. Seleziona il VPC per cui creare il log di flusso.
3. Sulla Azioni menù, scegliere Crea registro di flusso.
   

4. Seleziona Tutti per inviare tutti i record del registro di flusso alla destinazione Firehose.

Se si desidera filtrare i log di flusso, in alternativa è possibile selezionare Accetta or Rifiuto.

5. Nel Intervallo massimo di aggregazione, selezionare 10 minuti o l'impostazione minima di minuti 1 se hai bisogno che i dati del registro di flusso siano disponibili per l'analisi quasi in tempo reale in Datadog.
6. Nel Nei Dintorni, selezionare Invia a Kinesis Data Firehose nello stesso account se il flusso di distribuzione è impostato sullo stesso account in cui crei i log di flusso VPC.

Se desideri inviare i dati a un altro account, fai riferimento a Pubblica i log di flusso in Kinesis Data Firehose.

7. Scegli un'opzione per Formato record di registro:
8. Se te ne vai Formato di registrazione del registro la Formato predefinito AWS, i log di flusso vengono inviati come formato versione 2.
9. In alternativa, puoi specificare i campi personalizzati per i log di flusso da acquisire e inviare a Datadog.

Per ulteriori informazioni sul formato del registro e sui campi disponibili, fare riferimento a Record del registro di flusso.

10. Scegli Crea registro di flusso.
    

Ora esploriamo i log di flusso VPC in Datadog.

Visualizza i log di flusso VPC nella dashboard di Datadog

Nel Opzione di ricerca nei registri nel riquadro di navigazione, filtra in base a source:vpc. I log di flusso VPC dal tuo VPC si trovano in Datadog Log Explorer e vengono analizzati automaticamente in modo da poter analizzare i tuoi log per origine, destinazione, azione o altri attributi.

ripulire

Dopo aver testato questa soluzione, elimina tutte le risorse create per evitare di incorrere in addebiti futuri. Fare riferimento ai seguenti collegamenti per istruzioni sull'eliminazione delle risorse:

Conclusione

In questo post, abbiamo esaminato una soluzione su come integrare i log di flusso VPC con un flusso di consegna Kinesis Data Firehose, consegnarli a una destinazione Datadog senza codice e visualizzarli in un dashboard Datadog. Con Datadog, puoi facilmente esplorare e analizzare i log per ottenere informazioni più approfondite sullo stato delle tue applicazioni e dell'infrastruttura AWS.

Prova questo modo nuovo, rapido e senza problemi di inviare i tuoi log di flusso VPC a una destinazione Datadog utilizzando Kinesis Data Firehose.

L'autore

Caitanya Shah è un Sr. Technical Account Manager (TAM) con AWS, con sede a New York. Ha oltre 22 anni di esperienza di lavoro con clienti aziendali. Ama programmare e contribuisce attivamente ai laboratori di soluzioni AWS per aiutare i clienti a risolvere problemi complessi. Fornisce indicazioni ai clienti AWS sulle best practice per le loro migrazioni al cloud AWS. È inoltre specializzato nel trasferimento di dati AWS e nel dominio dei dati e dell'analisi.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• EVM Finance. Interfaccia unificata per la finanza decentralizzata. Accedi qui.
• Quantum Media Group. IR/PR amplificato. Accedi qui.
• PlatoAiStream. Intelligenza dei dati Web3. Conoscenza amplificata. Accedi qui.
• Fonte: https://aws.amazon.com/blogs/big-data/stream-vpc-flow-logs-to-datadog-via-amazon-kinesis-data-firehose/