Het is gebruikelijk om de logboeken die zijn gegenereerd door de toepassingen en services van de klant op te slaan in verschillende tools. Deze logboeken zijn belangrijk voor compliance, audits, probleemoplossing, reacties op beveiligingsincidenten, het voldoen aan beveiligingsbeleid en vele andere doeleinden. U kunt loganalyses uitvoeren op deze logbestanden om inzicht te krijgen in het toepassingsgedrag en de patronen van gebruikers, zodat u weloverwogen beslissingen kunt nemen.

Wanneer u workloads op Amazon Web Services (AWS) uitvoert, moet u analyseren Amazon virtuele privécloud (Amazone VPC) Stroomlogboeken om het IP-verkeer te volgen dat van en naar de netwerkinterfaces gaat voor de workloads in hun VPC. Het analyseren van VPC-stroomlogboeken helpt u te begrijpen hoe uw applicaties communiceren via het VPC-netwerk en fungeert als een belangrijke bron van informatie voor het netwerk in uw VPC.

U kunt eenvoudig gegevens aanleveren aan ondersteunde bestemmingen met de Amazon Kinesis-gegevens Firehose integratie met VPC-stroomlogboeken. Kinesis Data Firehose is een volledig beheerde service voor het leveren van near-real-time streaming data naar verschillende bestemmingen voor opslag en het uitvoeren van near-real-time analyses. Met zijn uitbreidbare datatransformatiemogelijkheden kunt u ook logverwerking en logleveringspijplijnen stroomlijnen tot één enkele Kinesis Data Firehose-leveringsstroom. U kunt analyses uitvoeren op VPC-stroomlogboeken die vanaf uw VPC worden geleverd met behulp van de Kinesis Data Firehose-integratie met Datadog als bestemming.

Datadog is een monitoring- en beveiligingsplatform en AWS-partnernetwerk (APN) Advanced Technology Partner met AWS-competenties in AWS Cloud Operations, DevOps, migratie, beveiliging, netwerken, containers en Microsoft-workloads, samen met vele anderen.

Met Datadog kunt u eenvoudig logboeken verkennen en analyseren om dieper inzicht te krijgen in de status van uw applicaties en AWS-infrastructuur. Jij kan analyseren al uw AWS-servicelogboeken terwijl u alleen de logboeken opslaat die u nodig hebt, statistieken genereren van geaggregeerde logboeken om trends in uw AWS-services te ontdekken en waarschuwingen te verzenden.

In dit bericht leer je hoe je VPC-stroomlogboeken integreert met Kinesis Data Firehose en deze aan Datadog levert.

Overzicht oplossingen

Deze oplossing maakt gebruik van native integratie van VPC-stroomlogboeken die worden gestreamd naar Kinesis Data Firehose. We gebruiken een Kinesis Data Firehose-leveringsstroom om de gestreamde VPC-stroomlogboeken te bufferen naar een Datadog-bestemmingseindpunt in uw Datadog-account. U kunt deze logboeken gebruiken met Datadog Log Management en Datadog Cloud SIEM om de gezondheid, prestaties en beveiliging van uw cloudresources te analyseren.

Het volgende diagram illustreert de oplossingsarchitectuur.

We leiden u door de volgende stappen op hoog niveau:

1. Koppel uw AWS-account aan uw Datadog-account.
2. Maak de Kinesis Data Firehose-stream waar de VPC-service de stroomlogboeken streamt.
3. Maak het VPC-stroomlogboekabonnement op Kinesis Data Firehose.
4. Visualiseer VPC-stroomlogboeken in het Datadog-dashboard.

Het account-ID 123456781234 dat in dit bericht wordt gebruikt, is een dummy-account. Het wordt alleen gebruikt voor demonstratiedoeleinden.

Voorwaarden

U moet de volgende vereisten hebben:

Koppel uw AWS-account aan uw Datadog-account voor AWS-integratie

Volg de instructies aangeboden op de Datadog-website voor AWS-integratie. Configureren log archiveren en verrijk de loggegevens die vanuit uw AWS-account zijn verzonden met nuttige context, koppel de accounts. Wanneer u de koppelingsinstellingen hebt voltooid, gaat u verder met de volgende stap.

Maak een Kinesis Data Firehose-stream

Nu uw Datadog-integratie met AWS is voltooid, kunt u een Kinesis Data Firehose-leveringsstroom maken waar VPC-stroomlogboeken worden gestreamd door deze stappen te volgen:

1. Kies op de Amazon Kinesis-console Kinesis Data-brandslang in het navigatievenster.
2. Kies Maak een leveringsstroom.
3. Kies Directe PUT als de bron.
4. Zet de Bestemming as Datadog.
   

5. Voor Naam van bezorgstroom, ga naar binnen PUT-DATADOG-DEMO.
6. Houden Datatransformatie ingesteld op invalide voor Transformeer records.
7. In Bestemmingsinstellingenvoor URL van HTTP-eindpunt, kies het HTTP-eindpunt van het gewenste logboek op basis van uw regio en Datadog-accountconfiguratie.
   
8. Voor API sleutel, voert u uw Datadog API-sleutel.

Hierdoor kan uw leveringsstroom VPC Flow-logboeken publiceren naar het Datadog-eindpunt. API-sleutels zijn uniek voor uw organisatie. Een API sleutel is vereist door de Datadog-agent om metrische gegevens en gebeurtenissen in te dienen bij Datadog.

9. Zet de Content codering naar GZIP om de omvang van de overgedragen gegevens te verkleinen.
10. Kies het Duur opnieuw proberen naar 60.U kunt de Duur opnieuw proberen waarde als dat nodig is. Dit is afhankelijk van de aanvraagverwerkingscapaciteit van het Datadog-eindpunt.
    
    Onder Buffertips, Buffer grootte en Bufferinterval zijn ingesteld met standaardwaarden voor Datadog-integratie.
    

11. Onder Back-upinstellingen, zoals vermeld in de vereisten, kiest u de S3-bucket die u hebt gemaakt om mislukte logboeken en back-ups op te slaan met een specifiek voorvoegsel.
12. Onder S3-bufferhints sectie, instellen Buffer grootte naar 5 en Bufferinterval om 300.

U kunt de grootte en het interval van de S3-buffer wijzigen op basis van uw vereisten.

13. Onder S3-compressie en -coderingselecteer GZIP For Compressie voor datarecords of een andere compressiemethode naar keuze.

Het comprimeren van gegevens vermindert de benodigde opslagruimte.

14. kies invalide For Versleuteling van de gegevensrecords. U kunt codering van de gegevensrecords inschakelen om de toegang tot uw logboeken te beveiligen.
    

15. Eventueel binnen geavanceerde instellingenselecteer Schakel versleuteling aan de serverzijde in voor bronrecords in de leveringsstroom.
    Je kunt gebruiken AWS beheerde sleutels of CMK door u beheerd voor het coderingstype.

16. Enable CloudWatch-foutregistratie.
17. Kies IAM-rol maken of bijwerken, die is gemaakt door Kinesis Data Firehose als onderdeel van deze stream.
    

18. Kies Volgende.
19. Controleer uw instellingen.
20. Kies Maak een leveringsstroom.

Maak een abonnement op VPC-stroomlogboeken

Maak een abonnement op VPC-stroomlogboeken voor de leveringsstroom van Kinesis Data Firehose die u in de vorige stap hebt gemaakt:

1. Op de Amazon VPC console, kies Uw VPC's.
2. Selecteer de VPC waarvoor u het stroomlogboek wilt maken.
3. Op de Acties menu, kies Stroomlogboek maken.
   

4. kies Alles om alle stroomlogrecords naar de Firehose-bestemming te sturen.

Als u de stroomlogboeken wilt filteren, kunt u ook selecteren ACCEPTEREN or Verwerpen.

5. Voor Maximaal aggregatie-intervalselecteer 10 minuten of de minimale instelling van 1 minuten als u wilt dat de stroomloggegevens beschikbaar zijn voor bijna-realtime analyse in Datadog.
6. Voor Bestemmingselecteer Stuur naar Kinesis Data Firehose in hetzelfde account als de leveringsstroom is ingesteld op hetzelfde account als waar u de VPC-stroomlogboeken maakt.

Als u de gegevens naar een ander account wilt sturen, raadpleeg dan Publiceer stroomlogboeken naar Kinesis Data Firehose.

7. Kies een optie voor Formaat logrecord:
8. Als je weggaat Formaat logrecord de AWS standaardformaat, worden de stroomlogboeken verzonden als versie 2 formaat.
9. U kunt ook de aangepaste velden specificeren voor stroomlogboeken om deze vast te leggen en naar Datadog te sturen.

Voor meer informatie over logformaat en beschikbare velden, zie Stroomlogboeken.

10. Kies Stroomlogboek maken.
    

Laten we nu de VPC-stroomlogboeken in Datadog verkennen.

Visualiseer VPC-stroomlogboeken in het Datadog-dashboard

In het Optie Logboeken zoeken filter in het navigatievenster op source:vpc. De VPC-stroomlogboeken van uw VPC staan ​​in de Datadog Log Explorer en worden automatisch geparseerd, zodat u uw logs kunt analyseren op bron, bestemming, actie of andere attributen.

Opruimen

Nadat u deze oplossing hebt getest, verwijdert u alle resources die u hebt gemaakt om te voorkomen dat er in de toekomst kosten in rekening worden gebracht. Raadpleeg de volgende koppelingen voor instructies voor het verwijderen van de bronnen:

Conclusie

In dit bericht hebben we een oplossing doorlopen voor het integreren van VPC-stroomlogboeken met een Kinesis Data Firehose-leveringsstroom, deze zonder code afleveren op een Datadog-bestemming en visualiseren in een Datadog-dashboard. Met Datadog kunt u eenvoudig logboeken verkennen en analyseren om dieper inzicht te krijgen in de status van uw applicaties en AWS-infrastructuur.

Probeer deze nieuwe, snelle en probleemloze manier om uw VPC-stroomlogboeken naar een Datadog-bestemming te sturen met behulp van Kinesis Data Firehose.

Over de auteur

Chaitanya Sjah is een Sr. Technical Account Manager (TAM) bij AWS, gevestigd in New York. Hij heeft meer dan 22 jaar ervaring in het werken met zakelijke klanten. Hij houdt van coderen en draagt ​​actief bij aan de AWS-oplossingenlabs om klanten te helpen complexe problemen op te lossen. Hij geeft AWS-klanten advies over best practices voor hun AWS Cloud-migraties. Daarnaast is hij gespecialiseerd in AWS datatransfer en het data- en analytics domein.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• EVM Financiën. Uniforme interface voor gedecentraliseerde financiën. Toegang hier.
• Quantum Media Groep. IR/PR versterkt. Toegang hier.
• PlatoAiStream. Web3 gegevensintelligentie. Kennis versterkt. Toegang hier.
• Bron: https://aws.amazon.com/blogs/big-data/stream-vpc-flow-logs-to-datadog-via-amazon-kinesis-data-firehose/