Đây là bài đăng của khách được đồng viết với Udayasimha Theepireddy từ Đàn hồi.

Việc xử lý và phân tích dữ liệu nhật ký và Internet vạn vật (IoT) có thể là một thách thức, đặc biệt là khi xử lý khối lượng lớn dữ liệu thời gian thực. đàn hồi và Amazon Kinesis Dữ liệu Firehose là hai công cụ mạnh mẽ có thể giúp quá trình này dễ dàng hơn. Ví dụ: bằng cách sử dụng Kinesis Data Firehose để nhập dữ liệu từ các thiết bị IoT, bạn có thể truyền dữ liệu trực tiếp vào Elastic để phân tích theo thời gian thực. Điều này có thể giúp bạn xác định các mẫu và điểm bất thường trong dữ liệu khi chúng xảy ra, cho phép bạn thực hiện hành động trong thời gian thực. Ngoài ra, bằng cách sử dụng Elastic để lưu trữ và phân tích dữ liệu nhật ký, bạn có thể nhanh chóng tìm kiếm và lọc qua khối lượng lớn dữ liệu nhật ký để xác định sự cố và khắc phục sự cố.

Trong bài đăng này, chúng ta khám phá cách tích hợp Elastic và Kinesis Data Firehose để hợp lý hóa quá trình xử lý và phân tích dữ liệu IoT và nhật ký. Chúng tôi hướng dẫn bạn qua một ví dụ từng bước về cách gửi Nhật ký lưu lượng VPC thành Đàn hồi thông qua Kinesis Data Firehose.

Tổng quan về giải pháp

Đàn hồi là một Đối tác ISV của AWS giúp bạn tìm thông tin, thu thập thông tin chi tiết và bảo vệ dữ liệu của bạn khi bạn chạy trên AWS. Elastic cung cấp các tính năng bảo mật, khả năng quan sát và tìm kiếm dành cho doanh nghiệp được xây dựng trên một ngăn xếp công nghệ linh hoạt, duy nhất có thể được triển khai ở mọi nơi.

Kinesis Data Firehose là dịch vụ phổ biến cung cấp dữ liệu truyền trực tuyến từ hơn 20 dịch vụ AWS như Lõi AWS IoT và amazoncloudwatch ghi nhật ký vào hơn 15 công cụ phân tích và quan sát như Đàn hồi. Kinesis Data Firehose cung cấp một cách nhanh chóng và dễ dàng để gửi dữ liệu nhật ký luồng VPC của bạn tới Elastic trong vài phút mà không cần một dòng mã nào cũng như không cần xây dựng hoặc quản lý cơ sở hạ tầng phân phối và nhập dữ liệu của riêng bạn.

Nhật ký lưu lượng VPC nắm bắt thông tin lưu lượng truy cập đến và đi từ các giao diện mạng trong VPC của bạn. Với việc ra mắt hỗ trợ Kinesis Data Firehose cho Elastic, bạn có thể phân tích nhật ký luồng VPC của mình chỉ bằng vài cú nhấp chuột. Kinesis Data Firehose cung cấp cơ chế end-to-end serverless thực sự để phân phối nhật ký luồng của bạn tới Elastic, nơi bạn có thể sử dụng Elastic Dashboards để tìm kiếm thông qua các nhật ký đó, tạo bảng điều khiển, phát hiện điểm bất thường và gửi cảnh báo. Nhật ký luồng VPC giúp bạn trả lời các câu hỏi như phần trăm lưu lượng truy cập của bạn đang bị giảm và lượng lưu lượng truy cập đang được tạo cho các nguồn và đích cụ thể.

Tích hợp Elastic và Kinesis Data Firehose là một quá trình đơn giản. Không có đại lý và nhịp đập. Chỉ cần định cấu hình luồng phân phối Firehose của bạn để gửi dữ liệu của luồng đó đến điểm cuối của Elastic.

Sơ đồ sau đây mô tả cấu hình cụ thể này về cách nhập nhật ký luồng VPC thông qua Kinesis Data Firehose vào Elastic.

Trước đây, người dùng sẽ phải sử dụng một AWS Lambda chức năng chuyển đổi dữ liệu đến từ nhật ký luồng VPC thành một Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) trước khi tải vào Kinesis Data Firehose hoặc tạo đăng ký CloudWatch Logs để gửi mọi sự kiện nhật ký đến khớp với các bộ lọc đã xác định với luồng phân phối Firehose.

Với tích hợp mới này, bạn có thể thiết lập cấu hình này trực tiếp từ nhật ký luồng VPC của mình vào Kinesis Data Firehose và vào Đám mây đàn hồi. (Lưu ý rằng Đám mây đàn hồi phải được triển khai trên AWS.)

Hãy cùng tìm hiểu chi tiết về cách định cấu hình Kinesis Data Firehose và Elastic, đồng thời minh họa cách nhập dữ liệu.

Điều kiện tiên quyết

Để thiết lập bản trình diễn này, hãy đảm bảo bạn có các điều kiện tiên quyết sau:

Chúng tôi hướng dẫn cài đặt các thành phần tích hợp AWS chung vào quá trình triển khai Đám mây đàn hồi để đảm bảo kết nối Kinesis Data Firehose. Tham khảo đến danh sách đầy đủ các dịch vụ được tích hợp Elastic/AWS hỗ trợ để biết thêm thông tin chi tiết.

Triển khai đàn hồi trên AWS

Thực hiện theo các hướng dẫn trên trang đăng ký đàn hồi để bắt đầu trên Đám mây đàn hồi.

Sau khi đăng nhập vào Đám mây đàn hồi, hãy tạo triển khai trên AWS. Điều quan trọng là phải đảm bảo rằng việc triển khai diễn ra trên AWS. Luồng phân phối Firehose kết nối cụ thể với một điểm cuối cần có trên AWS.

Sau khi bạn tạo triển khai của mình, hãy sao chép điểm cuối Elaticsearch để sử dụng trong bước sau.

Điểm cuối phải là điểm cuối AWS, chẳng hạn như https://thevaa-cluster-01.es.us-east-1.aws.found.io.

Kích hoạt tích hợp AWS của Elastic

Trong triển khai của bạn Tích hợp đàn hồi phần, điều hướng đến phần tích hợp AWS và chọn Cài đặt nội dung AWS.

Định cấu hình luồng phân phối Firehose

Tạo luồng phân phối mới trên bảng điều khiển Kinesis Data Firehose. Đây là nơi bạn cung cấp điểm cuối mà bạn đã lưu trước đó. Tham khảo ảnh chụp màn hình sau để biết cài đặt đích và để biết thêm chi tiết, hãy tham khảo Chọn đàn hồi cho điểm đến của bạn.

Trong ví dụ này, chúng tôi đang lấy nhật ký luồng VPC thông qua tham số luồng dữ liệu mà chúng tôi đã thêm (logs-aws.vpcflow-default). Thông số es_datastream_name có thể được cấu hình với một trong các loại nhật ký sau:

• log-aws.cloudfront_logs-default – Mặt trận đám mây AWS các bản ghi
• log-aws.ec2_logs-default – Đám mây điện toán đàn hồi Amazon (Amazon EC2) đăng nhập CloudWatch
• log-aws.elb_logs-default – Cân bằng tải đàn hồi các bản ghi
• log-aws.firewall_logs-default – Tường lửa mạng AWS các bản ghi
• log-aws.route53_public_logs-default – Amazon Route 53 nhật ký truy vấn DNS công khai
• log-aws.route53_resolver_logs-default – Nhật ký phản hồi và truy vấn DNS của Tuyến 53
• log-aws.s3access-mặc định – Nhật ký truy cập máy chủ Amazon S3
• log-aws.vpcflow-default – Nhật ký luồng VPC
• log-aws.waf-mặc định – AWSWAF các bản ghi

Triển khai ứng dụng của bạn

Làm theo hướng dẫn trên Repo GitHub và hướng dẫn trong Hội thảo Kiến trúc web ba tầng AWS để triển khai ứng dụng của bạn.

Sau khi bạn cài đặt ứng dụng, hãy lấy thông tin đăng nhập của bạn từ AWS để sử dụng với tích hợp AWS của Elastic.

Có một số tùy chọn cho thông tin xác thực:

Để biết thêm chi tiết, hãy tham khảo Thông tin đăng nhập AWS và Quyền AWS.

Định cấu hình nhật ký luồng VPC để gửi tới Kinesis Data Firehose

Trong VPC cho ứng dụng bạn đã triển khai, bạn cần định cấu hình nhật ký luồng VPC của mình và trỏ chúng tới luồng phân phối Firehose.

Xác thực nhật ký luồng VPC

Trong chế độ xem Khả năng quan sát đàn hồi của luồng nhật ký, bạn sẽ thấy nhật ký luồng VPC xuất hiện sau vài phút, như minh họa trong ảnh chụp màn hình sau đây.

Phân tích nhật ký luồng VPC trong Đàn hồi

Bây giờ bạn đã có nhật ký luồng VPC trong Đám mây đàn hồi, bạn có thể phân tích chúng như thế nào? Có một số phân tích mà bạn có thể thực hiện trên dữ liệu nhật ký luồng VPC:

• Sử dụng khả năng Khám phá Analytics của Elastic để phân tích dữ liệu theo cách thủ công
• Sử dụng tính năng bất thường của Khả năng quan sát đàn hồi để xác định các điểm bất thường trong nhật ký
• Sử dụng bảng điều khiển bên ngoài để phân tích thêm dữ liệu

Sử dụng Khám phá Analytics của Elastic để phân tích dữ liệu theo cách thủ công

Trong Elastic Analytics, bạn có thể tìm kiếm và lọc dữ liệu của mình, nhận thông tin về cấu trúc của các trường và hiển thị các phát hiện của bạn dưới dạng trực quan hóa. Bạn cũng có thể tùy chỉnh và lưu các tìm kiếm của mình và đặt chúng trên trang tổng quan.

Để hiểu đầy đủ về Khám phá và tất cả các khả năng của Elastic's Analytics, hãy tham khảo Khám phá.

Đối với nhật ký luồng VPC, điều quan trọng là phải hiểu những điều sau:

• Có bao nhiêu nhật ký đã được chấp nhận hoặc bị từ chối
• Trường hợp vi phạm bảo mật tiềm ẩn xảy ra (IP nguồn từ bên ngoài VPC)
• Cổng nào thường được truy vấn

Ví dụ của chúng tôi, chúng tôi lọc các bản ghi như sau:

• Tên luồng phân phối – AWS-3-TIER-APP-VPC-LOGS
• Hành động nhật ký luồng VPC – REJECT
• Khung thời gian - 5 giờ
• Giao diện mạng VPC – Giao diện Webserver 1 và Webserver 2

Chúng tôi muốn xem những địa chỉ IP nào đang cố tấn công máy chủ web của chúng tôi. Từ đó, chúng tôi muốn hiểu địa chỉ IP nào chúng tôi đang nhận được nhiều nhất REJECT hành động từ. Chúng tôi chỉ đơn giản là tìm thấy source.ip trường và có thể nhanh chóng nhận được bảng phân tích cho thấy 185.156.73.54 bị từ chối nhiều nhất trong 3 giờ trở lên qua, chúng tôi đã bật nhật ký luồng VPC.

Ngoài ra, chúng ta có thể tạo trực quan hóa bằng cách chọn Hình dung. Chúng tôi nhận được biểu đồ bánh rán sau đây, chúng tôi có thể thêm biểu đồ này vào bảng điều khiển.

Ngoài địa chỉ IP, chúng tôi cũng muốn xem cổng nào đang bị tấn công trên máy chủ web của chúng tôi.

Chúng tôi chọn trường cổng đích và cửa sổ bật lên hiển thị cho chúng tôi cổng đó 8081 đang được nhắm mục tiêu. Cổng này thường được sử dụng để quản trị Apache Tomcat. Đây là một vấn đề bảo mật tiềm ẩn, tuy nhiên cổng 8081 bị tắt đối với lưu lượng truy cập bên ngoài, do đó REJECT.

Phát hiện sự bất thường trong nhật ký Khả năng quan sát đàn hồi

Ngoài Khám phá, Khả năng quan sát đàn hồi cung cấp khả năng phát hiện sự bất thường trên nhật ký bằng cách sử dụng máy học (ML). Tính năng này có các tùy chọn sau:

• tỷ lệ nhật ký – Tự động phát hiện tỷ lệ nhập nhật ký bất thường
• Phân loại – Tự động phân loại thông điệp tường trình

Đối với nhật ký luồng VPC của chúng tôi, chúng tôi đã bật cả hai tính năng. Khi xem xét những gì được phát hiện đối với tỷ lệ nhập nhật ký bất thường, chúng tôi nhận được các kết quả sau.

Elastic ngay lập tức phát hiện thấy lượng nhật ký tăng đột biến khi chúng tôi bật nhật ký luồng VPC cho ứng dụng của mình. Thay đổi tốc độ đang được phát hiện vì chúng tôi cũng đang nhập nhật ký luồng VPC từ một ứng dụng khác trong vài ngày trước khi thêm ứng dụng vào bài đăng này.

Chúng ta có thể đi sâu vào điểm bất thường này bằng ML và phân tích thêm.

Để tìm hiểu thêm về phân tích ML mà bạn có thể sử dụng với nhật ký của mình, hãy tham khảo học máy.

Bởi vì chúng tôi biết rằng có một mức tăng đột biến, nên chúng tôi cũng có thể sử dụng khả năng Giải thích các mức tăng đột biến của tốc độ nhật ký của Elastic AIOps Labs. Ngoài ra, chúng tôi đã nhóm chúng lại để xem điều gì gây ra một số đột biến.

Trong ảnh chụp màn hình trước, chúng ta có thể quan sát thấy rằng một giao diện mạng cụ thể đang gửi nhiều luồng nhật ký VPC hơn các giao diện khác. Chúng ta có thể đi sâu hơn vào vấn đề này trong phần Khám phá.

Sử dụng bảng điều khiển nhật ký luồng VPC

Cuối cùng, Elastic cũng cung cấp một bảng điều khiển sẵn dùng để hiển thị các địa chỉ IP hàng đầu tấn công VPC của bạn, theo địa lý nơi chúng đến, chuỗi thời gian của các luồng và bản tóm tắt nhật ký luồng VPC bị từ chối trong khung thời gian .

Bạn có thể nâng cao trang tổng quan cơ sở này bằng các hình ảnh trực quan hóa mà bạn tìm thấy trong Khám phá, như chúng ta đã thảo luận trước đó.

Kết luận

Bài đăng này trình bày cách định cấu hình tích hợp với Kinesis Data Firehose và Elastic để giám sát cơ sở hạ tầng hiệu quả đối với nhật ký luồng VPC trong bảng điều khiển Kibana đàn hồi. Elastic cung cấp các tùy chọn triển khai linh hoạt trên AWS, hỗ trợ phần mềm dưới dạng dịch vụ (SaaS), Thị trường AWSvà triển khai giấy phép (BYOL) của riêng bạn. Elastic cũng cung cấp các ưu đãi riêng của AWS Marketplace. Bạn có tùy chọn tự triển khai và chạy Elastic Stack trong tài khoản AWS của mình, miễn phí hoặc đăng ký trả phí từ Dây cao su. Để bắt đầu, hãy truy cập bảng điều khiển Kinesis Data Firehose và chỉ định Elastic làm đích đến. Để tìm hiểu thêm, hãy khám phá Hướng dẫn dành cho nhà phát triển Amazon Kinesis Data Firehose.

Về các tác giả

Udayasimha Theepireddy là Kiến trúc sư giải pháp chính của đàn hồi, nơi anh ấy làm việc với khách hàng để giải quyết các vấn đề công nghệ trong thế giới thực bằng cách sử dụng các dịch vụ của đàn hồi và AWS. Anh ấy có nền tảng vững chắc về công nghệ, kinh doanh và phân tích.

Antony Prasad Thevaraj là Kiến trúc sư giải pháp đối tác cấp cao về Dữ liệu và Phân tích tại AWS. Anh ấy có hơn 12 năm kinh nghiệm với tư cách là Kỹ sư dữ liệu lớn và đã làm việc trong việc xây dựng các quy trình ETL và ELT phức tạp cho nhiều đơn vị kinh doanh khác nhau.

Dinh Thự Mostafa là Giám đốc sản phẩm chính – Công nghệ tại Amazon Web Services, nơi ông làm việc trên Amazon Kinesis Data Firehose. Ông chuyên phát triển trải nghiệm sản phẩm trực quan để giải quyết những thách thức phức tạp cho khách hàng trên quy mô lớn. Khi anh ấy không làm việc chăm chỉ trên Amazon Kinesis Data Firehose, bạn có thể sẽ tìm thấy Mostafa trên sân bóng quần, nơi anh ấy thích đối đầu với những người thách đấu và hoàn thiện những cú ném của mình.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến ​​thức. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/big-data/accelerate-data-insights-with-elastic-and-amazon-kinesis-data-firehose/