Kết nối Amazon MSK là một dịch vụ được quản lý hoàn toàn cho Apache Kafka Connect. Với một vài cú nhấp chuột, MSK Connect cho phép bạn triển khai các trình kết nối di chuyển dữ liệu giữa Apache Kafka và các hệ thống bên ngoài.

MSK Connect hiện hỗ trợ khả năng xóa cấu hình nhân viên MSK Connect, gắn thẻ tài nguyên và quản lý cấu hình nhân viên cũng như các plugin tùy chỉnh bằng cách sử dụng Hình thành đám mây AWS. Cùng với nhau, những khả năng mới này giúp bạn dễ dàng quản lý tài nguyên MSK Connect và tự động hóa quá trình triển khai thông qua quy trình CI/CD.

MSK Connect giúp việc truyền dữ liệu đến và đi từ Apache Kafka qua kết nối riêng tư trở nên dễ dàng mà không yêu cầu chuyên môn về quản lý cơ sở hạ tầng. Với một vài cú nhấp chuột, bạn có thể triển khai các trình kết nối như một Đầu nối bồn rửa Amazon S3 để tải dữ liệu truyền phát tới Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3), triển khai các trình kết nối do bên thứ ba phát triển như Debezi để truyền trực tuyến nhật ký thay đổi từ cơ sở dữ liệu sang Apache Kafka hoặc triển khai trình kết nối của riêng bạn được tùy chỉnh cho trường hợp sử dụng của bạn.

MSK Connect tích hợp các hệ thống bên ngoài hoặc dịch vụ AWS với Apache Kafka bằng cách liên tục sao chép dữ liệu truyền trực tuyến từ nguồn dữ liệu vào cụm Apache Kafka của bạn hoặc liên tục sao chép dữ liệu từ cụm Apache Kafka vào kho dữ liệu. Trình kết nối cũng có thể thực hiện các tác vụ nhẹ như chuyển đổi, chuyển đổi định dạng hoặc lọc dữ liệu trước khi phân phối dữ liệu đến đích. Bạn có thể sử dụng plugin để tạo trình kết nối; các plugin tùy chỉnh này là các tài nguyên chứa mã xác định logic trình kết nối.

Các thành phần chính của MSK Connect là công nhân. Mỗi trình chạy là một quy trình máy ảo Java (JVM) chạy logic trình kết nối dựa trên cấu hình trình chạy được cung cấp. Cấu hình công nhân là tài nguyên chứa thuộc tính cấu hình trình kết nối của bạn có thể được sử dụng lại trên nhiều trình kết nối. Mỗi công nhân bao gồm một tập hợp các tác vụ sao chép dữ liệu song song.

Hôm nay, chúng tôi sẽ công bố ba tính năng mới trong MSK Connect:

• Khả năng xóa cấu hình công nhân
• Hỗ trợ thẻ tài nguyên để cho phép nhóm tài nguyên, phân bổ và báo cáo chi phí cũng như kiểm soát quyền truy cập bằng các chính sách dựa trên thẻ
• Hỗ trợ trong AWS CloudFormation để quản lý cấu hình Worker và plugin tùy chỉnh

Trong các phần sau, chúng ta xem xét các chức năng mới chi tiết hơn.

Xóa cấu hình công nhân

Các đầu nối để tích hợp Truyền trực tuyến được quản lý của Amazon cho Apache Kafka (Amazon MSK) với các dịch vụ AWS và đối tác khác thường được tạo bằng cấu hình riêng (mặc định hoặc tùy chỉnh). Các cấu hình này có thể phát triển cùng với việc tạo và xóa các trình kết nối, có khả năng tạo ra các sự cố quản lý cấu hình.

Bây giờ bạn có thể sử dụng API cấu hình xóa nhân viên mới để xóa các cấu hình không sử dụng. Dịch vụ sẽ kiểm tra xem cấu hình Worker không được sử dụng bởi bất kỳ trình kết nối nào trước khi xóa cấu hình. Ngoài ra, giờ đây bạn có thể sử dụng bộ lọc tiền tố để liệt kê các cấu hình riêng biệt và plugin tùy chỉnh bằng cách sử dụng ListWorkerConfigurations và ListCustomPlugins Cuộc gọi API. Bộ lọc tiền tố cho phép bạn liệt kê các tài nguyên chọn lọc có tên bắt đầu bằng tiền tố để bạn có thể thực hiện xóa nhanh có chọn lọc.

Để kiểm tra API xóa mới, hãy hoàn thành các bước sau:

1. Trên bảng điều khiển Amazon MSK, tạo cấu hình nhân viên mới.
2. Cung cấp tên và mô tả tùy chọn.
3. Trong tạp chí cấu hình công nhân phần, nhập mã cấu hình của bạn.

Sau khi bạn tạo cấu hình, một Xóa bỏ tùy chọn có sẵn trên trang chi tiết cấu hình (xem ảnh chụp màn hình sau) nếu cấu hình không được sử dụng trong bất kỳ trình kết nối nào.

Để hỗ trợ API mới này, một bổ sung workerConfigurationState đã được thêm vào, vì vậy bạn có thể dễ dàng theo dõi trạng thái cấu hình của nhân viên hơn. Trạng thái mới này sẽ được trả về trong phản hồi lệnh gọi API cho CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

4. Chọn Xóa bỏ để xóa cấu hình công nhân.
5. Trong cửa sổ bật lên xác nhận, hãy nhập tên của cấu hình nhân viên, sau đó chọn Xóa bỏ.

Nếu cấu hình Worker đang được sử dụng với bất kỳ trình kết nối nào, thì Xóa bỏ tùy chọn bị tắt, như minh họa trong ảnh chụp màn hình sau.

Thẻ tài nguyên

MSK Connect hiện cũng hỗ trợ thẻ tài nguyên. Thẻ là siêu dữ liệu khóa-giá trị có thể được liên kết với tài nguyên dịch vụ AWS. Bạn có thể thêm thẻ vào trình kết nối, plugin tùy chỉnh và cấu hình nhân viên để sắp xếp và tìm tài nguyên được sử dụng trên các dịch vụ AWS. Trong các ảnh chụp màn hình sau, cấu hình trình kết nối, plugin và trình chạy MSK Connect mẫu của chúng tôi đã được gắn thẻ bằng khóa thẻ tài nguyên project và giá trị demo-tags.

Bây giờ bạn có thể gắn thẻ Đám mây điện toán đàn hồi Amazon Ví dụ: (Amazon EC2) và tài nguyên Amazon S3 có cùng tên dự án. Sau đó, bạn có thể sử dụng thẻ để tìm kiếm tất cả các tài nguyên được liên kết với dự án cụ thể này để phân bổ chi phí, báo cáo, nhóm tài nguyên hoặc kiểm soát quyền truy cập. MSK Connect hỗ trợ thêm thẻ khi tạo tài nguyên, áp dụng thẻ cho tài nguyên hiện có, xóa thẻ khỏi tài nguyên và truy vấn các thẻ được liên kết với tài nguyên.

Hỗ trợ AWS CloudFormation

Trước đây, bạn chỉ có thể cung cấp trình kết nối MSK Connect với AWS CloudFormation bằng cách sử dụng cấu hình worker hiện có. Với tính năng mới này, giờ đây bạn có thể thực hiện các thao tác TẠO, ĐỌC, CẬP NHẬT, XÓA và LIST trên các trình kết nối, đồng thời tạo và thêm cấu hình nhân viên mới bằng AWS CloudFormation.

Đoạn mã sau là ví dụ về cách tạo cấu hình worker:

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

Các giá trị trả về như sau:

• ARN của cấu hình nhân viên mới được tạo
• Trạng thái cấu hình nhân viên mới
• Thời gian tạo cấu hình công nhân mới
• Bản sửa đổi mới nhất của cấu hình nhân viên mới

Kết luận

MSK Connect là một dịch vụ được quản lý hoàn toàn, cung cấp các tài nguyên cần thiết, giám sát tình trạng và trạng thái phân phối của các đầu nối, duy trì phần cứng cơ bản và tự động điều chỉnh quy mô các đầu nối để cân bằng khối lượng công việc. Trong bài đăng này, chúng tôi đã thảo luận về các tính năng mới được thêm vào MSK Connect, giúp đơn giản hóa việc quản lý trình kết nối và trình chạy bằng việc giới thiệu các API để xóa cấu hình trình chạy, gắn thẻ tài nguyên MSK Connect và hỗ trợ trong AWS CloudFormation để tạo cấu hình trình chạy không mặc định.

Những khả năng này có sẵn ở tất cả các Khu vực AWS có sẵn Amazon MSK Connect. Để biết danh sách tính khả dụng của Khu vực, hãy tham khảo Dịch vụ AWS theo khu vực. Để tìm hiểu thêm về MSK Connect, hãy truy cập Hướng dẫn dành cho nhà phát triển Amazon MSK Connect.

Về các tác giả

Chinmayi Narasimhadevara là Kiến trúc sư giải pháp tập trung vào Dữ liệu lớn và Phân tích tại Amazon Web Services. Chinmayi có hơn 20 năm kinh nghiệm trong lĩnh vực công nghệ thông tin. Cô giúp khách hàng AWS xây dựng các giải pháp tiên tiến, có khả năng mở rộng cao và hiệu suất cao.

Harita Pappu là Giám đốc tài khoản kỹ thuật có trụ sở tại California. Cô có hơn 18 năm kinh nghiệm làm việc trong lĩnh vực xây dựng và mở rộng ứng dụng trong ngành phần mềm. Cô đam mê các công nghệ mới và tập trung vào việc giúp khách hàng tối ưu hóa chi phí và vận hành xuất sắc.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/