Amazon MSK Połącz to w pełni zarządzana usługa dla Apache Kafka Connect. Za pomocą kilku kliknięć MSK Connect umożliwia wdrożenie konektorów przenoszących dane pomiędzy Apache Kafka a systemami zewnętrznymi.

MSK Connect obsługuje teraz możliwość usuwania konfiguracji procesów roboczych MSK Connect, oznaczania zasobów oraz zarządzania konfiguracjami procesów roboczych i niestandardowymi wtyczkami za pomocą Tworzenie chmury AWS. Łącznie te nowe możliwości ułatwiają zarządzanie zasobami MSK Connect i automatyzację wdrożeń za pośrednictwem potoków CI/CD.

MSK Connect ułatwia strumieniowe przesyłanie danych do i z Apache Kafka za pośrednictwem prywatnego połączenia bez konieczności posiadania specjalistycznej wiedzy w zakresie zarządzania infrastrukturą. Za pomocą kilku kliknięć możesz wdrożyć łączniki takie jak Złącze do zlewu Amazon S3 do ładowania danych przesyłanych strumieniowo do Usługa Amazon Simple Storage (Amazon S3), wdrażaj złącza opracowane przez strony trzecie, takie jak debezium do przesyłania strumieniowego dzienników zmian z baz danych do Apache Kafka lub wdrażaj własny konektor dostosowany do Twojego przypadku użycia.

MSK Connect integruje systemy zewnętrzne lub usługi AWS z Apache Kafka poprzez ciągłe kopiowanie strumieniowych danych ze źródła danych do klastra Apache Kafka lub ciągłe kopiowanie danych z klastra Apache Kafka do ujścia danych. Łącznik może także wykonywać lekkie zadania, takie jak transformacja, konwersja formatu lub filtrowanie danych przed dostarczeniem danych do miejsca docelowego. Do utworzenia łącznika możesz użyć wtyczki; te niestandardowe wtyczki to zasoby zawierające kod definiujący logikę złącza.

Podstawowymi składnikami MSK Connect są pracowników. Każdy proces roboczy to proces wirtualnej maszyny Java (JVM), który uruchamia logikę konektora w oparciu o dostarczoną konfigurację procesu roboczego. Konfiguracje procesów roboczych to zasoby zawierające właściwości konfiguracyjne łącznika, których można ponownie używać w wielu łącznikach. Każdy proces roboczy składa się z zestawu zadań, które kopiują dane równolegle.

Dzisiaj ogłaszamy trzy nowe możliwości w MSK Connect:

• Możliwość usuwania konfiguracji procesów roboczych
• Obsługa tagów zasobów umożliwiająca grupowanie zasobów, alokację kosztów i raportowanie oraz kontrolę dostępu za pomocą zasad opartych na tagach
• Wsparcie w AWS CloudFormation w celu zarządzania konfiguracjami procesów roboczych i niestandardowymi wtyczkami

W kolejnych sekcjach przyjrzymy się bardziej szczegółowo nowym funkcjonalnościom.

Usuń konfiguracje procesów roboczych

Złącza do integracji Przesyłanie strumieniowe zarządzane przez Amazon dla Apache Kafka (Amazon MSK) wraz z innymi usługami AWS i partnerami są zwykle tworzone przy użyciu konfiguracji roboczej (domyślnej lub niestandardowej). Te konfiguracje mogą rosnąć wraz z tworzeniem i usuwaniem łączników, potencjalnie powodując problemy z zarządzaniem konfiguracją.

Możesz teraz użyć nowego interfejsu API usuwania konfiguracji procesu roboczego, aby usunąć nieużywane konfiguracje. Usługa przed usunięciem konfiguracji sprawdza, czy konfiguracja procesu roboczego nie jest używana przez żaden łącznik. Ponadto możesz teraz używać filtra prefiksów, aby wyświetlić listę konfiguracji procesów roboczych i niestandardowych wtyczek za pomocą ListWorkerConfigurations i ListCustomPlugins Wywołania API. Filtr przedrostków umożliwia wyświetlenie listy wybranych zasobów o nazwach zaczynających się od przedrostka, dzięki czemu można szybko selektywnie usuwać.

Aby przetestować nowy interfejs API usuwania, wykonaj następujące kroki:

1. Na konsoli Amazon MSK utwórz nową konfigurację procesu roboczego.
2. Podaj nazwę i opcjonalny opis.
3. W Konfiguracja pracownika wprowadź kod konfiguracyjny.

Po utworzeniu konfiguracji a Usuń opcja jest dostępna na stronie szczegółów konfiguracji (patrz poniższy zrzut ekranu), jeśli konfiguracja nie jest używana w żadnym konektorze.

Aby obsługiwać ten nowy interfejs API, dodatkowy plik workerConfigurationState został dodany, dzięki czemu można łatwiej śledzić stan konfiguracji procesu roboczego. Ten nowy stan zostanie zwrócony w odpowiedziach na wywołania API dla CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

4. Dodaj Usuń , aby usunąć konfigurację procesu roboczego.
5. W wyskakującym okienku potwierdzenia wprowadź nazwę konfiguracji procesu roboczego, a następnie wybierz Usuń.

Jeśli konfiguracja procesu roboczego jest używana z dowolnym łącznikiem, plik Usuń opcja jest wyłączona, jak pokazano na poniższym zrzucie ekranu.

Tagi zasobów

MSK Connect obsługuje teraz także znaczniki zasobów. Tagi to metadane typu klucz-wartość, które można powiązać z zasobami usługi AWS. Możesz dodawać tagi do łączników, niestandardowych wtyczek i konfiguracji procesów roboczych, aby organizować i znajdować zasoby używane w usługach AWS. Na poniższych zrzutach ekranu nasz przykładowy łącznik, wtyczka i konfiguracja procesu roboczego MSK Connect zostały oznaczone kluczem znacznika zasobu project i wartość demo-tags.

Możesz teraz oznaczyć swoje Elastyczna chmura obliczeniowa Amazon (Amazon EC2) i zasoby Amazon S3 o tej samej nazwie projektu, na przykład. Następnie możesz użyć tagu, aby wyszukać wszystkie zasoby powiązane z tym konkretnym projektem w celu alokacji kosztów, raportowania, grupowania zasobów lub kontroli dostępu. MSK Connect obsługuje dodawanie tagów podczas tworzenia zasobów, stosowanie tagów do istniejącego zasobu, usuwanie tagów z zasobu i wysyłanie zapytań o tagi powiązane z zasobem.

Obsługa AWS CloudFormation

Wcześniej łącznik MSK Connect można było udostępnić za pomocą AWS CloudFormation tylko przy użyciu istniejącej konfiguracji procesu roboczego. Dzięki tej nowej funkcji możesz teraz wykonywać operacje CREATE, READ, UPDATE, DELETE i LIST na łącznikach oraz tworzyć i dodawać nowe konfiguracje procesów roboczych za pomocą AWS CloudFormation.

Poniższy kod jest przykładem tworzenia konfiguracji procesu roboczego:

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

Zwracane wartości są następujące:

• ARN nowo utworzonej konfiguracji procesu roboczego
• Stan nowej konfiguracji procesu roboczego
• Czas utworzenia nowej konfiguracji procesu roboczego
• Najnowsza wersja nowej konfiguracji procesu roboczego

Wnioski

MSK Connect to w pełni zarządzana usługa, która zapewnia wymagane zasoby, monitoruje kondycję i stan dostarczania złączy, konserwuje podstawowy sprzęt i automatycznie skaluje złącza w celu zrównoważenia obciążeń. W tym poście omówiliśmy nowe funkcje dodane do MSK Connect, które usprawniają zarządzanie łącznikami i procesami roboczymi poprzez wprowadzenie interfejsów API do usuwania konfiguracji procesów roboczych, oznaczania zasobów MSK Connect i obsługi w AWS CloudFormation w celu tworzenia innych niż domyślne konfiguracji procesów roboczych.

Funkcje te są dostępne we wszystkich regionach AWS, w których dostępna jest usługa Amazon MSK Connect. Aby zapoznać się z listą dostępności regionów, zobacz Usługi AWS według regionu. Aby dowiedzieć się więcej o MSK Connect, odwiedź stronę Przewodnik programisty Amazon MSK Connect.

O autorach

Chinmayi Narasimhadevara jest architektem rozwiązań zajmującym się Big Data i analityką w Amazon Web Services. Chinmayi ma ponad 20-letnie doświadczenie w technologiach informatycznych. Pomaga klientom AWS budować zaawansowane, wysoce skalowalne i wydajne rozwiązania.

Harita Pappu to Technical Account Manager z siedzibą w Kalifornii. Ma ponad 18-letnie doświadczenie w pracy w branży tworzenia i skalowania aplikacji. Pasjonuje się nowymi technologiami i koncentruje się na pomaganiu klientom w osiąganiu optymalizacji kosztów i doskonałości operacyjnej.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/