Connexion Amazon MSK est un service entièrement géré pour Apache Kafka Connect. En quelques clics, MSK Connect vous permet de déployer des connecteurs qui déplacent les données entre Apache Kafka et des systèmes externes.

MSK Connect prend désormais en charge la possibilité de supprimer les configurations de travail MSK Connect, de baliser les ressources et de gérer les configurations de travail et les plugins personnalisés à l'aide de AWS CloudFormation. Ensemble, ces nouvelles fonctionnalités facilitent la gestion de vos ressources MSK Connect et automatisent les déploiements via des pipelines CI/CD.

MSK Connect facilite la diffusion de données vers et depuis Apache Kafka via une connexion privée sans nécessiter d'expertise en gestion d'infrastructure. En quelques clics, vous pouvez déployer des connecteurs comme un Connecteur d'évier Amazon S3 pour charger des données en streaming sur Service de stockage simple Amazon (Amazon S3), déployez des connecteurs développés par des tiers comme Débézium pour diffuser les journaux de modifications des bases de données vers Apache Kafka, ou déployez votre propre connecteur personnalisé pour votre cas d'utilisation.

MSK Connect intègre des systèmes externes ou des services AWS avec Apache Kafka en copiant en continu les données en streaming d'une source de données dans votre cluster Apache Kafka, ou en copiant en continu les données de votre cluster Apache Kafka dans un récepteur de données. Le connecteur peut également effectuer des tâches légères telles que la transformation, la conversion de format ou le filtrage des données avant de transmettre les données à une destination. Vous pouvez utiliser un plugin pour créer le connecteur ; ces plugins personnalisés sont des ressources qui contiennent le code qui définit la logique du connecteur.

Les principaux composants de MSK Connect sont ouvriers. Chaque travailleur est un processus de machine virtuelle Java (JVM) qui exécute la logique du connecteur en fonction de la configuration du travailleur fournie. Les configurations de travail sont des ressources qui contiennent les propriétés de configuration de votre connecteur qui peuvent être réutilisées sur plusieurs connecteurs. Chaque travailleur est composé d'un ensemble de tâches qui copient les données en parallèle.

Aujourd'hui, nous annonçons trois nouvelles fonctionnalités dans MSK Connect :

• La possibilité de supprimer les configurations des travailleurs
• Prise en charge des balises de ressources pour permettre le regroupement des ressources, la répartition des coûts et la création de rapports, ainsi que le contrôle d'accès avec des politiques basées sur des balises
• Prise en charge dans AWS CloudFormation pour gérer les configurations de travail et les plugins personnalisés

Dans les sections suivantes, nous examinons plus en détail les nouvelles fonctionnalités.

Supprimer les configurations de travail

Connecteurs à intégrer Amazon Managed Streaming pour Apache Kafka (Amazon MSK) avec d'autres services AWS et partenaires sont généralement créés à l'aide d'une configuration de travail (par défaut ou personnalisée). Ces configurations peuvent évoluer avec la création et la suppression de connecteurs, créant potentiellement des problèmes de gestion de configuration.

Vous pouvez désormais utiliser la nouvelle API de suppression de configuration de travailleur pour supprimer les configurations inutilisées. Le service vérifie que la configuration du travailleur n'est utilisée par aucun connecteur avant de supprimer la configuration. De plus, vous pouvez désormais utiliser un filtre de préfixe pour répertorier les configurations de travail et les plugins personnalisés à l'aide du ListWorkerConfigurations ainsi que ListCustomPlugins Appels API. Le filtre de préfixe vous permet de répertorier les ressources sélectives avec des noms commençant par le préfixe afin que vous puissiez effectuer des suppressions sélectives rapides.

Pour tester la nouvelle API de suppression, procédez comme suit :

1. Sur la console Amazon MSK, créez une nouvelle configuration de travail.
2. Fournissez un nom et une description facultative.
3. Dans le Configuration du nœud de calcul section, entrez votre code de configuration.

Après avoir créé la configuration, un Supprimer L'option est disponible sur la page de détails de la configuration (voir la capture d'écran suivante) si la configuration n'est utilisée dans aucun connecteur.

Pour prendre en charge cette nouvelle API, un workerConfigurationState a été ajouté, afin que vous puissiez suivre plus facilement l'état de la configuration du travailleur. Ce nouvel état sera renvoyé dans les réponses aux appels API pour CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

4. Selectionnez Supprimer pour supprimer la configuration du travailleur.
5. Dans la fenêtre contextuelle de confirmation, saisissez le nom de la configuration du travailleur, puis choisissez Supprimer.

Si la configuration du travailleur est utilisée avec un connecteur, le Supprimer L'option est désactivée, comme indiqué dans la capture d'écran suivante.

Balises de ressources

MSK Connect prend désormais également en charge les balises de ressources. Les balises sont des métadonnées clé-valeur qui peuvent être associées aux ressources du service AWS. Vous pouvez ajouter des balises aux connecteurs, aux plug-ins personnalisés et aux configurations de travail pour organiser et rechercher les ressources utilisées dans les services AWS. Dans les captures d'écran suivantes, notre exemple de configuration de connecteur, de plug-in et de travailleur MSK Connect a été étiqueté avec la clé de balise de ressource. project et valeur demo-tags.

Vous pouvez maintenant taguer votre Cloud de calcul élastique Amazon (Amazon EC2) et des ressources Amazon S3 avec le même nom de projet, par exemple. Vous pouvez ensuite utiliser la balise pour rechercher toutes les ressources liées à ce projet particulier à des fins de répartition des coûts, de reporting, de regroupement de ressources ou de contrôle d'accès. MSK Connect prend en charge l'ajout de balises lors de la création de ressources, l'application de balises à une ressource existante, la suppression de balises d'une ressource et l'interrogation de balises associées à une ressource.

Prise en charge d'AWS CloudFormation

Auparavant, vous pouviez uniquement provisionner un connecteur MSK Connect avec AWS CloudFormation en utilisant une configuration de travail existante. Avec cette nouvelle fonctionnalité, vous pouvez désormais effectuer des opérations CREATE, READ, UPDATE, DELETE et LIST sur les connecteurs, ainsi que créer et ajouter de nouvelles configurations de travail à l'aide d'AWS CloudFormation.

Le code suivant est un exemple de création d'une configuration de travail :

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

Les valeurs de retour sont les suivantes :

• ARN de la configuration de travail nouvellement créée
• État de la nouvelle configuration du travailleur
• Heure de création de la nouvelle configuration du travailleur
• Dernière révision de la nouvelle configuration du travailleur

Conclusion

MSK Connect est un service entièrement géré qui provisionne les ressources requises, surveille l'état de santé et de livraison des connecteurs, gère le matériel sous-jacent et met automatiquement à l'échelle les connecteurs pour équilibrer les charges de travail. Dans cet article, nous avons discuté des nouvelles fonctionnalités ajoutées à MSK Connect, qui rationalisent la gestion des connecteurs et des travailleurs avec l'introduction d'API pour supprimer les configurations de travail, le balisage des ressources MSK Connect et la prise en charge dans AWS CloudFormation pour créer des configurations de travail autres que celles par défaut.

Ces fonctionnalités sont disponibles dans toutes les régions AWS où Amazon MSK Connect est disponible. Pour une liste de disponibilité des régions, reportez-vous à Services AWS par région. Pour en savoir plus sur MSK Connect, visitez le Guide du développeur Amazon MSK Connect.

À propos des auteurs

Chinmayi Narasimhadevara est un architecte de solutions axé sur le Big Data et l'analyse chez Amazon Web Services. Chinmayi a plus de 20 ans d’expérience dans les technologies de l’information. Elle aide les clients AWS à créer des solutions avancées, hautement évolutives et performantes.

Harita Pappu est un responsable de compte technique basé en Californie. Elle possède plus de 18 ans d’expérience dans la création et la mise à l’échelle d’applications dans l’industrie du logiciel. Elle est passionnée par les nouvelles technologies et s'efforce d'aider les clients à atteindre l'optimisation des coûts et l'excellence opérationnelle.

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/