Amazon MSK Connect είναι μια πλήρως διαχειριζόμενη υπηρεσία για το Apache Kafka Connect. Με μερικά κλικ, το MSK Connect σάς επιτρέπει να αναπτύξετε συνδέσμους που μετακινούν δεδομένα μεταξύ του Apache Kafka και των εξωτερικών συστημάτων.

Το MSK Connect υποστηρίζει τώρα τη δυνατότητα διαγραφής διαμορφώσεων εργαζόμενου MSK Connect, πόρων ετικετών και διαχείρισης διαμορφώσεων εργαζομένων και προσαρμοσμένων προσθηκών χρησιμοποιώντας AWS CloudFormation. Μαζί, αυτές οι νέες δυνατότητες καθιστούν εύκολη τη διαχείριση των πόρων MSK Connect και την αυτοματοποίηση των αναπτύξεων μέσω αγωγών CI/CD.

Το MSK Connect καθιστά εύκολη τη ροή δεδομένων προς και από τον Apache Kafka μέσω ιδιωτικής σύνδεσης χωρίς να απαιτείται εξειδίκευση στη διαχείριση υποδομής. Με μερικά κλικ, μπορείτε να αναπτύξετε συνδέσεις όπως ένα Υποδοχή νεροχύτη Amazon S3 για τη φόρτωση δεδομένων ροής σε Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3), αναπτύξτε συνδέσμους που έχουν αναπτυχθεί από τρίτα μέρη όπως Debezium για ροή αρχείων καταγραφής αλλαγής από βάσεις δεδομένων στο Apache Kafka ή αναπτύξτε τη δική σας εφαρμογή σύνδεσης προσαρμοσμένη για την περίπτωση χρήσης σας.

Το MSK Connect ενσωματώνει εξωτερικά συστήματα ή υπηρεσίες AWS με τον Apache Kafka αντιγράφοντας συνεχώς δεδομένα ροής από μια πηγή δεδομένων στο σύμπλεγμα Apache Kafka ή αντιγράφοντας συνεχώς δεδομένα από το σύμπλεγμα Apache Kafka σε ένα νεροχύτη δεδομένων. Η εφαρμογή σύνδεσης μπορεί επίσης να εκτελέσει ελαφριές εργασίες, όπως μετασχηματισμό, μετατροπή μορφής ή φιλτράρισμα δεδομένων πριν από την παράδοση των δεδομένων σε έναν προορισμό. Μπορείτε να χρησιμοποιήσετε ένα πρόσθετο για να δημιουργήσετε τη σύνδεση. Αυτές οι προσαρμοσμένες προσθήκες είναι πόροι που περιέχουν τον κώδικα που καθορίζει τη λογική της εφαρμογής σύνδεσης.

Τα κύρια στοιχεία του MSK Connect είναι εργαζομένων. Κάθε εργαζόμενος είναι μια διεργασία εικονικής μηχανής Java (JVM) που εκτελεί τη λογική της εφαρμογής σύνδεσης με βάση τη διαμόρφωση του εργαζόμενου που παρέχεται. Οι διαμορφώσεις εργασίας είναι πόροι που περιέχουν τις ιδιότητες διαμόρφωσης της εφαρμογής σύνδεσης που μπορούν να επαναχρησιμοποιηθούν σε πολλαπλές συνδέσεις. Κάθε εργαζόμενος αποτελείται από ένα σύνολο εργασιών που αντιγράφουν τα δεδομένα παράλληλα.

Σήμερα, ανακοινώνουμε τρεις νέες δυνατότητες στο MSK Connect:

• Η δυνατότητα διαγραφής διαμορφώσεων εργαζομένων
• Υποστήριξη ετικετών πόρων για ενεργοποίηση ομαδοποίησης πόρων, κατανομή και αναφορά κόστους και έλεγχος πρόσβασης με πολιτικές που βασίζονται σε ετικέτες
• Υποστήριξη στο AWS CloudFormation για τη διαχείριση διαμορφώσεων εργαζομένων και προσαρμοσμένων προσθηκών

Στις επόμενες ενότητες, εξετάζουμε τις νέες λειτουργίες με περισσότερες λεπτομέρειες.

Διαγραφή διαμορφώσεων εργαζόμενου

Υποδοχές για ενσωμάτωση Amazon Managed Streaming για το Apache Kafka (Amazon MSK) με άλλες υπηρεσίες AWS και συνεργατών δημιουργούνται συνήθως χρησιμοποιώντας διαμόρφωση εργαζόμενου (προεπιλογή ή προσαρμοσμένη). Αυτές οι διαμορφώσεις μπορούν να αυξηθούν με τη δημιουργία και τη διαγραφή εφαρμογών σύνδεσης, δημιουργώντας ενδεχομένως προβλήματα διαχείρισης διαμόρφωσης.

Τώρα μπορείτε να χρησιμοποιήσετε το νέο API διαμόρφωσης διαγραφής εργαζόμενου για να διαγράψετε διαμορφώσεις που δεν χρησιμοποιούνται. Η υπηρεσία ελέγχει ότι η διαμόρφωση εργαζόμενου δεν χρησιμοποιείται από καμία σύνδεση πριν διαγράψει τη διαμόρφωση. Επιπλέον, μπορείτε τώρα να χρησιμοποιήσετε ένα φίλτρο προθέματος για να παραθέσετε διαμορφώσεις εργαζομένων και προσαρμοσμένες προσθήκες χρησιμοποιώντας το ListWorkerConfigurations και ListCustomPlugins Κλήσεις API. Το φίλτρο προθέματος σάς επιτρέπει να παραθέσετε τους επιλεκτικούς πόρους με ονόματα που ξεκινούν με το πρόθεμα, ώστε να μπορείτε να πραγματοποιείτε γρήγορες επιλεκτικές διαγραφές.

Για να δοκιμάσετε το νέο API διαγραφής, ολοκληρώστε τα παρακάτω βήματα:

1. Στην κονσόλα Amazon MSK, δημιουργήστε μια νέα διαμόρφωση εργαζόμενου.
2. Δώστε ένα όνομα και προαιρετική περιγραφή.
3. Στο Διαμόρφωση εργάτη ενότητα, εισαγάγετε τον κωδικό διαμόρφωσής σας.

Αφού δημιουργήσετε τη διαμόρφωση, α Διαγραφή Η επιλογή είναι διαθέσιμη στη σελίδα λεπτομερειών διαμόρφωσης (δείτε το παρακάτω στιγμιότυπο οθόνης) εάν η διαμόρφωση δεν χρησιμοποιείται σε καμία σύνδεση.

Για την υποστήριξη αυτού του νέου API, ένα πρόσθετο workerConfigurationState έχει προστεθεί, ώστε να μπορείτε να παρακολουθείτε πιο εύκολα την κατάσταση της διαμόρφωσης του εργαζόμενου. Αυτή η νέα κατάσταση θα επιστραφεί στις απαντήσεις κλήσεων API για CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

4. Επιλέξτε Διαγραφή για να διαγράψετε τη διαμόρφωση του εργαζόμενου.
5. Στο αναδυόμενο παράθυρο επιβεβαίωσης, εισαγάγετε το όνομα της διαμόρφωσης εργαζόμενου και, στη συνέχεια, επιλέξτε Διαγραφή.

Εάν η διαμόρφωση του εργαζόμενου χρησιμοποιείται με οποιονδήποτε σύνδεσμο, η Διαγραφή Η επιλογή είναι απενεργοποιημένη, όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης.

Ετικέτες πόρων

Το MSK Connect τώρα έχει επίσης υποστήριξη για ετικέτες πόρων. Οι ετικέτες είναι μεταδεδομένα κλειδιού-τιμής που μπορούν να συσχετιστούν με πόρους υπηρεσιών AWS. Μπορείτε να προσθέσετε ετικέτες σε εφαρμογές σύνδεσης, προσαρμοσμένες προσθήκες και διαμορφώσεις εργαζομένων για να οργανώσετε και να βρείτε πόρους που χρησιμοποιούνται στις υπηρεσίες AWS. Στα ακόλουθα στιγμιότυπα οθόνης, το παράδειγμά μας η σύνδεση, η προσθήκη και η διαμόρφωση εργαζόμενου MSK Connect έχουν επισημανθεί με το κλειδί ετικέτας πόρων project και αξία demo-tags.

Τώρα μπορείτε να προσθέσετε ετικέτα στο δικό σας Amazon Elastic Compute Cloud (Amazon EC2) και πόροι Amazon S3 με το ίδιο όνομα έργου, για παράδειγμα. Στη συνέχεια, μπορείτε να χρησιμοποιήσετε την ετικέτα για να αναζητήσετε όλους τους πόρους που συνδέονται με αυτό το συγκεκριμένο έργο για κατανομή κόστους, αναφορά, ομαδοποίηση πόρων ή έλεγχο πρόσβασης. Το MSK Connect υποστηρίζει την προσθήκη ετικετών κατά τη δημιουργία πόρων, την εφαρμογή ετικετών σε έναν υπάρχοντα πόρο, την αφαίρεση ετικετών από έναν πόρο και την αναζήτηση ετικετών που σχετίζονται με έναν πόρο.

Υποστήριξη AWS CloudFormation

Προηγουμένως, μπορούσατε να παρέχετε μια σύνδεση MSK Connect με AWS CloudFormation μόνο χρησιμοποιώντας μια υπάρχουσα διαμόρφωση εργαζόμενου. Με αυτήν τη νέα δυνατότητα, μπορείτε πλέον να εκτελείτε λειτουργίες CREATE, READ, UPDATE, DELETE και LIST σε υποδοχές σύνδεσης και να δημιουργήσετε και να προσθέσετε νέες διαμορφώσεις εργαζόμενου χρησιμοποιώντας το AWS CloudFormation.

Ο παρακάτω κώδικας είναι ένα παράδειγμα δημιουργίας μιας διαμόρφωσης εργαζόμενου:

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

Οι επιστρεφόμενες τιμές είναι οι εξής:

• ARN της νέας διαμόρφωσης εργαζόμενου
• Κατάσταση της νέας διαμόρφωσης εργαζόμενου
• Χρόνος δημιουργίας νέας διαμόρφωσης εργαζόμενου
• Τελευταία αναθεώρηση της νέας διαμόρφωσης εργαζόμενου

Συμπέρασμα

Το MSK Connect είναι μια πλήρως διαχειριζόμενη υπηρεσία που παρέχει τους απαιτούμενους πόρους, παρακολουθεί την υγεία και την κατάσταση παράδοσης των συνδέσεων, συντηρεί το υποκείμενο υλικό και κλιμακώνει αυτόματα τις υποδοχές σύνδεσης για την εξισορρόπηση του φόρτου εργασίας. Σε αυτήν την ανάρτηση, συζητήσαμε τις νέες δυνατότητες που προστέθηκαν στο MSK Connect, οι οποίες βελτιστοποιούν τη διαχείριση εφαρμογών σύνδεσης και εργαζόμενου με την εισαγωγή API για τη διαγραφή διαμορφώσεων εργαζομένων, την προσθήκη ετικετών στους πόρους του MSK Connect και την υποστήριξη στο AWS CloudFormation για τη δημιουργία μη προεπιλεγμένων διαμορφώσεων εργαζομένων.

Αυτές οι δυνατότητες είναι διαθέσιμες σε όλες τις Περιφέρειες AWS όπου είναι διαθέσιμο το Amazon MSK Connect. Για μια λίστα με τη διαθεσιμότητα Περιοχής, ανατρέξτε στο Υπηρεσίες AWS ανά περιοχή. Για να μάθετε περισσότερα σχετικά με το MSK Connect, επισκεφθείτε τη διεύθυνση Οδηγός προγραμματιστή Amazon MSK Connect.

Σχετικά με τους Συγγραφείς

Chinmayi Narasimhadevara είναι ένας αρχιτέκτονας λύσεων που επικεντρώνεται στα μεγάλα δεδομένα και το Analytics στις υπηρεσίες Web της Amazon. Η Chinmayi έχει πάνω από 20 χρόνια εμπειρίας στην τεχνολογία της πληροφορίας. Βοηθά τους πελάτες της AWS να δημιουργήσουν προηγμένες, εξαιρετικά επεκτάσιμες και αποδοτικές λύσεις.

Χαρίτα Παππού είναι Τεχνικός Διαχειριστής Λογαριασμού με έδρα την Καλιφόρνια. Έχει πάνω από 18 χρόνια εμπειρίας στην κατασκευή και κλιμάκωση εφαρμογών βιομηχανίας λογισμικού. Είναι παθιασμένη με τις νέες τεχνολογίες και επικεντρώνεται στο να βοηθά τους πελάτες να επιτύχουν βελτιστοποίηση κόστους και λειτουργική αριστεία.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/