אמזון MSK Connect הוא שירות מנוהל במלואו עבור Apache Kafka Connect. בכמה לחיצות, MSK Connect מאפשר לך לפרוס מחברים המעבירים נתונים בין Apache Kafka למערכות חיצוניות.
MSK Connect תומך כעת ביכולת למחוק תצורות עובדים של MSK Connect, משאבי תיוג ולנהל תצורות עובדים ותוספים מותאמים אישית באמצעות AWS CloudFormation. ביחד, היכולות החדשות הללו הופכות את ניהול משאבי ה-MSK Connect שלך לפשוט ולהפוך פריסות לאוטומטיות באמצעות צינורות CI/CD.
MSK Connect עושה את זה ללא מאמץ להזרים נתונים מ- Apache Kafka וממנו בחיבור פרטי ללא צורך במומחיות בניהול תשתית. בכמה לחיצות, אתה יכול לפרוס מחברים כמו מחבר כיור אמזון S3 לטעינת נתונים זורמים ל שירות אחסון פשוט של אמזון (Amazon S3), לפרוס מחברים שפותחו על ידי צדדים שלישיים כמו דביציום להזרמת יומני שינויים ממסדי נתונים לתוך Apache Kafka, או לפרוס מחבר משלך המותאם אישית למקרה השימוש שלך.
MSK Connect משלב מערכות חיצוניות או שירותי AWS עם Apache Kafka על ידי העתקה רציפה של נתונים זורמים ממקור נתונים לתוך אשכול Apache Kafka שלך, או העתקה מתמשכת של נתונים מאשכול Apache Kafka שלך לתוך שקע נתונים. המחבר יכול גם לבצע משימות קלות משקל כמו טרנספורמציה, המרת פורמט או סינון נתונים לפני מסירת הנתונים ליעד. אתה יכול להשתמש בתוסף כדי ליצור את המחבר; תוספים מותאמים אישית אלה הם משאבים המכילים את הקוד שמגדיר את לוגיקה של מחברים.
המרכיבים העיקריים של MSK Connect הם עובדים. כל עובד הוא תהליך Java Virtual Machine (JVM) המריץ את לוגיקת המחברים בהתבסס על תצורת העובד שסופקה. תצורות עובד הן משאבים המכילים את מאפייני תצורת המחבר שלך שניתן לעשות בהם שימוש חוזר בין מחברים מרובים. כל עובד מורכב מקבוצה של משימות המעתיקות את הנתונים במקביל.
היום, אנו מכריזים על שלוש יכולות חדשות ב-MSK Connect:
- היכולת למחוק תצורות עובדים
- תמיכה בתגי משאבים להפעלת קיבוץ משאבים, הקצאת עלויות ודיווח ובקרת גישה עם מדיניות מבוססת תגים
- תמיכה ב-AWS CloudFormation לניהול תצורות עובדים ותוספים מותאמים אישית
בסעיפים הבאים, אנו בוחנים את הפונקציות החדשות ביתר פירוט.
מחק תצורות עובד
מחברים לשילוב אמזון מנוהל סטרימינג עבור אפאצ'י קפקא (Amazon MSK) עם שירותי AWS ושותפים אחרים נוצרים בדרך כלל באמצעות תצורת עובד (ברירת מחדל או מותאמת אישית). תצורות אלה יכולות לגדול עם יצירה ומחיקה של מחברים, מה שעלול ליצור בעיות בניהול תצורה.
כעת תוכל להשתמש ב-API החדש של מחיקת תצורת עובד כדי למחוק תצורות שאינן בשימוש. השירות בודק שתצורת העובד אינה בשימוש על ידי מחברים כלשהם לפני מחיקת התצורה. בנוסף, כעת תוכל להשתמש במסנן קידומת כדי לרשום תצורות עובדים ותוספים מותאמים אישית באמצעות ListWorkerConfigurations ו ListCustomPlugins קריאות API. מסנן הקידומת מאפשר לך לרשום את המשאבים הסלקטיביים עם שמות המתחילים בקידומת כדי שתוכל לבצע מחיקה סלקטיבית מהירה.
כדי לבדוק את ה-API החדש למחוק, בצע את השלבים הבאים:
- במסוף MSK של אמזון, צור תצורת עובד חדשה.
- ספק שם ותיאור אופציונלי.
- ב תצורת עובד סעיף, הזן את קוד התצורה שלך.
לאחר יצירת התצורה, א מחק האפשרות זמינה בדף פרטי התצורה (ראה את צילום המסך הבא) אם התצורה אינה בשימוש באף מחבר.
כדי לתמוך ב-API החדש הזה, נוסף workerConfigurationState נוסף, כך שתוכל לעקוב ביתר קלות אחר מצב תצורת העובד. המצב החדש הזה יוחזר בתגובות קריאות ה-API עבור CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.
- לבחור מחק כדי למחוק את תצורת העובד.
- בחלון האישור המוקפץ, הזן את שם תצורת העובד ולאחר מכן בחר מחק.
אם תצורת העובד נמצאת בשימוש עם מחבר כלשהו, ה מחק האפשרות מושבתת, כפי שמוצג בצילום המסך הבא.
תגי משאבים
ל-MSK Connect יש כעת גם תמיכה בתגיות משאבים. תגים הם מטא נתונים של ערך מפתח שניתן לשייך למשאבי שירות AWS. אתה יכול להוסיף תגים למחברים, תוספים מותאמים אישית ותצורות עובדים כדי לארגן ולמצוא משאבים המשמשים בשירותי AWS. בצילומי המסך הבאים, מחבר MSK Connect לדוגמה שלנו, התוסף ותצורת העובד תויגו עם מפתח תג המשאב project וערך demo-tags.
עכשיו אתה יכול לתייג את שלך ענן מחשוב אלסטי של אמזון (Amazon EC2) ומשאבים של Amazon S3 עם אותו שם פרויקט, למשל. לאחר מכן תוכל להשתמש בתג כדי לחפש את כל המשאבים המקושרים לפרויקט המסוים הזה לצורך הקצאת עלויות, דיווח, קיבוץ משאבים או בקרת גישה. MSK Connect תומך בהוספת תגים בעת יצירת משאבים, החלת תגים על משאב קיים, הסרת תגים ממשאב ושאילתה של תגים המשויכים למשאב.
תמיכה ב-AWS CloudFormation
בעבר, יכולת לספק מחבר MSK Connect עם AWS CloudFormation רק על ידי שימוש בתצורת עובד קיימת. עם תכונה חדשה זו, תוכל כעת לבצע פעולות CREATE, READ, עדכון, DELETE ו-LIST על מחברים, וליצור ולהוסיף תצורות עובדים חדשות באמצעות AWS CloudFormation.
הקוד הבא הוא דוגמה ליצירת תצורת עובד:
{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}ערכי ההחזרה הם כדלקמן:
- ARN של תצורת העובד החדשה שנוצרה
- מצב תצורת העובד החדשה
- זמן יצירה של תצורת עובד חדשה
- הגרסה האחרונה של תצורת העובד החדשה
סיכום
MSK Connect הוא שירות מנוהל במלואו המספק את המשאבים הנדרשים, מנטר את תקינותם ומצב האספקה של המחברים, שומר על החומרה הבסיסית ומחברים קנה מידה אוטומטית כדי לאזן את עומסי העבודה. בפוסט זה, דנו בתכונות החדשות שנוספו ל-MSK Connect, אשר מייעלות את ניהול המחברים והעובדים עם הצגת ממשקי API למחיקת תצורות עובדים, תיוג משאבי MSK Connect ותמיכה ב-AWS CloudFormation ליצירת תצורות עובדים שאינן ברירת מחדל.
היכולות הללו זמינות בכל אזורי ה-AWS שבהם Amazon MSK Connect זמין. לרשימה של זמינות אזור, עיין ב שירותי AWS לפי אזור. למידע נוסף על MSK Connect, בקר באתר מדריך למפתחים של אמזון MSK Connect.
על הכותבים
Chinmayi Narasimhadevara הוא ארכיטקט פתרונות המתמקד בביג דאטה ואנליטיקס בשירותי האינטרנט של אמזון. ל-Chinmayi למעלה מ-20 שנות ניסיון בטכנולוגיית מידע. היא עוזרת ללקוחות AWS לבנות פתרונות מתקדמים, ניתנים להרחבה וביצועים.
חריטה פאפו הוא מנהל חשבון טכני מקליפורניה. יש לה למעלה מ-18 שנות ניסיון בעבודה בתעשיית התוכנה בבנייה ושינוי קנה מידה של יישומים. היא נלהבת מטכנולוגיות חדשות ומתמקדת בסיוע ללקוחות להשיג אופטימיזציה של עלויות ומצוינות תפעולית.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/big-data/introducing-enhanced-functionality-for-worker-configuration-management-in-amazon-msk-connect/
