Πελάτες κάθε μεγέθους και κλάδου καινοτομούν στο AWS ενσωματώνοντας μηχανική μάθηση (ML) στα προϊόντα και τις υπηρεσίες τους. Οι πρόσφατες εξελίξεις στα μοντέλα παραγωγής τεχνητής νοημοσύνης έχουν επιταχύνει περαιτέρω την ανάγκη υιοθέτησης ML σε όλους τους κλάδους. Ωστόσο, η εφαρμογή ελέγχων ασφάλειας, απορρήτου δεδομένων και διακυβέρνησης εξακολουθούν να είναι βασικές προκλήσεις που αντιμετωπίζουν οι πελάτες κατά την εφαρμογή φόρτου εργασίας ML σε κλίμακα. Η αντιμετώπιση αυτών των προκλήσεων δημιουργεί το πλαίσιο και τα θεμέλια για τον μετριασμό του κινδύνου και την υπεύθυνη χρήση προϊόντων που βασίζονται σε ML. Αν και η γενετική τεχνητή νοημοσύνη μπορεί να χρειάζεται πρόσθετους ελέγχους, όπως η αφαίρεση της τοξικότητας και η πρόληψη του jailbreaking και των παραισθήσεων, μοιράζεται τα ίδια θεμελιώδη στοιχεία για την ασφάλεια και τη διακυβέρνηση με την παραδοσιακή ML.

Ακούμε από πελάτες ότι απαιτούν εξειδικευμένες γνώσεις και επένδυση έως και 12 μηνών για τη δημιουργία των εξατομικευμένων τους Amazon Sage Maker Εφαρμογή πλατφόρμας ML για τη διασφάλιση επεκτάσιμων, αξιόπιστων, ασφαλών και ελεγχόμενων περιβαλλόντων ML για τις επιχειρηματικές τους γραμμές (LOB) ή τις ομάδες ML. Εάν δεν έχετε ένα πλαίσιο για τη διαχείριση του κύκλου ζωής ML σε κλίμακα, ενδέχεται να αντιμετωπίσετε προκλήσεις όπως η απομόνωση πόρων σε επίπεδο ομάδας, η κλιμάκωση των πόρων πειραματισμού, η λειτουργικότητα των ροών εργασίας ML, η κλιμάκωση της διακυβέρνησης μοντέλων και η διαχείριση της ασφάλειας και της συμμόρφωσης του φόρτου εργασίας ML.

Η διακυβέρνηση του κύκλου ζωής ML σε κλίμακα είναι ένα πλαίσιο που σας βοηθά να δημιουργήσετε μια πλατφόρμα ML με ενσωματωμένους ελέγχους ασφάλειας και διακυβέρνησης με βάση τις βέλτιστες πρακτικές του κλάδου και τα εταιρικά πρότυπα. Αυτό το πλαίσιο αντιμετωπίζει τις προκλήσεις παρέχοντας καθοδήγηση μέσω μιας προσέγγισης σπονδυλωτών πλαισίου που επεκτείνει ένα Πύργος ελέγχου AWS περιβάλλον AWS πολλών λογαριασμών και η προσέγγιση που συζητήθηκε στην ανάρτηση Ρύθμιση ασφαλών, καλά διοικούμενων περιβαλλόντων μηχανικής μάθησης στο AWS.

Παρέχει καθοδήγηση για τις ακόλουθες λειτουργίες πλατφόρμας ML:

• Βάσεις πολλαπλών λογαριασμών, ασφάλειας και δικτύωσης – Αυτή η λειτουργία χρησιμοποιεί AWS Control Tower και καλά σχεδιασμένες αρχές για τη ρύθμιση και τη λειτουργία περιβάλλοντος πολλών λογαριασμών, ασφάλειας και υπηρεσιών δικτύωσης.
• Δεδομένα και θεμέλια διακυβέρνησης – Αυτή η λειτουργία χρησιμοποιεί α αρχιτεκτονική πλέγματος δεδομένων για τη δημιουργία και τη λειτουργία της λίμνης δεδομένων, του κεντρικού χώρου αποθήκευσης χαρακτηριστικών και των θεμελίων διακυβέρνησης δεδομένων για να καταστεί δυνατή η λεπτομερής πρόσβαση σε δεδομένα.
• Κοινόχρηστες και υπηρεσίες διακυβέρνησης πλατφόρμας ML – Αυτή η λειτουργία επιτρέπει τη ρύθμιση και τη λειτουργία κοινών υπηρεσιών όπως CI/CD, Κατάλογος υπηρεσιών AWS για περιβάλλοντα παροχής και ένα κεντρικό μητρώο μοντέλων για την προώθηση μοντέλων και τη γενεαλογία.
• περιβάλλοντα ομάδας ML – Αυτή η λειτουργία επιτρέπει τη δημιουργία και τη λειτουργία περιβαλλόντων για ομάδες ML για την ανάπτυξη μοντέλων, τη δοκιμή και την ανάπτυξη περιπτώσεων χρήσης για την ενσωμάτωση ελέγχων ασφάλειας και διακυβέρνησης.
• Παρατηρησιμότητα πλατφόρμας ML – Αυτή η λειτουργία βοηθά στην αντιμετώπιση προβλημάτων και στον εντοπισμό της βασικής αιτίας για προβλήματα σε μοντέλα ML μέσω της συγκέντρωσης των αρχείων καταγραφής και της παροχής εργαλείων για οπτικοποίηση ανάλυσης αρχείων καταγραφής. Παρέχει επίσης καθοδήγηση για τη δημιουργία αναφορών κόστους και χρήσης για περιπτώσεις χρήσης ML.

Αν και αυτό το πλαίσιο μπορεί να προσφέρει οφέλη σε όλους τους πελάτες, είναι πιο επωφελές για πελάτες μεγάλων, ώριμων, ελεγχόμενων ή παγκόσμιων επιχειρήσεων που θέλουν να κλιμακώσουν τις στρατηγικές ML τους σε μια ελεγχόμενη, συμβατή και συντονισμένη προσέγγιση σε ολόκληρο τον οργανισμό. Βοηθά να ενεργοποιηθεί η υιοθέτηση ML ενώ ταυτόχρονα μετριάζονται οι κίνδυνοι. Αυτό το πλαίσιο είναι χρήσιμο για τους ακόλουθους πελάτες:

• Πελάτες μεγάλων επιχειρήσεων που έχουν πολλά LOB ή τμήματα που ενδιαφέρονται να χρησιμοποιήσουν ML. Αυτό το πλαίσιο επιτρέπει σε διαφορετικές ομάδες να δημιουργούν και να αναπτύσσουν μοντέλα ML ανεξάρτητα, παρέχοντας παράλληλα κεντρική διακυβέρνηση.
• Επιχειρηματικοί πελάτες με μέτρια έως υψηλή ωριμότητα σε ML. Έχουν ήδη αναπτύξει ορισμένα αρχικά μοντέλα ML και προσπαθούν να κλιμακώσουν τις προσπάθειές τους για ML. Αυτό το πλαίσιο μπορεί να βοηθήσει στην επιτάχυνση της υιοθέτησης ML σε ολόκληρο τον οργανισμό. Αυτές οι εταιρείες αναγνωρίζουν επίσης την ανάγκη διακυβέρνησης για τη διαχείριση πραγμάτων όπως ο έλεγχος πρόσβασης, η χρήση δεδομένων, η απόδοση του μοντέλου και η αθέμιτη προκατάληψη.
• Εταιρείες σε ρυθμιζόμενες βιομηχανίες όπως οι χρηματοπιστωτικές υπηρεσίες, η υγειονομική περίθαλψη, η χημεία και ο ιδιωτικός τομέας. Αυτές οι εταιρείες χρειάζονται ισχυρή διακυβέρνηση και ακρόαση για οποιαδήποτε μοντέλα ML που χρησιμοποιούνται στις επιχειρηματικές τους διαδικασίες. Η υιοθέτηση αυτού του πλαισίου μπορεί να βοηθήσει στη διευκόλυνση της συμμόρφωσης, επιτρέποντας παράλληλα την ανάπτυξη τοπικού μοντέλου.
• Παγκόσμιοι οργανισμοί που πρέπει να εξισορροπούν τον κεντρικό και τον τοπικό έλεγχο. Η ομοσπονδιακή προσέγγιση αυτού του πλαισίου επιτρέπει στην ομάδα μηχανικών της κεντρικής πλατφόρμας να ορίσει ορισμένες πολιτικές και πρότυπα υψηλού επιπέδου, αλλά επίσης δίνει στις ομάδες LOB ευελιξία προσαρμογής με βάση τις τοπικές ανάγκες.

Στο πρώτο μέρος αυτής της σειράς, περιηγούμαστε στην αρχιτεκτονική αναφοράς για τη ρύθμιση της πλατφόρμας ML. Σε μεταγενέστερη ανάρτηση, θα παρέχουμε συνταγογραφικές οδηγίες για τον τρόπο εφαρμογής των διαφόρων ενοτήτων στην αρχιτεκτονική αναφοράς στον οργανισμό σας.

Οι δυνατότητες της πλατφόρμας ML ομαδοποιούνται σε τέσσερις κατηγορίες, όπως φαίνεται στο παρακάτω σχήμα. Αυτές οι δυνατότητες αποτελούν τη βάση της αρχιτεκτονικής αναφοράς που συζητείται αργότερα σε αυτήν την ανάρτηση:

• Δημιουργήστε θεμέλια ML
• Κλιμάκωση λειτουργιών ML
• Παρατηρήσιμο ML
• Ασφαλής ML

Επισκόπηση λύσεων

Το πλαίσιο διακυβέρνησης του κύκλου ζωής ML σε πλαίσιο κλίμακας επιτρέπει στους οργανισμούς να ενσωματώνουν ελέγχους ασφάλειας και διακυβέρνησης σε όλο τον κύκλο ζωής ML που με τη σειρά τους βοηθούν τους οργανισμούς να μειώσουν τον κίνδυνο και να επιταχύνουν την εισαγωγή ML στα προϊόντα και τις υπηρεσίες τους. Το πλαίσιο βοηθά στη βελτιστοποίηση της ρύθμισης και της διακυβέρνησης ασφαλών, επεκτάσιμων και αξιόπιστων περιβαλλόντων ML που μπορούν να κλιμακωθούν για να υποστηρίξουν έναν αυξανόμενο αριθμό μοντέλων και έργων. Το πλαίσιο επιτρέπει τις ακόλουθες δυνατότητες:

• Παροχή λογαριασμού και υποδομής με πόρους υποδομής που συμμορφώνονται με την πολιτική του οργανισμού
• Ανάπτυξη αυτοεξυπηρέτησης περιβαλλόντων επιστήμης δεδομένων και προτύπων λειτουργιών ML από άκρο σε άκρο (MLOps) για περιπτώσεις χρήσης ML
• Απομόνωση πόρων σε επίπεδο LOB ή σε επίπεδο ομάδας για συμμόρφωση με την ασφάλεια και το απόρρητο
• Ελεγχόμενη πρόσβαση σε δεδομένα ποιότητας παραγωγής για πειραματισμούς και ροές εργασίας έτοιμες για παραγωγή
• Διαχείριση και διακυβέρνηση για αποθετήρια κώδικα, αγωγούς κώδικα, αναπτυγμένα μοντέλα και χαρακτηριστικά δεδομένων
• Ένα πρότυπο μητρώου και αποθήκευσης χαρακτηριστικών (τοπικά και κεντρικά στοιχεία) για τη βελτίωση της διακυβέρνησης
• Έλεγχοι ασφάλειας και διακυβέρνησης για τη διαδικασία ανάπτυξης και ανάπτυξης μοντέλων από άκρο σε άκρο

Σε αυτήν την ενότητα, παρέχουμε μια επισκόπηση της συνταγογραφικής καθοδήγησης για να σας βοηθήσουμε να δημιουργήσετε αυτήν την πλατφόρμα ML σε AWS με ενσωματωμένα στοιχεία ελέγχου ασφάλειας και διακυβέρνησης.

Η λειτουργική αρχιτεκτονική που σχετίζεται με την πλατφόρμα ML φαίνεται στο παρακάτω διάγραμμα. Η αρχιτεκτονική αντιστοιχίζει τις διαφορετικές δυνατότητες της πλατφόρμας ML σε λογαριασμούς AWS.

Η λειτουργική αρχιτεκτονική με διαφορετικές δυνατότητες υλοποιείται χρησιμοποιώντας μια σειρά από υπηρεσίες AWS, μεταξύ των οποίων Οργανισμοί AWS, SageMaker, υπηρεσίες AWS DevOps και μια λίμνη δεδομένων. Η αρχιτεκτονική αναφοράς για την πλατφόρμα ML με διάφορες υπηρεσίες AWS φαίνεται στο παρακάτω διάγραμμα.

Αυτό το πλαίσιο λαμβάνει υπόψη πολλαπλά πρόσωπα και υπηρεσίες που διέπουν τον κύκλο ζωής της ML σε κλίμακα. Συνιστούμε τα ακόλουθα βήματα για να οργανώσετε τις ομάδες και τις υπηρεσίες σας:

1. Χρησιμοποιώντας τον Πύργο Ελέγχου AWS και τα εργαλεία αυτοματισμού, ο διαχειριστής του cloud ρυθμίζει τα θεμέλια πολλών λογαριασμών, όπως Οργανισμούς και Κέντρο Ταυτότητας AWS IAM (διάδοχος του AWS Single Sign-On) και υπηρεσίες ασφάλειας και διακυβέρνησης όπως π.χ Υπηρεσία διαχείρισης κλειδιών AWS (AWS KMS) και Κατάλογος Υπηρεσιών. Επιπλέον, ο διαχειριστής δημιουργεί μια ποικιλία οργανωτικών μονάδων (OU) και αρχικούς λογαριασμούς για την υποστήριξη των ροών εργασιών ML και αναλυτικών στοιχείων.
2. Οι διαχειριστές της λίμνης δεδομένων ρυθμίζουν τη λίμνη δεδομένων και τον κατάλογο δεδομένων σας και ρυθμίζουν το κεντρικό κατάστημα χαρακτηριστικών που συνεργάζεται με τον διαχειριστή της πλατφόρμας ML.
3. Ο διαχειριστής της πλατφόρμας ML παρέχει κοινόχρηστες υπηρεσίες ML όπως π.χ AWS CodeCommit, Αγωγός κώδικα AWS, Μητρώο εμπορευματοκιβωτίων Amazon Elastic (Amazon ECR), ένα κεντρικό μητρώο μοντέλων, Κάρτες μοντέλου SageMaker, Πίνακας εργαλείων SageMaker Modelκαι προϊόντα καταλόγου υπηρεσιών για ομάδες ML.
4. Η επικεφαλής της ομάδας ML συνενώνεται μέσω του IAM Identity Center, χρησιμοποιεί προϊόντα καταλόγου υπηρεσιών και παρέχει πόρους στο περιβάλλον ανάπτυξης της ομάδας ML.
5. Επιστήμονες δεδομένων από ομάδες ML σε διαφορετικές επιχειρηματικές μονάδες συνενώνονται στο περιβάλλον ανάπτυξης της ομάδας τους για να δημιουργήσουν τη γραμμή μοντέλων.
6. Οι επιστήμονες δεδομένων αναζητούν και αντλούν χαρακτηριστικά από τον κεντρικό κατάλογο του καταστήματος χαρακτηριστικών, κατασκευάζουν μοντέλα μέσω πειραμάτων και επιλέγουν το καλύτερο μοντέλο για προώθηση.
7. Οι επιστήμονες δεδομένων δημιουργούν και μοιράζονται νέες δυνατότητες στον κεντρικό κατάλογο του καταστήματος χαρακτηριστικών για επαναχρησιμοποίηση.
8. Ένας μηχανικός ML αναπτύσσει τη διοχέτευση μοντέλου στο περιβάλλον δοκιμής της ομάδας ML χρησιμοποιώντας μια διαδικασία CI/CD κοινών υπηρεσιών.
9. Μετά την επικύρωση από τους ενδιαφερόμενους, το μοντέλο ML αναπτύσσεται στο περιβάλλον παραγωγής της ομάδας.
10. Οι έλεγχοι ασφάλειας και διακυβέρνησης είναι ενσωματωμένοι σε κάθε επίπεδο αυτής της αρχιτεκτονικής χρησιμοποιώντας υπηρεσίες όπως π.χ AWS Security Hub, Καθήκον Φρουράς Amazon, Amazon Macie, Και πολλά άλλα.
11. Τα στοιχεία ελέγχου ασφαλείας διαχειρίζονται κεντρικά από τον λογαριασμό εργαλείων ασφαλείας χρησιμοποιώντας το Security Hub.
12. Οι δυνατότητες διακυβέρνησης της πλατφόρμας ML, όπως οι κάρτες μοντέλου SageMaker και ο πίνακας μοντέλων SageMaker, διαχειρίζονται κεντρικά από τον λογαριασμό υπηρεσιών διακυβέρνησης.
13. amazoncloudwatch και AWS CloudTrail Τα αρχεία καταγραφής από κάθε λογαριασμό μέλους γίνονται κεντρικά προσβάσιμα από έναν λογαριασμό παρατηρησιμότητας χρησιμοποιώντας εγγενείς υπηρεσίες AWS.

Στη συνέχεια, βουτάμε βαθιά στις ενότητες της αρχιτεκτονικής αναφοράς για αυτό το πλαίσιο.

Ενότητες αρχιτεκτονικής αναφοράς

Η αρχιτεκτονική αναφοράς περιλαμβάνει οκτώ ενότητες, καθεμία σχεδιασμένη για να λύνει ένα συγκεκριμένο σύνολο προβλημάτων. Συλλογικά, αυτές οι ενότητες αντιμετωπίζουν τη διακυβέρνηση σε διάφορες διαστάσεις, όπως η υποδομή, τα δεδομένα, το μοντέλο και το κόστος. Κάθε μονάδα προσφέρει ένα ξεχωριστό σύνολο λειτουργιών και διαλειτουργεί με άλλες μονάδες για να παρέχει μια ολοκληρωμένη πλατφόρμα ML από άκρο σε άκρο με ενσωματωμένα στοιχεία ελέγχου ασφάλειας και διακυβέρνησης. Σε αυτή την ενότητα, παρουσιάζουμε μια σύντομη περίληψη των δυνατοτήτων κάθε ενότητας.

Θεμέλια πολλαπλών λογαριασμών

Αυτή η ενότητα βοηθά τους διαχειριστές του cloud να δημιουργήσουν ένα Ζώνη προσγείωσης Πύργου Ελέγχου AWS ως θεμελιώδες πλαίσιο. Αυτό περιλαμβάνει τη δημιουργία δομής πολλών λογαριασμών, έλεγχο ταυτότητας και εξουσιοδότηση μέσω του Κέντρου Ταυτότητας IAM, σχεδιασμό διανομέα και ακτίνας δικτύου, κεντρικές υπηρεσίες καταγραφής και νέους λογαριασμούς μελών AWS με τυποποιημένες βασικές γραμμές ασφάλειας και διακυβέρνησης.

Επιπλέον, αυτή η ενότητα παρέχει οδηγίες βέλτιστης πρακτικής σχετικά με τις δομές OU και λογαριασμού που είναι κατάλληλες για την υποστήριξη των ροών εργασίας ML και αναλυτικών στοιχείων. Οι διαχειριστές του cloud θα κατανοήσουν τον σκοπό των απαιτούμενων λογαριασμών και των OU, τον τρόπο ανάπτυξής τους και τις βασικές υπηρεσίες ασφάλειας και συμμόρφωσης που θα πρέπει να χρησιμοποιούν για την κεντρική διαχείριση του φόρτου εργασίας ML και αναλυτικών στοιχείων.

Καλύπτεται επίσης ένα πλαίσιο για την πώληση νέων λογαριασμών, το οποίο χρησιμοποιεί αυτοματοποίηση για τη δημιουργία βάσης νέων λογαριασμών κατά την παροχή. Με τη δημιουργία μιας αυτοματοποιημένης διαδικασίας παροχής λογαριασμών, οι διαχειριστές cloud μπορούν να παρέχουν στις ομάδες ML και αναλυτικών στοιχείων τους λογαριασμούς που χρειάζονται για να εκτελούν την εργασία τους πιο γρήγορα, χωρίς να θυσιάζουν μια ισχυρή βάση για τη διακυβέρνηση.

Θεμέλια λιμνών δεδομένων

Αυτή η ενότητα βοηθά τους διαχειριστές της λίμνης δεδομένων να δημιουργήσουν μια λίμνη δεδομένων για την απορρόφηση δεδομένων, την επιμέλεια συνόλων δεδομένων και τη χρήση του Σχηματισμός Λίμνης AWS μοντέλο διακυβέρνησης για τη διαχείριση λεπτομερούς πρόσβασης δεδομένων μεταξύ λογαριασμών και χρηστών χρησιμοποιώντας έναν κεντρικό κατάλογο δεδομένων, πολιτικές πρόσβασης δεδομένων και στοιχεία ελέγχου πρόσβασης βάσει ετικετών. Μπορείτε να ξεκινήσετε μικρά με έναν λογαριασμό για τα θεμέλια της πλατφόρμας δεδομένων σας για μια απόδειξη της ιδέας ή μερικούς μικρούς φόρτους εργασίας. Για υλοποίηση φόρτου εργασίας παραγωγής μεσαίας έως μεγάλης κλίμακας, συνιστούμε να υιοθετήσετε μια στρατηγική πολλών λογαριασμών. Σε μια τέτοια ρύθμιση, τα LOB μπορούν να αναλάβουν το ρόλο των παραγωγών δεδομένων και των καταναλωτών δεδομένων που χρησιμοποιούν διαφορετικούς λογαριασμούς AWS και η διαχείριση της λίμνης δεδομένων γίνεται από έναν κεντρικό κοινόχρηστο λογαριασμό AWS. Ο παραγωγός δεδομένων συλλέγει, επεξεργάζεται και αποθηκεύει δεδομένα από τον τομέα των δεδομένων του, εκτός από την παρακολούθηση και τη διασφάλιση της ποιότητας των στοιχείων του. Οι καταναλωτές δεδομένων καταναλώνουν τα δεδομένα από τον παραγωγό δεδομένων αφού ο κεντρικός κατάλογος τα κοινοποιήσει χρησιμοποιώντας το Lake Formation. Ο κεντρικός κατάλογος αποθηκεύει και διαχειρίζεται τον κοινόχρηστο κατάλογο δεδομένων για τους λογαριασμούς παραγωγών δεδομένων.

Υπηρεσίες πλατφόρμας ML

Αυτή η ενότητα βοηθά την ομάδα μηχανικών της πλατφόρμας ML να δημιουργήσει κοινόχρηστες υπηρεσίες που χρησιμοποιούνται από τις ομάδες επιστήμης δεδομένων στους λογαριασμούς της ομάδας τους. Οι υπηρεσίες περιλαμβάνουν χαρτοφυλάκιο καταλόγου υπηρεσιών με προϊόντα για Τομέας SageMaker ανάπτυξη, Προφίλ χρήστη τομέα SageMaker ανάπτυξη, πρότυπα μοντέλων επιστήμης δεδομένων για τη δημιουργία και την ανάπτυξη μοντέλων. Αυτή η ενότητα διαθέτει λειτουργίες για ένα κεντρικό μητρώο μοντέλων, κάρτες μοντέλων, πίνακα εργαλείων μοντέλων και αγωγούς CI/CD που χρησιμοποιούνται για την ενορχήστρωση και την αυτοματοποίηση των ροών εργασιών ανάπτυξης και ανάπτυξης μοντέλων.

Επιπλέον, αυτή η ενότητα περιγράφει τον τρόπο εφαρμογής των ελέγχων και της διακυβέρνησης που απαιτούνται για την ενεργοποίηση των δυνατοτήτων αυτοεξυπηρέτησης που βασίζονται σε άτομα, επιτρέποντας στις ομάδες επιστήμης δεδομένων να αναπτύξουν ανεξάρτητα την απαιτούμενη υποδομή cloud και τα πρότυπα ML.

Ανάπτυξη περίπτωσης χρήσης ML

Αυτή η ενότητα βοηθά τους LOB και τους επιστήμονες δεδομένων να αποκτήσουν πρόσβαση στον τομέα SageMaker της ομάδας τους σε ένα περιβάλλον ανάπτυξης και να δημιουργήσουν ένα πρότυπο κατασκευής μοντέλων για να αναπτύξουν τα μοντέλα τους. Σε αυτήν την ενότητα, οι επιστήμονες δεδομένων εργάζονται σε μια παρουσία λογαριασμού dev του προτύπου για να αλληλεπιδράσουν με τα δεδομένα που είναι διαθέσιμα στην κεντρική λίμνη δεδομένων, να επαναχρησιμοποιήσουν και να μοιραστούν λειτουργίες από μια κεντρική αποθήκευση χαρακτηριστικών, να δημιουργήσουν και να εκτελέσουν πειράματα ML, να δημιουργήσουν και να δοκιμάσουν τις ροές εργασίας ML τους. και καταχωρούν τα μοντέλα τους σε ένα μητρώο μοντέλου λογαριασμού dev στα περιβάλλοντα ανάπτυξής τους.

Δυνατότητες όπως η παρακολούθηση πειράματος, οι αναφορές επεξηγηματικότητας μοντέλων, η παρακολούθηση μεροληψίας δεδομένων και μοντέλων και το μητρώο μοντέλων εφαρμόζονται επίσης στα πρότυπα, επιτρέποντας την ταχεία προσαρμογή των λύσεων στα αναπτυγμένα μοντέλα των επιστημόνων δεδομένων.

Λειτουργίες ML

Αυτή η ενότητα βοηθά τους LOB και τους μηχανικούς ML να εργάζονται στις παρουσίες προγραμματιστή τους του προτύπου ανάπτυξης μοντέλου. Αφού καταχωρηθεί και εγκριθεί το υποψήφιο μοντέλο, στήνουν αγωγούς CI/CD και εκτελούν ροές εργασίας ML στο δοκιμαστικό περιβάλλον της ομάδας, το οποίο καταχωρεί το μοντέλο στο κεντρικό μητρώο μοντέλου που εκτελείται σε έναν λογαριασμό κοινόχρηστων υπηρεσιών πλατφόρμας. Όταν ένα μοντέλο εγκρίνεται στο κεντρικό μητρώο μοντέλων, αυτό ενεργοποιεί μια διοχέτευση CI/CD για την ανάπτυξη του μοντέλου στο περιβάλλον παραγωγής της ομάδας.

Κεντρικό κατάστημα χαρακτηριστικών

Μετά την ανάπτυξη των πρώτων μοντέλων στην παραγωγή και οι περιπτώσεις πολλαπλών χρήσεων αρχίσουν να μοιράζονται χαρακτηριστικά που δημιουργούνται από τα ίδια δεδομένα, η αποθήκευση χαρακτηριστικών καθίσταται απαραίτητη για τη διασφάλιση της συνεργασίας σε όλες τις περιπτώσεις χρήσης και τη μείωση της διπλής εργασίας. Αυτή η ενότητα βοηθά την ομάδα μηχανικών της πλατφόρμας ML να δημιουργήσει ένα κεντρικό χώρο αποθήκευσης χαρακτηριστικών για να παρέχει αποθήκευση και διακυβέρνηση για τις λειτουργίες ML που δημιουργούνται από τις περιπτώσεις χρήσης ML, επιτρέποντας την επαναχρησιμοποίηση χαρακτηριστικών σε όλα τα έργα.

Καταγραφή και παρατηρησιμότητα

Αυτή η ενότητα βοηθά τα LOB και τους επαγγελματίες ML να αποκτήσουν ορατότητα στην κατάσταση του φόρτου εργασίας ML σε περιβάλλοντα ML μέσω της συγκέντρωσης της δραστηριότητας καταγραφής όπως το CloudTrail, το CloudWatch, τα αρχεία καταγραφής ροής VPC και τα αρχεία καταγραφής φόρτου εργασίας ML. Οι ομάδες μπορούν να φιλτράρουν, να υποβάλουν ερωτήματα και να οπτικοποιήσουν αρχεία καταγραφής για ανάλυση, κάτι που μπορεί επίσης να βοηθήσει στη βελτίωση της στάσης ασφαλείας.

Κόστος και αναφορά

Αυτή η ενότητα βοηθά διάφορους ενδιαφερόμενους φορείς (διαχειριστής στο cloud, διαχειριστής πλατφόρμας, γραφείο επιχειρήσεων στο cloud) να δημιουργούν αναφορές και πίνακες εργαλείων για να αναλύουν το κόστος σε επίπεδα προϊόντων ML χρήστη, ομάδας ML και ML και να παρακολουθούν τη χρήση, όπως αριθμός χρηστών, τύποι παρουσιών και καταληκτικά σημεία.

Οι πελάτες μας ζήτησαν να παρέχουμε καθοδήγηση σχετικά με τον αριθμό των λογαριασμών που θα δημιουργήσουν και τον τρόπο δομής αυτών των λογαριασμών. Στην επόμενη ενότητα, παρέχουμε οδηγίες σχετικά με τη δομή του λογαριασμού ως αναφορά που μπορείτε να τροποποιήσετε ώστε να ταιριάζει στις ανάγκες σας σύμφωνα με τις απαιτήσεις εταιρικής διακυβέρνησης.

Σε αυτήν την ενότητα, συζητάμε τη σύστασή μας για την οργάνωση της δομής του λογαριασμού σας. Μοιραζόμαστε μια βασική δομή λογαριασμού αναφοράς. Ωστόσο, συνιστούμε τους διαχειριστές ML και δεδομένων να συνεργάζονται στενά με τον διαχειριστή τους στο cloud για να προσαρμόσουν αυτήν τη δομή λογαριασμού με βάση τα στοιχεία ελέγχου του οργανισμού τους.

Συνιστούμε την οργάνωση λογαριασμών από το OU για ασφάλεια, υποδομή, φόρτο εργασίας και αναπτύξεις. Επιπλέον, σε κάθε OU, οργανώνονται ανά μη παραγωγική και παραγωγική OU, επειδή οι λογαριασμοί και οι φόρτοι εργασίας που αναπτύσσονται σε αυτές έχουν διαφορετικούς ελέγχους. Στη συνέχεια, συζητάμε εν συντομία αυτά τα OU.

Ασφάλεια OU

Η διαχείριση των λογαριασμών σε αυτό το OU γίνεται από τον διαχειριστή cloud του οργανισμού ή την ομάδα ασφαλείας για την παρακολούθηση, τον εντοπισμό, την προστασία, τον εντοπισμό και την απόκριση σε συμβάντα ασφαλείας.

Υποδομή ΟΥ

Η διαχείριση των λογαριασμών σε αυτό το OU γίνεται από τον διαχειριστή cloud του οργανισμού ή την ομάδα δικτύου για τη διαχείριση κοινών πόρων και δικτύων υποδομής σε επίπεδο επιχείρησης.

Συνιστούμε να έχετε τους ακόλουθους λογαριασμούς κάτω από την υποδομή OU:

• Δίκτυο – Ρυθμίστε μια κεντρική υποδομή δικτύωσης όπως π.χ AWS Transit Gateway
• Κοινόχρηστες υπηρεσίες – Ρυθμίστε κεντρικές υπηρεσίες AD και τερματικά σημεία VPC

Φόρτοι εργασίας OU

Η διαχείριση των λογαριασμών σε αυτό το OU γίνεται από τους διαχειριστές της ομάδας πλατφόρμας του οργανισμού. Εάν χρειάζεστε διαφορετικούς ελέγχους που εφαρμόζονται για κάθε ομάδα πλατφόρμας, μπορείτε να τοποθετήσετε άλλα επίπεδα OU για αυτόν τον σκοπό, όπως ένα OU φόρτου εργασίας ML, OU φόρτου εργασίας δεδομένων και ούτω καθεξής.

Συνιστούμε τους ακόλουθους λογαριασμούς στο πλαίσιο του φόρτου εργασίας OU:

• Λογαριασμοί προγραμματισμού, δοκιμής και παραγωγής ML σε επίπεδο ομάδας – Ρυθμίστε το με βάση τις απαιτήσεις απομόνωσης του φόρτου εργασίας σας
• Λογαριασμοί λιμνών δεδομένων – Διαχωρισμός λογαριασμών κατά τομέα δεδομένων σας
• Κεντρικός λογαριασμός διακυβέρνησης δεδομένων – Συγκεντρώστε τις πολιτικές πρόσβασης στα δεδομένα σας
• Κεντρικός λογαριασμός καταστήματος χαρακτηριστικών – Συγκεντρώστε χαρακτηριστικά για κοινή χρήση μεταξύ ομάδων

Αναπτύξεις OU

Η διαχείριση των λογαριασμών σε αυτό το OU γίνεται από τους διαχειριστές της ομάδας πλατφόρμας του οργανισμού για την ανάπτυξη φόρτου εργασίας και παρατηρησιμότητας.

Συνιστούμε τους ακόλουθους λογαριασμούς στο πλαίσιο της ανάπτυξης OU, επειδή η ομάδα της πλατφόρμας ML μπορεί να ρυθμίσει διαφορετικά σύνολα ελέγχων σε αυτό το επίπεδο OU για τη διαχείριση και τη διαχείριση των αναπτύξεων:

• Λογαριασμοί κοινόχρηστων υπηρεσιών ML για δοκιμή και παραγωγή – Φιλοξενεί κοινόχρηστες υπηρεσίες πλατφόρμας CI/CD και μητρώο μοντέλων
• Λογαριασμοί παρατηρησιμότητας ML για τη δοκιμή και την παραγωγή – Φιλοξενεί αρχεία καταγραφής CloudWatch, αρχεία καταγραφής CloudTrail και άλλα αρχεία καταγραφής όπως απαιτείται

Στη συνέχεια, συζητάμε εν συντομία τους ελέγχους του οργανισμού που πρέπει να ληφθούν υπόψη για ενσωμάτωση σε λογαριασμούς μελών για την παρακολούθηση των πόρων υποδομής.

Έλεγχοι περιβάλλοντος AWS

Ο έλεγχος είναι ένας κανόνας υψηλού επιπέδου που παρέχει συνεχή διακυβέρνηση για το συνολικό σας περιβάλλον AWS. Εκφράζεται σε απλή γλώσσα. Σε αυτό το πλαίσιο, χρησιμοποιούμε το AWS Control Tower για να εφαρμόσουμε τα ακόλουθα στοιχεία ελέγχου που σας βοηθούν να ελέγχετε τους πόρους σας και να παρακολουθείτε τη συμμόρφωση μεταξύ ομάδων λογαριασμών AWS:

• Προληπτικοί έλεγχοι – Ένας προληπτικός έλεγχος διασφαλίζει ότι οι λογαριασμοί σας διατηρούν τη συμμόρφωση, επειδή δεν επιτρέπουν ενέργειες που οδηγούν σε παραβιάσεις πολιτικής και εφαρμόζονται με χρήση Πολιτικής Ελέγχου Υπηρεσιών (SCP). Για παράδειγμα, μπορείτε να ορίσετε έναν προληπτικό έλεγχο που διασφαλίζει ότι το CloudTrail δεν διαγράφεται ή διακόπτεται σε λογαριασμούς ή Περιοχές AWS.
• Έλεγχοι ντετέκτιβ – Ένας έλεγχος ανίχνευσης εντοπίζει τη μη συμμόρφωση των πόρων εντός των λογαριασμών σας, όπως παραβάσεις πολιτικής, παρέχει ειδοποιήσεις μέσω του πίνακα ελέγχου και υλοποιείται με τη χρήση Διαμόρφωση AWS κανόνες. Για παράδειγμα, μπορείτε να δημιουργήσετε ένα στοιχείο ελέγχου ανίχνευσης για να ανιχνεύσει εάν είναι ενεργοποιημένη η δημόσια πρόσβαση ανάγνωσης στο Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) κουβάδες στον κοινόχρηστο λογαριασμό του αρχείου καταγραφής.
• Προληπτικοί έλεγχοι – Ένας προληπτικός έλεγχος σαρώνει τους πόρους σας προτού παρασχεθούν και βεβαιώνεται ότι οι πόροι συμμορφώνονται με αυτόν τον έλεγχο και εφαρμόζονται χρησιμοποιώντας AWS CloudFormation αγκίστρια. Πόροι που δεν συμμορφώνονται δεν θα παρέχονται. Για παράδειγμα, μπορείτε να ορίσετε έναν προληπτικό έλεγχο που ελέγχει ότι δεν επιτρέπεται η άμεση πρόσβαση στο Διαδίκτυο για μια παρουσία φορητού υπολογιστή SageMaker.

Αλληλεπιδράσεις μεταξύ υπηρεσιών πλατφόρμας ML, περιπτώσεων χρήσης ML και λειτουργιών ML

Διαφορετικά πρόσωπα, όπως ο επικεφαλής της επιστήμης δεδομένων (επικεφαλής επιστήμονας δεδομένων), ο επιστήμονας δεδομένων και ο μηχανικός ML, λειτουργούν τις ενότητες 2–6 όπως φαίνεται στο παρακάτω διάγραμμα για διαφορετικά στάδια υπηρεσιών πλατφόρμας ML, ανάπτυξη περιπτώσεων χρήσης ML και λειτουργίες ML μαζί με τα θεμέλια λιμνών δεδομένων και το κεντρικό κατάστημα χαρακτηριστικών.

Ο παρακάτω πίνακας συνοψίζει τη δραστηριότητα ροής λειτουργιών και τα βήματα ροής ρύθμισης για διαφορετικά πρόσωπα. Μόλις ένα πρόσωπο ξεκινήσει μια δραστηριότητα ML ως μέρος της ροής λειτουργιών, οι υπηρεσίες εκτελούνται όπως αναφέρεται στα βήματα ροής εγκατάστασης.

Πρόσωπα και αλληλεπιδράσεις με διαφορετικές ενότητες της πλατφόρμας ML

Κάθε ενότητα απευθύνεται σε συγκεκριμένα πρόσωπα-στόχους εντός συγκεκριμένων τμημάτων που χρησιμοποιούν το module πιο συχνά, παρέχοντάς τους κύρια πρόσβαση. Στη συνέχεια, επιτρέπεται η δευτερεύουσα πρόσβαση σε άλλα τμήματα που απαιτούν περιστασιακή χρήση των μονάδων. Οι ενότητες είναι προσαρμοσμένες στις ανάγκες συγκεκριμένων ρόλων εργασίας ή προσώπων για βελτιστοποίηση της λειτουργικότητας.

Συζητάμε για τις παρακάτω ομάδες:

• Κεντρική μηχανική cloud – Αυτή η ομάδα λειτουργεί σε επίπεδο εταιρικού νέφους σε όλους τους φόρτους εργασίας για τη ρύθμιση κοινών υπηρεσιών υποδομής cloud, όπως η δημιουργία δικτύωσης σε επίπεδο επιχείρησης, ταυτότητας, αδειών και διαχείρισης λογαριασμού
• Μηχανική πλατφόρμας δεδομένων – Αυτή η ομάδα διαχειρίζεται τις λίμνες δεδομένων επιχειρήσεων, τη συλλογή δεδομένων, την επιμέλεια δεδομένων και τη διακυβέρνηση δεδομένων
• Μηχανική πλατφόρμας ML – Αυτή η ομάδα λειτουργεί σε επίπεδο πλατφόρμας ML σε όλα τα LOB για να παρέχει κοινόχρηστες υπηρεσίες υποδομής ML, όπως παροχή υποδομής ML, παρακολούθηση πειραμάτων, διακυβέρνηση μοντέλου, ανάπτυξη και παρατηρησιμότητα

Ο παρακάτω πίνακας αναφέρει ποια τμήματα έχουν κύρια και δευτερεύουσα πρόσβαση για κάθε ενότητα σύμφωνα με τα πρόσωπα-στόχους της ενότητας.

Συμπέρασμα

Σε αυτήν την ανάρτηση, παρουσιάσαμε ένα πλαίσιο για τη διαχείριση του κύκλου ζωής του ML σε κλίμακα που σας βοηθά να εφαρμόσετε καλά αρχιτεκτονισμένους φόρτους εργασίας ML ενσωματώνοντας ελέγχους ασφάλειας και διακυβέρνησης. Συζητήσαμε πώς αυτό το πλαίσιο υιοθετεί μια ολιστική προσέγγιση για τη δημιουργία μιας πλατφόρμας ML λαμβάνοντας υπόψη τη διακυβέρνηση δεδομένων, τη διακυβέρνηση μοντέλων και τους ελέγχους σε επίπεδο επιχείρησης. Σας ενθαρρύνουμε να πειραματιστείτε με το πλαίσιο και τις έννοιες που εισάγονται σε αυτήν την ανάρτηση και να μοιραστείτε τα σχόλιά σας.

Σχετικά με τους συγγραφείς

Ραμ Βιτάλ είναι κύριος αρχιτέκτονας λύσεων ML στην AWS. Έχει πάνω από 3 δεκαετίες εμπειρίας στην αρχιτεκτονική και την κατασκευή κατανεμημένων, υβριδικών και cloud εφαρμογών. Είναι παθιασμένος με τη δημιουργία ασφαλών, επεκτάσιμων, αξιόπιστων λύσεων AI/ML και μεγάλων δεδομένων για να βοηθήσει τους εταιρικούς πελάτες με το ταξίδι υιοθέτησης και βελτιστοποίησης του cloud για να βελτιώσουν τα επιχειρηματικά τους αποτελέσματα. Στον ελεύθερο χρόνο του, κάνει μοτοσικλέτα και περπατάει με το τρίχρονο sheep-a-doodle του!

Sovik Kumar Nath είναι ένας αρχιτέκτονας λύσεων AI/ML με AWS. Έχει εκτενή εμπειρία στο σχεδιασμό ολοκληρωμένων λύσεων μηχανικής μάθησης και ανάλυσης επιχειρήσεων στα οικονομικά, τις λειτουργίες, το μάρκετινγκ, την υγειονομική περίθαλψη, τη διαχείριση της εφοδιαστικής αλυσίδας και το IoT. Ο Sovik έχει δημοσιεύσει άρθρα και κατέχει δίπλωμα ευρεσιτεχνίας στην παρακολούθηση μοντέλων ML. Έχει διπλά μεταπτυχιακά από το Πανεπιστήμιο της Νότιας Φλόριντα, το Πανεπιστήμιο του Fribourg, στην Ελβετία, και πτυχίο από το Ινδικό Ινστιτούτο Τεχνολογίας, Kharagpur. Εκτός δουλειάς, ο Sovik του αρέσει να ταξιδεύει, να κάνει βόλτες με φέρι και να βλέπει ταινίες.

Maira Ladeira Tanke είναι Senior Data Specialist στο AWS. Ως τεχνική επικεφαλής, βοηθά τους πελάτες να επιταχύνουν την επίτευξη επιχειρηματικής αξίας μέσω αναδυόμενης τεχνολογίας και καινοτόμων λύσεων. Η Maira εργάζεται στην AWS από τον Ιανουάριο του 2020. Πριν από αυτό, εργαζόταν ως επιστήμονας δεδομένων σε πολλούς κλάδους, εστιάζοντας στην επίτευξη επιχειρηματικής αξίας από δεδομένα. Στον ελεύθερο χρόνο της, η Maira απολαμβάνει να ταξιδεύει και να περνά χρόνο με την οικογένειά της κάπου ζεστά.

Ράιαν Λέμπκα είναι Senior Solutions Architect στο Amazon Web Services, όπου βοηθά τους πελάτες του να εργαστούν αντίστροφα από τους επιχειρηματικούς στόχους για να αναπτύξουν λύσεις στο AWS. Έχει βαθιά εμπειρία στην επιχειρηματική στρατηγική, τη διαχείριση συστημάτων πληροφορικής και την επιστήμη δεδομένων. Ο Ryan είναι αφοσιωμένος στο να μαθαίνει δια βίου και του αρέσει να προκαλεί τον εαυτό του κάθε μέρα για να μάθει κάτι νέο.

Sriharsh Adari είναι Senior Solutions Architect στο Amazon Web Services (AWS), όπου βοηθά τους πελάτες να εργαστούν αντίστροφα από τα επιχειρηματικά αποτελέσματα για να αναπτύξουν καινοτόμες λύσεις στο AWS. Με τα χρόνια, έχει βοηθήσει πολλούς πελάτες σε μετασχηματισμούς πλατφόρμας δεδομένων σε κάθε κλάδο. Ο βασικός τομέας εξειδίκευσής του περιλαμβάνει Τεχνολογική Στρατηγική, Ανάλυση Δεδομένων και Επιστήμη Δεδομένων. Στον ελεύθερο χρόνο του, του αρέσει να παίζει αθλήματα, να παρακολουθεί τηλεοπτικές εκπομπές και να παίζει Tabla.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/governing-the-ml-lifecycle-at-scale-part-1-a-framework-for-architecting-ml-workloads-using-amazon-sagemaker/