Λογότυπο Zephyrnet

Προσομοίωση σφαλμάτων για AI Safety. Καινοτομία στην επαλήθευση – Semiwiki

Ημερομηνία:

Περισσότερο περιεχόμενο αυτοκινήτου 😀

Στα σύγχρονα αυτοκίνητα, η ασφάλεια διέπεται τόσο από λειτουργίες που βασίζονται σε AI όσο και από την παραδοσιακή λογική και λογισμικό. Πώς μπορούν αυτές οι συναρτήσεις να βαθμολογηθούν με σφάλματα για ανάλυση FMEDA; Ο Paul Cunningham (GM, Verification at Cadence), ο Raúl Camposano (Silicon Catalyst, επιχειρηματίας, πρώην CTO της Synopsys και νυν CTO Silvaco) και εγώ συνεχίζουμε τη σειρά μας για ερευνητικές ιδέες. Όπως πάντα, τα σχόλια είναι ευπρόσδεκτα.

Προσομοίωση σφαλμάτων για βαθμολόγηση ασφάλειας AI

Η Καινοτομία

Η επιλογή αυτού του μήνα είναι SiFI-AI: Ένα γρήγορο και ευέλικτο πλαίσιο προσομοίωσης σφαλμάτων RTL προσαρμοσμένο για μοντέλα και επιταχυντές AI. Αυτό το άρθρο δημοσιεύτηκε στο Συμπόσιο των Μεγάλων Λιμνών του 2023 στο VLSI. Οι συγγραφείς είναι από το Ινστιτούτο Τεχνολογίας της Καρλσρούης, Γερμανία.

Το ISO 26262 απαιτεί ανάλυση ασφαλείας με βάση τις μεθόδους FMEDA που χρησιμοποιούν προσομοίωση σφαλμάτων για την αξιολόγηση της ευαισθησίας κρίσιμων λειτουργιών σε παροδικά και συστηματικά σφάλματα και την αποτελεσματικότητα της λογικής μετριασμού για την προστασία από σφάλματα. Η ανάλυση ξεκινά με την κατανόηση του ειδικού σχεδιασμού για το ποιες συμπεριφορές υψηλού επιπέδου πρέπει να είναι εγγυημένες μαζί με ποιες ρεαλιστικές αστοχίες θα μπορούσαν να διαδώσουν σφάλματα σε αυτές τις συμπεριφορές.

Αυτή η τεχνογνωσία είναι ήδη κατανοητή για τη συμβατική λογική και το λογισμικό, αλλά όχι ακόμη για τα μοντέλα τεχνητής νοημοσύνης (νευρικά δίκτυα) και τους επιταχυντές στους οποίους λειτουργούν. Οι μηχανικοί ασφαλείας χρειάζονται βοήθεια για τη διερεύνηση των τρόπων αστοχίας και των επιπτώσεων σε στοιχεία τεχνητής νοημοσύνης για να γνωρίζουν πού και πώς να βλάψουν τα μοντέλα και το υλικό. Επιπλέον, αυτή η ανάλυση πρέπει να εκτελείται με πρακτικές ταχύτητες στα μεγάλα μοντέλα που είναι κοινά για DNN. Οι συγγραφείς προτείνουν μια νέα τεχνική που λένε ότι τρέχει πολύ πιο γρήγορα από τις τρέχουσες μεθόδους.

Η άποψη του Παύλου

Ένα έγγραφο που προκαλεί τη σκέψη και το ενδιαφέρον: πώς αξιολογείτε τον κίνδυνο τυχαίων σφαλμάτων υλικού σε έναν επιταχυντή τεχνητής νοημοσύνης που χρησιμοποιείται για υποβοήθηση οδηγού ή αυτόνομη κίνηση; Το συμπέρασμα τεχνητής νοημοσύνης είναι από μόνο του μια στατιστική μέθοδος, επομένως ο προσδιορισμός της σχέσης μεταξύ μιας τυχαίας αναστροφής bit κάπου στον επιταχυντή και ενός εσφαλμένου συμπεράσματος δεν είναι ασήμαντο.

Αυτό το έγγραφο προτείνει την κατασκευή ενός συστήματος που μπορεί να «ανταλλάξει» μια πραγματική προσομοίωση RTL ενός μόνο στρώματος ενός νευρωνικού δικτύου, ένα κατά τα άλλα καθαρό συμπέρασμα που βασίζεται σε λογισμικό αυτού του δικτύου στο PyTorch. Ένα σφάλμα μπορεί να εγχυθεί στο στρώμα που προσομοιώνεται RTL για να εκτιμηθεί ο αντίκτυπος αυτού του σφάλματος στη συνολική λειτουργία συμπερασμάτων.

Οι συγγραφείς επιδεικνύουν τη μέθοδό τους στον επιταχυντή AI ανοιχτού κώδικα Gemmini που εκτελεί δίκτυα ταξινόμησης εικόνων ResNet-18 και GoogLeNet. Παρατηρούν ότι κάθε στοιχείο της συστοιχίας επιταχυντή Gemmini έχει 3 καταχωρητές (ενεργοποίηση εισόδου, βάρος και μερικό άθροισμα) και ένα σήμα επιλογής βάρους, μαζί 4 πιθανούς τύπους σφαλμάτων προς ένεση. Εκτελούν πειράματα συμπερασμάτων 1.5 εκατομμυρίων, το καθένα με ένα τυχαίο σφάλμα που εισάγεται, ελέγχοντας εάν η ταξινόμηση top-1 εκτός δικτύου είναι εσφαλμένη. Ο χρόνος εκτέλεσης τους είναι εντυπωσιακά 7 φορές ταχύτερος από την προηγούμενη εργασία και τα γραφήματα τους επικυρώνουν τη διαισθητική προσδοκία ότι τα σφάλματα σε προηγούμενα επίπεδα του δικτύου είναι πιο επιδραστικά από αυτά σε βαθύτερα επίπεδα.

Επίσης, είναι σαφές από τα δεδομένα τους ότι κάποια μορφή μηχανισμού ασφαλείας υλικού (π.χ. τριπλή ψηφοφορία) είναι δικαιολογημένη, καθώς η απόλυτη πιθανότητα σφάλματος ταξινόμησης top-1 είναι 2-8% για σφάλματα στα πρώτα 10 επίπεδα του δικτύου. Αυτό είναι πολύ υψηλό για μια ασφαλή εμπειρία οδήγησης!

Η άποψη του Ραούλ

Η κύρια συμβολή του SiFI-AI είναι η προσομοίωση παροδικών σφαλμάτων σε επιταχυντές DNN συνδυάζοντας γρήγορη εξαγωγή συμπερασμάτων AI με προσομοίωση RTL με ακρίβεια κύκλου και έγχυση σφαλμάτων βάσει συνθηκών. Αυτό είναι 7 φορές ταχύτερο από την τελευταία λέξη της τεχνολογίας (αναφορά 2, Condia et al, Συνδυασμός αρχιτεκτονικής προσομοίωσης και έγχυσης σφαλμάτων λογισμικού για γρήγορη και ακριβή αξιολόγηση αξιοπιστίας CNN σε GPU). Το κόλπο είναι να προσομοιώσετε μόνο ό,τι είναι απαραίτητο σε RTL με ακρίβεια αργού κύκλου. Τα σφάλματα που μοντελοποιήθηκαν είναι ανατροπή ενός γεγονότος (SEU), δηλαδή, παροδικές ανατροπές bit που προκαλούνται από εξωτερικές επιδράσεις όπως η ακτινοβολία και τα φορτισμένα σωματίδια, τα οποία παραμένουν μέχρι την επόμενη λειτουργία εγγραφής. Το να μάθετε εάν ένα μόνο σφάλμα θα προκαλέσει σφάλμα είναι ιδιαίτερα δύσκολο σε αυτήν την περίπτωση. Ο υψηλός βαθμός επαναχρησιμοποίησης δεδομένων θα μπορούσε να οδηγήσει σε σημαντική διάδοση σφαλμάτων και η προσομοίωση σφαλμάτων πρέπει να λαμβάνει υπόψη τόσο την αρχιτεκτονική του υλικού όσο και την τοπολογία του μοντέλου DNN.

Το SiFI-AI ενσωματώνει την προσομοίωση υλικού στο πλαίσιο ML (PyTorch). Για την προσομοίωση HW χρησιμοποιεί το Verilator, έναν δωρεάν και ανοιχτού κώδικα προσομοιωτή Verilog, για τη δημιουργία μοντέλων RTL με ακρίβεια κύκλου. Ένας ελεγκτής σφαλμάτων διαχειρίζεται την έγχυση σφάλματος σύμφωνα με τις οδηγίες του χρήστη, χρησιμοποιώντας μια προσέγγιση που βασίζεται σε συνθήκες, δηλαδή μια λίστα συνθηκών που αποφεύγουν την απόκρυψη ενός σφάλματος. Για να επιλέξετε ποιο τμήμα προσομοιώνεται στο RTL, αποσυνθέτει τα στρώματα σε μικρότερα πλακίδια με βάση το "τις ιδιότητες του στρώματος, τη στρατηγική τοποθέτησης πλακιδίων βρόχου, τη διάταξη του επιταχυντή και το αντίστοιχο σφάλμα” και επιλέγει ένα πλακίδιο.

Η συσκευή που δοκιμάστηκε στο πειραματικό μέρος είναι το Gemmini, ένας επιταχυντής DNN συστολικής συστοιχίας που δημιουργήθηκε στο UC Berkeley στο έργο Chipyard, σε διαμόρφωση στοιχείων επεξεργασίας 16×16 (PE). Το SiFI-AI εκτελεί μια μελέτη ανθεκτικότητας με πειράματα έγχυσης σφαλμάτων 1.5 M σε δύο τυπικούς φόρτους εργασίας DNN, το ResNet-18 και το GoogLeNet. Τα σφάλματα εγχέονται σε τρεις καταχωρητές δεδομένων PE και ένα σήμα ελέγχου, όπως καθορίζεται από τον χρήστη. Τα αποτελέσματα δείχνουν μια χαμηλή πιθανότητα σφάλματος, επιβεβαιώνοντας την ανθεκτικότητα των DNN. Δείχνουν επίσης ότι τα σφάλματα σήματος ελέγχου έχουν πολύ μεγαλύτερη επίδραση από τα σφάλματα σήματος δεδομένων και ότι τα φαρδιά και ρηχά στρώματα είναι πιο ευαίσθητα από τα στενά και βαθιά στρώματα.

Αυτό είναι ένα καλό έγγραφο που προάγει τον τομέα της αξιολόγησης αξιοπιστίας DNN. Το έγγραφο είναι καλογραμμένο και σαφές και παρέχει επαρκείς λεπτομέρειες και αναφορές για την υποστήριξη των ισχυρισμών και των αποτελεσμάτων. Παρόλο που η βασική ιδέα του συνδυασμού προσομοίωσης σε διαφορετικά επίπεδα είναι παλιά, οι συγγραφείς τη χρησιμοποιούν πολύ αποτελεσματικά. Πλαίσια όπως το SciFI-AI μπορούν να βοηθήσουν τους σχεδιαστές και τους ερευνητές να βελτιστοποιήσουν τις αρχιτεκτονικές τους και να τις κάνουν πιο ανθεκτικές. Μου αρέσει επίσης η ανάλυση της επίδρασης του σφάλματος σε διαφορετικά επίπεδα και σήματα, η οποία αποκαλύπτει μερικές ενδιαφέρουσες ιδέες. Το χαρτί θα μπορούσε να βελτιωθεί παρέχοντας περισσότερες πληροφορίες σχετικά με τη στρατηγική έγχυσης σφαλμάτων και την επιλογή των πλακιδίων. Παρά το γεγονός ότι το θέμα είναι αρκετά συγκεκριμένο, συνολικά, μια πολύ ευχάριστη εργασία!

Μοιραστείτε αυτήν την ανάρτηση μέσω:

spot_img

Τελευταία Νοημοσύνη

spot_img