Η Microsoft ανακοίνωσε αρκετές νέες δυνατότητες στο Azure AI Studio που η εταιρεία λέει ότι θα βοηθήσουν τους προγραμματιστές να δημιουργήσουν εφαρμογές τεχνητής νοημοσύνης που είναι πιο αξιόπιστες και ανθεκτικές έναντι κακόβουλης χειραγώγησης μοντέλων και άλλων αναδυόμενων απειλών.

Σε μια ανάρτηση ιστολογίου στις 29 Μαρτίου, η επικεφαλής προϊόντων υπεύθυνης τεχνητής νοημοσύνης της Microsoft, Sarah Bird, επεσήμανε τις αυξανόμενες ανησυχίες σχετικά με τους παράγοντες απειλών που χρησιμοποιούν γρήγορες επιθέσεις ένεσης ώστε τα συστήματα τεχνητής νοημοσύνης να συμπεριφέρονται με επικίνδυνους και απροσδόκητους τρόπους ως πρωταρχικός κινητήριος παράγοντας για τα νέα εργαλεία.

«Οι οργανώσεις είναι επίσης ανησυχεί για την ποιότητα και την αξιοπιστία», είπε ο Bird. «Θέλουν να διασφαλίσουν ότι τα συστήματα τεχνητής νοημοσύνης τους δεν δημιουργούν σφάλματα ή προσθέτουν πληροφορίες που δεν τεκμηριώνονται στις πηγές δεδομένων της εφαρμογής, γεγονός που μπορεί να διαβρώσει την εμπιστοσύνη των χρηστών».

Azure AI Studio είναι μια φιλοξενούμενη πλατφόρμα που μπορούν να χρησιμοποιήσουν οι οργανισμοί για να δημιουργήσουν προσαρμοσμένους βοηθούς τεχνητής νοημοσύνης, copilots, bots, εργαλεία αναζήτησης και άλλες εφαρμογές, βασισμένες στα δικά τους δεδομένα. Ανακοινώθηκε τον Νοέμβριο του 2023, η πλατφόρμα φιλοξενεί μοντέλα μηχανικής εκμάθησης της Microsoft, καθώς και μοντέλα από πολλές άλλες πηγές, συμπεριλαμβανομένου του OpenAI. Meta, Hugging Face και Nvidia. Επιτρέπει στους προγραμματιστές να ενσωματώσουν γρήγορα δυνατότητες πολλαπλών μέσων και υπεύθυνα χαρακτηριστικά τεχνητής νοημοσύνης στα μοντέλα τους.

Άλλοι σημαντικοί παίκτες, όπως η Amazon και η Google, έσπευσαν στην αγορά με παρόμοιες προσφορές τον περασμένο χρόνο για να αξιοποιήσουν το αυξανόμενο ενδιαφέρον για τεχνολογίες τεχνητής νοημοσύνης παγκοσμίως. Μια πρόσφατη μελέτη που ανατέθηκε από την IBM διαπίστωσε ότι Το 42% των οργανισμών με περισσότερους από 1,000 υπαλλήλους χρησιμοποιούν ήδη ενεργά την τεχνητή νοημοσύνη κατά κάποιο τρόπο, με πολλούς από αυτούς να σχεδιάζουν να αυξήσουν και να επιταχύνουν τις επενδύσεις στην τεχνολογία τα επόμενα χρόνια. Και όχι όλες έλεγαν IT εκ των προτέρων σχετικά με τη χρήση AI τους.

Προστασία από την άμεση μηχανική

Οι πέντε νέες δυνατότητες που έχει προσθέσει ή πρόκειται να προσθέσει σύντομα η Microsoft στο Azure AI Studio είναι: Prompt Shields. ανίχνευση γείωσης? Μηνύματα συστήματος ασφαλείας· αξιολογήσεις ασφάλειας· και παρακολούθηση κινδύνων και ασφάλειας. Τα χαρακτηριστικά έχουν σχεδιαστεί για να αντιμετωπίζουν ορισμένες σημαντικές προκλήσεις που ανακάλυψαν πρόσφατα οι ερευνητές - και συνεχίζουν να αποκαλύπτουν σε βάση ρουτίνας - όσον αφορά τη χρήση μεγάλων γλωσσικών μοντέλων και εργαλείων τεχνητής νοημοσύνης.

Prompt Shields Για παράδειγμα, είναι ο μετριασμός της Microsoft για τις γνωστές ως έμμεσες επείγουσες επιθέσεις και jailbreak. Η δυνατότητα βασίζεται σε υπάρχοντες μετριασμούς στο Azure AI Studio κατά του κινδύνου jailbreak. Σε άμεσες μηχανικές επιθέσεις, οι αντίπαλοι χρησιμοποιούν προτροπές που φαίνονται αβλαβείς και όχι φανερά επιβλαβείς για να προσπαθήσουν να κατευθύνουν ένα μοντέλο τεχνητής νοημοσύνης στη δημιουργία επιβλαβών και ανεπιθύμητων απαντήσεων. Η άμεση μηχανική είναι από τις πιο επικίνδυνες σε μια αυξανόμενη κατηγορία επιθέσεων που προσπαθούν και jailbreak μοντέλα AI ή να τους κάνετε να συμπεριφέρονται με τρόπο που δεν συνάδει με τυχόν φίλτρα και περιορισμούς που ενδέχεται να έχουν ενσωματώσει οι προγραμματιστές.  

Οι ερευνητές έδειξαν πρόσφατα πώς οι αντίπαλοι μπορούν να εμπλακούν σε έγκαιρες επιθέσεις μηχανικής για να αποκτήσουν τα μοντέλα τεχνητής νοημοσύνης διαχέουν τα εκπαιδευτικά τους δεδομένα, για να εκτοξεύσει προσωπικές πληροφορίες, παράγουν παραπληροφόρηση και δυνητικά επιβλαβές περιεχόμενο, όπως οδηγίες για το πώς να συνδέσετε ένα αυτοκίνητο.

Με το Prompt Shields οι προγραμματιστές μπορούν να ενσωματώσουν δυνατότητες στα μοντέλα τους που βοηθούν στη διάκριση μεταξύ έγκυρων και δυνητικά αναξιόπιστων εισόδων συστήματος. ορίστε οριοθέτες για να επισημάνετε την αρχή και το τέλος του κειμένου εισαγωγής και χρησιμοποιώντας τη σήμανση δεδομένων για τη σήμανση των κειμένων εισαγωγής. Το Prompt Shields είναι προς το παρόν διαθέσιμο σε λειτουργία προεπισκόπησης στο Azure AI Content Safety και θα γίνει γενικά διαθέσιμο σύντομα, σύμφωνα με τη Microsoft.

Μετριασμούς για παραισθήσεις μοντέλου και επιβλαβές περιεχόμενο

Εν τω μεταξύ, με την ανίχνευση γείωσης, η Microsoft πρόσθεσε μια δυνατότητα στο Azure AI Studio που λέει ότι μπορεί να βοηθήσει τους προγραμματιστές να μειώσουν τον κίνδυνο «παραισθήσεων» των μοντέλων τεχνητής νοημοσύνης τους. Η ψευδαίσθηση μοντέλων είναι μια τάση των μοντέλων τεχνητής νοημοσύνης να παράγουν αποτελέσματα που φαίνονται εύλογα, αλλά είναι πλήρως κατασκευασμένα και δεν βασίζονται —ή στηρίζονται— στα δεδομένα εκπαίδευσης. Οι ψευδαισθήσεις LLM μπορεί να είναι εξαιρετικά προβληματικές εάν ένας οργανισμός θεωρήσει το αποτέλεσμα ως πραγματικό και ενεργήσει σύμφωνα με αυτό με κάποιο τρόπο. Σε ένα περιβάλλον ανάπτυξης λογισμικού, για παράδειγμα, οι παραισθήσεις LLM θα μπορούσαν να έχουν ως αποτέλεσμα οι προγραμματιστές να εισάγουν δυνητικά ευάλωτο κώδικα στις εφαρμογές τους.

Το νέο του Azure AI Studio ανίχνευση γείωσης η ικανότητα αφορά βασικά τη βοήθεια στον εντοπισμό —πιο αξιόπιστα και σε μεγαλύτερη κλίμακα— δυνητικά μη γειωμένων παραγωγικών εξόδων AI. Ο στόχος είναι να δοθεί στους προγραμματιστές ένας τρόπος να δοκιμάσουν τα μοντέλα τεχνητής νοημοσύνης τους σε σχέση με αυτό που η Microsoft αποκαλεί μετρήσεις γείωσης, πριν αναπτύξουν το μοντέλο σε προϊόν. Η δυνατότητα υπογραμμίζει επίσης δυνητικά μη θεμελιωμένες δηλώσεις στις εξόδους LLM, ώστε οι χρήστες να γνωρίζουν να ελέγχουν την έξοδο πριν τη χρησιμοποιήσουν. Η ανίχνευση γείωσης δεν είναι ακόμη διαθέσιμη, αλλά θα πρέπει να είναι διαθέσιμη στο εγγύς μέλλον, σύμφωνα με τη Microsoft.

Το νέο πλαίσιο μηνυμάτων συστήματος προσφέρει έναν τρόπο στους προγραμματιστές να ορίσουν με σαφήνεια τις δυνατότητες του μοντέλου τους, το προφίλ του και τους περιορισμούς στο συγκεκριμένο περιβάλλον τους. Οι προγραμματιστές μπορούν να χρησιμοποιήσουν τη δυνατότητα για να ορίσουν τη μορφή της εξόδου και να παρέχουν παραδείγματα σκοπούμενης συμπεριφοράς, ώστε να είναι ευκολότερο για τους χρήστες να ανιχνεύουν αποκλίσεις από την προβλεπόμενη συμπεριφορά. Είναι ένα άλλο νέο χαρακτηριστικό που δεν είναι ακόμα διαθέσιμο αλλά θα είναι σύντομα.

Το Azure AI Studio ανακοινώθηκε πρόσφατα αξιολογήσεις ασφάλειας ικανότητα και της παρακολούθηση κινδύνου και ασφάλειας Τα χαρακτηριστικά είναι και τα δύο διαθέσιμα αυτήν τη στιγμή σε κατάσταση προεπισκόπησης. Οι οργανισμοί μπορούν να χρησιμοποιήσουν το πρώτο για να αξιολογήσουν την ευπάθεια του μοντέλου LLM τους σε επιθέσεις jailbreak και στη δημιουργία απροσδόκητου περιεχομένου. Η δυνατότητα παρακολούθησης κινδύνου και ασφάλειας επιτρέπει στους προγραμματιστές να εντοπίζουν εισόδους μοντέλων που είναι προβληματικές και πιθανόν να προκαλέσουν παραισθήσεις ή απροσδόκητο περιεχόμενο, ώστε να μπορούν να εφαρμόσουν μέτρα μετριασμού εναντίον του.

«Η γενετική τεχνητή νοημοσύνη μπορεί να είναι ένας πολλαπλασιαστής δύναμης για κάθε τμήμα, εταιρεία και βιομηχανία», δήλωσε ο Bird της Microsoft. «Ταυτόχρονα, τα μοντέλα θεμελίωσης εισάγουν νέες προκλήσεις για την ασφάλεια και την ασφάλεια που απαιτούν νέους μετριασμούς και συνεχή μάθηση».

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai