Τα μοντέλα AI είναι γουρούνια δύναμης.

Καθώς οι αλγόριθμοι μεγαλώνουν και γίνονται πιο περίπλοκοι, φορολογούν όλο και περισσότερο τα τρέχοντα τσιπ υπολογιστών. Πολλές εταιρείες έχουν σχεδιάσει τσιπ προσαρμοσμένα στην τεχνητή νοημοσύνη για να μειώσουν την κατανάλωση ενέργειας. Αλλά όλα βασίζονται σε έναν θεμελιώδη κανόνα - χρησιμοποιούν ηλεκτρική ενέργεια.

Αυτόν τον μήνα, μια ομάδα από το Πανεπιστήμιο Tsinghua στην Κίνα άλλαξε τη συνταγή. Αυτοί κατασκεύασε ένα τσιπ νευρωνικού δικτύου που χρησιμοποιεί φως αντί για ηλεκτρισμό για την εκτέλεση εργασιών τεχνητής νοημοσύνης με ένα κλάσμα του ενεργειακού κόστους H100 της NVIDIA, ένα τσιπ τελευταίας τεχνολογίας που χρησιμοποιείται για την εκπαίδευση και τη λειτουργία μοντέλων τεχνητής νοημοσύνης.

Ονομάζεται Taichi, το τσιπ συνδυάζει δύο τύπους επεξεργασίας με βάση το φως στην εσωτερική του δομή. Σε σύγκριση με το προηγούμενο οπτικά τσιπ, το Taichi είναι πολύ πιο ακριβές για σχετικά απλές εργασίες, όπως η αναγνώριση χειρόγραφων αριθμών ή άλλων εικόνων. Σε αντίθεση με τους προκατόχους του, το τσιπ μπορεί επίσης να δημιουργήσει περιεχόμενο. Μπορεί να κάνει βασικές εικόνες σε στυλ που βασίζεται στον Ολλανδό καλλιτέχνη Vincent van Gogh, για παράδειγμα, ή κλασικά μουσικά νούμερα εμπνευσμένα από τον Johann Sebastian Bach.

Μέρος της αποτελεσματικότητας του Taichi οφείλεται στη δομή του. Το τσιπ αποτελείται από πολλαπλά εξαρτήματα που ονομάζονται chiplets. Παρόμοια με την οργάνωση του εγκεφάλου, κάθε chiplet εκτελεί τους δικούς του υπολογισμούς παράλληλα, τα αποτελέσματα των οποίων στη συνέχεια ενσωματώνονται με τα άλλα για να βρεθεί μια λύση.

Αντιμέτωπος με ένα δύσκολο πρόβλημα διαχωρισμού εικόνων σε περισσότερες από 1,000 κατηγορίες, το Taichi ήταν επιτυχημένο σχεδόν στο 92 τοις εκατό των περιπτώσεων, ταιριάζοντας με την τρέχουσα απόδοση του τσιπ, αλλά μείωσε την κατανάλωση ενέργειας κατά χιλιάδες φορές.

Για την τεχνητή νοημοσύνη, «η τάση της αντιμετώπισης πιο προηγμένων εργασιών [είναι] μη αναστρέψιμη», έγραψαν οι συγγραφείς. «Το Taichi ανοίγει το δρόμο για μεγάλης κλίμακας φωτονικούς υπολογισμούς [με βάση το φως]», οδηγώντας σε πιο ευέλικτη τεχνητή νοημοσύνη με χαμηλότερο ενεργειακό κόστος.

Τσιπ στον ώμο

Τα σημερινά τσιπ υπολογιστών δεν συνδυάζονται καλά με την τεχνητή νοημοσύνη.

Μέρος του προβλήματος είναι δομικό. Η επεξεργασία και η μνήμη στα παραδοσιακά τσιπ διαχωρίζονται φυσικά. Η μεταφορά δεδομένων μεταξύ τους απαιτεί τεράστια ποσά ενέργειας και χρόνου.

Αν και είναι αποτελεσματική για την επίλυση σχετικά απλών προβλημάτων, η εγκατάσταση είναι απίστευτα απαιτητική όταν πρόκειται για πολύπλοκη τεχνητή νοημοσύνη, όπως τα μεγάλα μοντέλα γλώσσας που τροφοδοτούν το ChatGPT.

Το κύριο πρόβλημα είναι πώς κατασκευάζονται τα τσιπ υπολογιστών. Κάθε υπολογισμός βασίζεται σε τρανζίστορ, τα οποία ενεργοποιούνται ή απενεργοποιούνται για να αντιπροσωπεύουν τα 0 και 1 που χρησιμοποιούνται στους υπολογισμούς. Οι μηχανικοί έχουν συρρικνώσει δραματικά τα τρανζίστορ κατά τη διάρκεια των δεκαετιών, ώστε να μπορούν να στριμώξουν όλο και περισσότερο σε τσιπ. Αλλά η τρέχουσα τεχνολογία τσιπ πλησιάζει προς ένα οριακό σημείο όπου δεν μπορούμε να πάμε μικρότερα.

Οι επιστήμονες προσπαθούν εδώ και καιρό να ανανεώσουν τα τρέχοντα τσιπ. Μια στρατηγική που εμπνέεται από τον εγκέφαλο βασίζεται σε «συνάψεις» - τη βιολογική «αποβάθρα» που συνδέει τους νευρώνες - που υπολογίζουν και αποθηκεύουν πληροφορίες στην ίδια τοποθεσία. Αυτά τα εμπνευσμένα από τον εγκέφαλο, ή νευρομορφικά, τσιπ μειώνουν την κατανάλωση ενέργειας και επιταχύνουν τους υπολογισμούς. Αλλά όπως τα τρέχοντα τσιπ, βασίζονται στην ηλεκτρική ενέργεια.

Μια άλλη ιδέα είναι να χρησιμοποιήσετε έναν διαφορετικό μηχανισμό υπολογισμού συνολικά: το φως. «Οι φωτονικοί υπολογιστές» «προσελκύουν συνεχώς αυξανόμενη προσοχή», έγραψαν οι συγγραφείς. Αντί να χρησιμοποιείται ηλεκτρική ενέργεια, μπορεί να είναι δυνατή η πειρατεία σωματιδίων φωτός για να τροφοδοτηθεί η τεχνητή νοημοσύνη με την ταχύτητα του φωτός.

Γενηθήτω φως

Σε σύγκριση με τα τσιπ που βασίζονται στην ηλεκτρική ενέργεια, το φως καταναλώνει πολύ λιγότερη ενέργεια και μπορεί ταυτόχρονα να αντιμετωπίσει πολλαπλούς υπολογισμούς. Αξιοποιώντας αυτές τις ιδιότητες, οι επιστήμονες έχουν δημιουργήσει οπτικά νευρωνικά δίκτυα που χρησιμοποιούν φωτόνια —σωματίδια φωτός— για τσιπ τεχνητής νοημοσύνης, αντί για ηλεκτρισμό.

Αυτά τα τσιπ μπορούν να λειτουργήσουν με δύο τρόπους. Σε ένα, τα τσιπ διασκορπίζουν φωτεινά σήματα σε μηχανικά κανάλια που τελικά συνδυάζουν τις ακτίνες για να λύσουν ένα πρόβλημα. Αυτά τα οπτικά νευρωνικά δίκτυα, που ονομάζονται περίθλαση, συσκευάζουν τεχνητούς νευρώνες στενά μεταξύ τους και ελαχιστοποιούν το ενεργειακό κόστος. Αλλά δεν μπορούν να αλλάξουν εύκολα, που σημαίνει ότι μπορούν να δουλέψουν μόνο σε ένα μόνο, απλό πρόβλημα.

Μια διαφορετική ρύθμιση εξαρτάται από μια άλλη ιδιότητα του φωτός που ονομάζεται παρεμβολή. Όπως τα κύματα του ωκεανού, τα κύματα φωτός συνδυάζονται και αλληλοεξουδετερώνονται. Όταν βρίσκονται μέσα σε μικρο-σήραγγα σε ένα τσιπ, μπορούν να συγκρουστούν για να ενισχύσουν ή να εμποδίσουν το ένα το άλλο - αυτά τα μοτίβα παρεμβολής μπορούν να χρησιμοποιηθούν για υπολογισμούς. Τα τσιπ που βασίζονται σε παρεμβολές μπορούν εύκολα να αναδιαμορφωθούν χρησιμοποιώντας μια συσκευή που ονομάζεται συμβολόμετρο. Το πρόβλημα είναι ότι είναι σωματικά ογκώδεις και καταναλώνουν τόνους ενέργειας.

Μετά υπάρχει το πρόβλημα της ακρίβειας. Ακόμη και στα γλυπτά κανάλια που χρησιμοποιούνται συχνά για πειράματα παρεμβολών, αναπηδήσεις φωτός και σκέδαση, καθιστώντας τους υπολογισμούς αναξιόπιστους. Για ένα μόνο οπτικό νευρωνικό δίκτυο, τα σφάλματα είναι ανεκτά. Αλλά με μεγαλύτερα οπτικά δίκτυα και πιο περίπλοκα προβλήματα, ο θόρυβος αυξάνεται εκθετικά και γίνεται αβάσταχτος.

Αυτός είναι ο λόγος για τον οποίο τα νευρωνικά δίκτυα που βασίζονται στο φως δεν μπορούν εύκολα να κλιμακωθούν. Μέχρι στιγμής, κατάφεραν να λύσουν μόνο βασικές εργασίες, όπως η αναγνώριση αριθμών ή φωνηέντων.

«Η μεγέθυνση της κλίμακας των υπαρχουσών αρχιτεκτονικών δεν θα βελτίωνε αναλογικά τις επιδόσεις», έγραψε η ομάδα.

Double Trouble

Το νέο AI, Taichi, συνδύασε τα δύο χαρακτηριστικά για να ωθήσει τα οπτικά νευρωνικά δίκτυα προς την πραγματική χρήση.

Αντί να διαμορφώσει ένα μεμονωμένο νευρωνικό δίκτυο, η ομάδα χρησιμοποίησε μια μέθοδο chiplet, η οποία αναθέτει διαφορετικά μέρη μιας εργασίας σε πολλαπλά λειτουργικά μπλοκ. Κάθε μπλοκ είχε τα δικά του πλεονεκτήματα: Το ένα είχε ρυθμιστεί για την ανάλυση της περίθλασης, το οποίο μπορούσε να συμπιέσει μεγάλες ποσότητες δεδομένων σε σύντομο χρονικό διάστημα. Ένα άλλο μπλοκ ενσωματώθηκε με συμβολόμετρα για την παροχή παρεμβολών, επιτρέποντας στο τσιπ να αναδιαμορφωθεί εύκολα μεταξύ των εργασιών.

Σε σύγκριση με τη βαθιά εκμάθηση, ο Taichi ακολούθησε μια «ρηχή» προσέγγιση σύμφωνα με την οποία η εργασία κατανέμεται σε πολλά chiplet.

Με τις τυπικές δομές βαθιάς μάθησης, τα σφάλματα τείνουν να συσσωρεύονται σε επίπεδα και χρόνο. Αυτή η ρύθμιση λύνει προβλήματα που προέρχονται από διαδοχική επεξεργασία στο μπουμπούκι. Όταν αντιμετωπίζει ένα πρόβλημα, το Taichi κατανέμει το φόρτο εργασίας σε πολλαπλά ανεξάρτητα συμπλέγματα, διευκολύνοντας την αντιμετώπιση μεγαλύτερων προβλημάτων με ελάχιστα σφάλματα.

Η στρατηγική απέδωσε.

Το Taichi έχει την υπολογιστική ικανότητα 4,256 συνολικών τεχνητών νευρώνων, με σχεδόν 14 εκατομμύρια παραμέτρους που μιμούνται τις εγκεφαλικές συνδέσεις που κωδικοποιούν τη μάθηση και τη μνήμη. Κατά την ταξινόμηση των εικόνων σε 1,000 κατηγορίες, το φωτονικό τσιπ ήταν σχεδόν 92 τοις εκατό ακριβές, συγκρίσιμο με «τα σημερινά δημοφιλή ηλεκτρονικά νευρωνικά δίκτυα», έγραψε η ομάδα.

Το τσιπ διέπρεψε επίσης σε άλλες τυπικές δοκιμές αναγνώρισης εικόνας AI, όπως η αναγνώριση χειρόγραφων χαρακτήρων από διαφορετικά αλφάβητα.

Ως τελευταία δοκιμή, η ομάδα προκάλεσε τη φωτονική τεχνητή νοημοσύνη να κατανοήσει και να αναδημιουργήσει περιεχόμενο στο στυλ διαφορετικών καλλιτεχνών και μουσικών. Όταν εκπαιδεύτηκε με το ρεπερτόριο του Μπαχ, η τεχνητή νοημοσύνη τελικά έμαθε τον τόνο και το γενικό στυλ του μουσικού. Ομοίως, εικόνες από τον Βαν Γκογκ ή τον Έντουαρντ Μουνκ — τον καλλιτέχνη πίσω από τον διάσημο πίνακα, Η κραυγή— η τροφοδοσία του AI του επέτρεψε να παράγει εικόνες με παρόμοιο στυλ, αν και πολλά έμοιαζαν με αναψυχή για νήπια.

Τα οπτικά νευρωνικά δίκτυα έχουν ακόμη πολλά να προχωρήσουν. Αλλά εάν χρησιμοποιηθούν ευρέως, θα μπορούσαν να είναι μια πιο ενεργειακά αποδοτική εναλλακτική λύση στα σημερινά συστήματα τεχνητής νοημοσύνης. Το Taichi είναι πάνω από 100 φορές πιο ενεργειακά αποδοτικό από προηγούμενες επαναλήψεις. Αλλά το τσιπ εξακολουθεί να απαιτεί λέιζερ για μονάδες ισχύος και μεταφοράς δεδομένων, οι οποίες είναι δύσκολο να συμπυκνωθούν.

Στη συνέχεια, η ομάδα ελπίζει να ενσωματώσει άμεσα διαθέσιμα μίνι λέιζερ και άλλα εξαρτήματα σε ένα ενιαίο, συνεκτικό φωτονικό τσιπ. Εν τω μεταξύ, ελπίζουν ότι το Taichi θα «επιταχύνει την ανάπτυξη πιο ισχυρών οπτικών λύσεων» που θα μπορούσαν τελικά να οδηγήσουν σε «μια νέα εποχή» ισχυρής και ενεργειακά αποδοτικής τεχνητής νοημοσύνης.

Image Credit: spainter_vfx / Shutterstock.com

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://singularityhub.com/2024/04/15/a-new-photonic-computer-chip-uses-light-to-slash-ai-energy-costs/