Ο δάσκαλος του δημοτικού σχολείου σας μάλλον δεν σας έδειξε πώς να προσθέτετε 20ψήφιους αριθμούς. Αλλά αν ξέρετε πώς να προσθέτετε μικρότερους αριθμούς, το μόνο που χρειάζεστε είναι χαρτί και μολύβι και λίγη υπομονή. Ξεκινήστε από εκείνα τα μέρη και δουλέψτε προς τα αριστερά βήμα-βήμα και σύντομα θα στοιβάζετε πεμπτουσία με ευκολία.

Προβλήματα όπως αυτό είναι εύκολα για τους ανθρώπους, αλλά μόνο αν τα προσεγγίσουμε με τον σωστό τρόπο. «Το πώς εμείς οι άνθρωποι λύνουμε αυτά τα προβλήματα δεν είναι «να το κοιτάξουμε και μετά να γράψουμε την απάντηση», είπε Έραν Μαλάχ, ερευνητής μηχανικής μάθησης στο Πανεπιστήμιο του Χάρβαρντ. «Πραγματικά περπατάμε μέσα από τα βήματα».

Αυτή η εικόνα έχει εμπνεύσει ερευνητές που μελετούν τα μεγάλα γλωσσικά μοντέλα που τροφοδοτούν chatbots όπως το ChatGPT. Ενώ αυτά τα συστήματα μπορεί να δημιουργούν ερωτήσεις που περιλαμβάνουν μερικά βήματα της αριθμητικής, συχνά θα παρακάμπτουν προβλήματα που περιλαμβάνουν πολλά βήματα, όπως ο υπολογισμός του αθροίσματος δύο μεγάλων αριθμών. Αλλά το 2022, μια ομάδα ερευνητών της Google έδειξε ότι ζητώντας από τα γλωσσικά μοντέλα να δημιουργήσουν λύσεις βήμα προς βήμα επέτρεψε στα μοντέλα να λύσουν προβλήματα που προηγουμένως φαινόταν ότι δεν μπορούσαν να φτάσουν. Η τεχνική τους, που ονομάζεται προτροπή αλυσίδας σκέψης, έγινε σύντομα ευρέως διαδεδομένη, ακόμη και όταν οι ερευνητές προσπαθούσαν να καταλάβουν τι την κάνει να λειτουργεί.

Τώρα, αρκετές ομάδες έχουν εξερευνήσει τη δύναμη του συλλογισμού της αλυσίδας σκέψης χρησιμοποιώντας τεχνικές από έναν απόκρυφο κλάδο της θεωρητικής επιστήμης των υπολογιστών που ονομάζεται υπολογιστική θεωρία πολυπλοκότητας. Είναι το τελευταίο κεφάλαιο μιας σειράς έρευνας που χρησιμοποιεί τη θεωρία πολυπλοκότητας για να μελετήσει τις εγγενείς δυνατότητες και τους περιορισμούς των γλωσσικών μοντέλων. Αυτές οι προσπάθειες διευκρινίζουν πού πρέπει να περιμένουμε να αποτύχουν τα μοντέλα και μπορεί να οδηγήσουν σε νέες προσεγγίσεις για την κατασκευή τους.

«Αφαιρούν λίγη από τη μαγεία», είπε Δημήτρης Παπαηλιόπουλος, ερευνητής μηχανικής μάθησης στο Πανεπιστήμιο του Wisconsin, Madison. "Αυτό είναι καλό πράγμα."

Training Transformers

Τα μεγάλα γλωσσικά μοντέλα χτίζονται γύρω από μαθηματικές δομές που ονομάζονται τεχνητά νευρωνικά δίκτυα. Οι πολλοί «νευρώνες» μέσα σε αυτά τα δίκτυα εκτελούν απλές μαθηματικές πράξεις σε μακριές σειρές αριθμών που αντιπροσωπεύουν μεμονωμένες λέξεις, μετατρέποντας κάθε λέξη που περνά μέσα από το δίκτυο σε μια άλλη. Οι λεπτομέρειες αυτής της μαθηματικής αλχημείας εξαρτώνται από ένα άλλο σύνολο αριθμών που ονομάζονται παράμετροι του δικτύου, οι οποίες ποσοτικοποιούν την ισχύ των συνδέσεων μεταξύ των νευρώνων.

Για να εκπαιδεύσουν ένα μοντέλο γλώσσας ώστε να παράγει συνεκτικά αποτελέσματα, οι ερευνητές συνήθως ξεκινούν με ένα νευρωνικό δίκτυο του οποίου οι παράμετροι έχουν όλες τυχαίες τιμές και στη συνέχεια το τροφοδοτούν με δέσμες δεδομένων από όλο το Διαδίκτυο. Κάθε φορά που το μοντέλο βλέπει ένα νέο μπλοκ κειμένου, προσπαθεί να προβλέψει κάθε λέξη με τη σειρά: Μαντεύει τη δεύτερη λέξη με βάση την πρώτη, την τρίτη με βάση τις δύο πρώτες και ούτω καθεξής. Συγκρίνει κάθε πρόβλεψη με το πραγματικό κείμενο και, στη συνέχεια, τροποποιεί τις παραμέτρους της για να μειώσει τη διαφορά. Κάθε tweak αλλάζει μόνο λίγο τις προβλέψεις του μοντέλου, αλλά κατά κάποιο τρόπο το συλλογικό τους αποτέλεσμα επιτρέπει σε ένα μοντέλο να ανταποκρίνεται συνεκτικά σε εισροές που δεν έχει δει ποτέ.

Οι ερευνητές εκπαιδεύουν τα νευρωνικά δίκτυα να επεξεργάζονται τη γλώσσα εδώ και 20 χρόνια. Αλλά το έργο πραγματικά απογειώθηκε το 2017, όταν ερευνητές της Google παρουσίασαν ένα νέο είδος δικτύου ονομάζεται μετασχηματιστής.

«Αυτό προτάθηκε πριν από επτά χρόνια, κάτι που μοιάζει με προϊστορία», είπε Πάμπλο Μπαρσελό, ερευνητής μηχανικής μάθησης στο Ποντιφικό Καθολικό Πανεπιστήμιο της Χιλής.

Αυτό που έκανε τους μετασχηματιστές τόσο μετασχηματιστικούς είναι ότι είναι εύκολο να τους κλιμακώσετε — για να αυξήσετε τον αριθμό των παραμέτρων και την ποσότητα των δεδομένων εκπαίδευσης — χωρίς να κάνετε την εκπαίδευση απαγορευτικά δαπανηρή. Πριν από τους μετασχηματιστές, τα νευρωνικά δίκτυα είχαν το πολύ μερικές εκατοντάδες εκατομμύρια παραμέτρους. σήμερα, τα μεγαλύτερα μοντέλα που βασίζονται σε μετασχηματιστές έχουν περισσότερα από ένα τρισεκατομμύριο. Μεγάλο μέρος της βελτίωσης στην απόδοση του γλωσσικού μοντέλου τα τελευταία πέντε χρόνια προέρχεται από την απλή κλιμάκωση.

Οι μετασχηματιστές το κατέστησαν δυνατό χρησιμοποιώντας ειδικές μαθηματικές δομές που ονομάζονται κεφαλές προσοχής, οι οποίες τους δίνουν ένα είδος οπτικής γωνίας του κειμένου που διαβάζουν. Όταν ένας μετασχηματιστής διαβάζει ένα νέο μπλοκ κειμένου, οι κεφαλές προσοχής του σαρώνουν γρήγορα το όλο θέμα και εντοπίζουν σχετικές συνδέσεις μεταξύ των λέξεων — ίσως σημειώνοντας ότι η τέταρτη και η όγδοη λέξη είναι πιθανό να είναι πιο χρήσιμες για την πρόβλεψη της 10ης. Στη συνέχεια, τα κεφάλια προσοχής περνούν λέξεις σε έναν τεράστιο ιστό νευρώνων που ονομάζεται δίκτυο προώθησης, το οποίο κάνει τον βαρύ αριθμό που χρειάζεται για να δημιουργήσει τις προβλέψεις που το βοηθούν να μάθει.

Οι πραγματικοί μετασχηματιστές έχουν πολλαπλά στρώματα κεφαλών προσοχής που χωρίζονται από δίκτυα τροφοδοσίας και βγάζουν προβλέψεις μόνο μετά το τελευταίο επίπεδο. Αλλά σε κάθε επίπεδο, οι κεφαλές προσοχής έχουν ήδη εντοπίσει το πιο σχετικό πλαίσιο για κάθε λέξη, επομένως το υπολογιστικά εντατικό βήμα προώθησης μπορεί να συμβεί ταυτόχρονα για κάθε λέξη στο κείμενο. Αυτό επιταχύνει τη διαδικασία εκπαίδευσης, καθιστώντας δυνατή την εκπαίδευση μετασχηματιστών σε όλο και πιο μεγάλα σύνολα δεδομένων. Ακόμη πιο σημαντικό, επιτρέπει στους ερευνητές να διαδώσουν το τεράστιο υπολογιστικό φορτίο της εκπαίδευσης ενός τεράστιου νευρωνικού δικτύου σε πολλούς επεξεργαστές που λειτουργούν παράλληλα.

Για να αξιοποιήσετε στο έπακρο τα τεράστια σύνολα δεδομένων, "πρέπει να κάνετε τα μοντέλα πραγματικά μεγάλα", είπε Ντέιβιντ Τσιάνγκ, ερευνητής μηχανικής μάθησης στο Πανεπιστήμιο της Notre Dame. «Απλώς δεν θα είναι πρακτικό να τους εκπαιδεύσετε εκτός και αν παραλληλιστεί».

Ωστόσο, η παράλληλη δομή που καθιστά τόσο εύκολη την εκπαίδευση μετασχηματιστών δεν βοηθά μετά την προπόνηση — σε αυτό το σημείο, δεν χρειάζεται να προβλέψουμε λέξεις που ήδη υπάρχουν. Κατά τη συνήθη λειτουργία, οι μετασχηματιστές εξάγουν μία λέξη τη φορά, επιστρέφοντας κάθε έξοδο στην είσοδο πριν δημιουργήσουν την επόμενη λέξη, αλλά εξακολουθούν να είναι κολλημένοι με μια αρχιτεκτονική βελτιστοποιημένη για παράλληλη επεξεργασία.

Καθώς τα μοντέλα που βασίζονταν σε μετασχηματιστές αυξάνονταν και ορισμένες εργασίες συνέχιζαν να τους προκαλούν προβλήματα, ορισμένοι ερευνητές άρχισαν να αναρωτιούνται εάν η ώθηση προς πιο παραλληλίσιμα μοντέλα είχε κόστος. Υπήρχε τρόπος να κατανοήσουμε τη συμπεριφορά των μετασχηματιστών θεωρητικά;

Η πολυπλοκότητα των μετασχηματιστών

Οι θεωρητικές μελέτες των νευρωνικών δικτύων αντιμετωπίζουν πολλές δυσκολίες, ειδικά όταν προσπαθούν να υπολογίσουν την εκπαίδευση. Τα νευρωνικά δίκτυα χρησιμοποιούν μια πολύ γνωστή διαδικασία για να τροποποιούν τις παραμέτρους τους σε κάθε βήμα της διαδικασίας εκπαίδευσης. Αλλά μπορεί να είναι δύσκολο να καταλάβουμε γιατί αυτή η απλή διαδικασία συγκλίνει σε ένα καλό σύνολο παραμέτρων.

Αντί να εξετάζουν τι συμβαίνει κατά τη διάρκεια της εκπαίδευσης, ορισμένοι ερευνητές μελετούν τις εγγενείς δυνατότητες των μετασχηματιστών φανταζόμενοι ότι είναι δυνατό να προσαρμόσουν τις παραμέτρους τους σε οποιεσδήποτε αυθαίρετες τιμές. Αυτό ισοδυναμεί με την αντιμετώπιση ενός μετασχηματιστή ως ενός ειδικού τύπου προγραμματιζόμενου υπολογιστή.

«Έχετε κάποια υπολογιστική συσκευή και θέλετε να μάθετε, «Λοιπόν, τι μπορεί να κάνει; Τι είδους συναρτήσεις μπορεί να υπολογίσει;» είπε ο Chiang.

Αυτά είναι τα κεντρικά ερωτήματα στην επίσημη μελέτη του υπολογισμού. Το πεδίο χρονολογείται από το 1936, όταν ο Άλαν Τούρινγκ φαντάστηκε για πρώτη φορά α φανταστική συσκευή, που τώρα ονομάζεται μηχανή Turing, που μπορούσε να εκτελέσει οποιονδήποτε υπολογισμό διαβάζοντας και γράφοντας σύμβολα σε μια άπειρη ταινία. Οι θεωρητικοί της υπολογιστικής πολυπλοκότητας θα βασίζονταν αργότερα στο έργο του Turing αποδεικνύοντας ότι τα υπολογιστικά προβλήματα εμπίπτουν φυσικά σε διαφορετικά τάξεις πολυπλοκότητας ορίζεται από τους πόρους που απαιτούνται για την επίλυσή τους.

Το 2019, ο Barceló και δύο άλλοι ερευνητές αποδείχθηκε ότι μια εξιδανικευμένη έκδοση ενός μετασχηματιστή με σταθερό αριθμό παραμέτρων θα μπορούσε να είναι εξίσου ισχυρή με μια μηχανή Turing. Εάν ρυθμίσετε έναν μετασχηματιστή ώστε να τροφοδοτεί επανειλημμένα την έξοδό του ως είσοδο και να ορίσετε τις παραμέτρους στις κατάλληλες τιμές για το συγκεκριμένο πρόβλημα που θέλετε να λύσετε, τελικά θα φτύσει τη σωστή απάντηση.

Αυτό το αποτέλεσμα ήταν ένα σημείο εκκίνησης, αλλά βασίστηκε σε ορισμένες μη ρεαλιστικές υποθέσεις που πιθανότατα θα υπερεκτίμησαν την ισχύ των μετασχηματιστών. Στα χρόνια που πέρασαν, οι ερευνητές εργάστηκαν για να αναπτύξουν πιο ρεαλιστικά θεωρητικά πλαίσια.

Μια τέτοια προσπάθεια ξεκίνησε το 2021, όταν Ουίλιαμ Μέριλ, τώρα μεταπτυχιακός φοιτητής στο Πανεπιστήμιο της Νέας Υόρκης, άφηνε μια διετή υποτροφία στο Allen Institute for Artificial Intelligence στο Σιάτλ. Ενώ ήταν εκεί, είχε αναλύσει άλλα είδη νευρωνικών δικτύων χρησιμοποιώντας τεχνικές που έμοιαζαν σαν κακή εφαρμογή για την παράλληλη αρχιτεκτονική των μετασχηματιστών. Λίγο πριν φύγει, άνοιξε μια συνομιλία με τον ερευνητή του Allen Institute for AI Ashish Sabharwal, ο οποίος είχε μελετήσει τη θεωρία της πολυπλοκότητας πριν προχωρήσει στην έρευνα της τεχνητής νοημοσύνης. Άρχισαν να υποψιάζονται ότι η θεωρία πολυπλοκότητας θα μπορούσε να τους βοηθήσει να κατανοήσουν τα όρια των μετασχηματιστών.

«Απλώς φαινόταν σαν να είναι ένα απλό μοντέλο. πρέπει να υπάρχουν κάποιοι περιορισμοί που μπορεί κανείς να καταγράψει», είπε ο Sabharwal.

Το ζεύγος ανέλυσε μετασχηματιστές χρησιμοποιώντας έναν κλάδο της θεωρίας της υπολογιστικής πολυπλοκότητας, που ονομάζεται πολυπλοκότητα κυκλώματος, που χρησιμοποιείται συχνά για τη μελέτη παράλληλων υπολογισμών και είχε εφαρμόστηκε πρόσφατα σε απλοποιημένες εκδόσεις μετασχηματιστών. Κατά τη διάρκεια του επόμενου έτους, βελτίωσαν αρκετές από τις μη ρεαλιστικές υποθέσεις σε προηγούμενες εργασίες. Για να μελετήσει πώς η παράλληλη δομή των μετασχηματιστών θα μπορούσε να περιορίσει τις δυνατότητές τους, το ζεύγος εξέτασε την περίπτωση όπου οι μετασχηματιστές δεν τροφοδοτούσαν την έξοδό τους πίσω στην είσοδό τους - αντίθετα, η πρώτη τους έξοδος θα έπρεπε να είναι η τελική απάντηση. Αυτοί αποδείχθηκε ότι οι μετασχηματιστές σε αυτό το θεωρητικό πλαίσιο δεν μπορούσαν να λύσουν κανένα υπολογιστικό πρόβλημα που βρίσκεται εκτός μιας συγκεκριμένης κατηγορίας πολυπλοκότητας. Και πολλά μαθηματικά προβλήματα, συμπεριλαμβανομένων σχετικά απλών, όπως η επίλυση γραμμικών εξισώσεων, πιστεύεται ότι βρίσκονται εκτός αυτής της τάξης.

Βασικά, έδειξαν ότι ο παραλληλισμός είχε ένα κόστος - τουλάχιστον όταν οι μετασχηματιστές έπρεπε να φτύνουν μια απάντηση αμέσως. «Οι μετασχηματιστές είναι αρκετά αδύναμοι αν ο τρόπος που τους χρησιμοποιείς είναι ότι δίνεις μια συμβολή και απλά περιμένεις μια άμεση απάντηση», είπε ο Merrill.

Πειράματα Σκέψης

Τα αποτελέσματα των Merrill και Sabharwal έθεσαν ένα φυσικό ερώτημα - πόσο πιο ισχυροί γίνονται οι μετασχηματιστές όταν τους επιτρέπεται να ανακυκλώνουν τις εξόδους τους; Ο Barceló και οι συν-συγγραφείς του είχαν μελετήσει αυτήν την περίπτωση στην ανάλυσή τους το 2019 για τους εξιδανικευμένους μετασχηματιστές, αλλά με πιο ρεαλιστικές υποθέσεις το ερώτημα παρέμενε ανοιχτό. Και στα χρόνια που μεσολάβησαν, οι ερευνητές είχαν ανακαλύψει αλυσιδωτή προτροπή, δίνοντας στο ερώτημα μια νέα συνάφεια.

Οι Merrill και Sabharwal γνώριζαν ότι η καθαρά μαθηματική προσέγγισή τους δεν μπορούσε να συλλάβει όλες τις πτυχές του συλλογισμού της αλυσίδας σκέψης σε πραγματικά γλωσσικά μοντέλα, όπου η διατύπωση στην προτροπή μπορεί να είναι πολύ σημαντική. Αλλά ανεξάρτητα από το πώς διατυπώνεται μια προτροπή, εφόσον προκαλεί ένα μοντέλο γλώσσας να εξάγει λύσεις βήμα προς βήμα, το μοντέλο μπορεί κατ' αρχήν να επαναχρησιμοποιήσει τα αποτελέσματα των ενδιάμεσων βημάτων σε επόμενα περάσματα μέσω του μετασχηματιστή. Αυτό θα μπορούσε να προσφέρει έναν τρόπο αποφυγής των ορίων του παράλληλου υπολογισμού.

Εν τω μεταξύ, μια ομάδα από το Πανεπιστήμιο του Πεκίνου είχε σκεφτεί σε παρόμοιες γραμμές και τα προκαταρκτικά αποτελέσματά τους ήταν θετικά. Σε μια εργασία του Μαΐου 2023, εντόπισαν ορισμένα μαθηματικά προβλήματα που θα ήταν αδύνατα για τους συνηθισμένους μετασχηματιστές στο πλαίσιο του Merrill και του Sabharwal, και έδειξε ότι τα ενδιάμεσα βήματα επέτρεψαν στους μετασχηματιστές να λύσουν αυτά τα προβλήματα.

Τον Οκτώβριο, οι Merrill και Sabharwal συνέχισαν την προηγούμενη δουλειά τους με τον α αναλυτική θεωρητική μελέτη της υπολογιστικής δύναμης της αλυσίδας σκέψης. Προσδιόρισαν ποσοτικά τον τρόπο με τον οποίο αυτή η επιπλέον υπολογιστική ισχύς εξαρτάται από τον αριθμό των ενδιάμεσων βημάτων που επιτρέπεται να χρησιμοποιήσει ένας μετασχηματιστής προτού πρέπει να βρει μια τελική απάντηση. Γενικά, οι ερευνητές αναμένουν ότι ο κατάλληλος αριθμός ενδιάμεσων βημάτων για την επίλυση οποιουδήποτε προβλήματος εξαρτάται από το μέγεθος της εισόδου στο πρόβλημα. Για παράδειγμα, η απλούστερη στρατηγική για την προσθήκη δύο 20ψήφιων αριθμών απαιτεί δύο φορές περισσότερα ενδιάμεσα βήματα πρόσθεσης από την ίδια προσέγγιση για την προσθήκη δύο 10ψήφιων αριθμών.

Παραδείγματα σαν αυτό υποδηλώνουν ότι οι μετασχηματιστές δεν θα κέρδιζαν πολλά από τη χρήση μόνο μερικών ενδιάμεσων βημάτων. Πράγματι, οι Merrill και Sabharwal απέδειξαν ότι η αλυσίδα σκέψης αρχίζει πραγματικά να βοηθά μόνο όταν ο αριθμός των ενδιάμεσων βημάτων αυξάνεται αναλογικά με το μέγεθος της εισόδου και πολλά προβλήματα απαιτούν ο αριθμός των ενδιάμεσων βημάτων να μεγαλώσει πολύ ακόμα.

Η πληρότητα του αποτελέσματος εντυπωσίασε τους ερευνητές. «Πραγματικά το καθήλωσαν αυτό», είπε Daniel Hsu, ερευνητής μηχανικής μάθησης στο Πανεπιστήμιο Κολούμπια.

Η πρόσφατη εργασία των Merrill και Sabharwal δείχνει ότι η αλυσίδα σκέψης δεν είναι πανάκεια – κατ' αρχήν, μπορεί να βοηθήσει τους μετασχηματιστές να λύσουν πιο δύσκολα προβλήματα, αλλά μόνο με το κόστος πολλής υπολογιστικής προσπάθειας.

«Μας ενδιαφέρει διαφορετικούς τρόπους να ξεπεράσουμε τους περιορισμούς των μετασχηματιστών με ένα βήμα», είπε ο Merrill. «Η αλυσίδα σκέψης είναι μονόδρομος, αλλά αυτό το έγγραφο δείχνει ότι μπορεί να μην είναι ο πιο οικονομικός τρόπος».

Πίσω στην πραγματικότητα

Ωστόσο, οι ερευνητές προειδοποιούν ότι αυτού του είδους η θεωρητική ανάλυση μπορεί να αποκαλύψει τόσα πολλά για τα πραγματικά γλωσσικά μοντέλα. Τα θετικά αποτελέσματα - αποδείξεις ότι οι μετασχηματιστές μπορούν κατ 'αρχήν να λύσουν ορισμένα προβλήματα - δεν υπονοούν ότι ένα γλωσσικό μοντέλο θα μάθει πραγματικά αυτές τις λύσεις κατά τη διάρκεια της εκπαίδευσης.

Ακόμη και τα αποτελέσματα που αντιμετωπίζουν τους περιορισμούς των μετασχηματιστών συνοδεύονται από προειδοποιήσεις: Υποδεικνύουν ότι κανένας μετασχηματιστής δεν μπορεί να λύσει τέλεια ορισμένα προβλήματα σε όλες τις περιπτώσεις. Φυσικά, αυτός είναι ένας αρκετά υψηλός πήχης. «Μπορεί να υπάρχουν ειδικές περιπτώσεις του προβλήματος που θα μπορούσε να αντιμετωπίσει μια χαρά», είπε ο Hsu.

Παρά αυτές τις επιφυλάξεις, η νέα εργασία προσφέρει ένα πρότυπο για την ανάλυση διαφορετικών ειδών αρχιτεκτονικών νευρωνικών δικτύων που θα μπορούσαν τελικά να αντικαταστήσουν τους μετασχηματιστές. Εάν μια ανάλυση της θεωρίας πολυπλοκότητας υποδηλώνει ότι ορισμένοι τύποι δικτύων είναι πιο ισχυροί από άλλους, αυτό θα ήταν απόδειξη ότι αυτά τα δίκτυα μπορεί να τα πηγαίνουν καλύτερα και στον πραγματικό κόσμο.

Ο Τσιάνγκ τόνισε επίσης ότι η έρευνα για τους περιορισμούς των μετασχηματιστών είναι ακόμη πιο πολύτιμη καθώς τα γλωσσικά μοντέλα χρησιμοποιούνται όλο και περισσότερο σε ένα ευρύ φάσμα εφαρμογών του πραγματικού κόσμου, καθιστώντας εύκολη την υπερεκτίμηση των ικανοτήτων τους.

«Υπάρχουν στην πραγματικότητα πολλά πράγματα που δεν τα κάνουν τόσο καλά, και πρέπει να είμαστε πολύ, πολύ ενήμεροι για τους περιορισμούς», είπε ο Chiang. «Γι’ αυτό είναι πολύ σημαντικό αυτό το είδος δουλειάς».