Ενώ έφερε την ενημέρωση Meta AI σε κάθε πλατφόρμα, η Meta δημοσίευσε επίσης το σημείο αναφοράς Llama 3 για τους λάτρεις της τεχνολογίας.

Το σημείο αναφοράς προσφέρει σε ανεξάρτητους ερευνητές και προγραμματιστές μια τυποποιημένη σουίτα δοκιμών για την αξιολόγηση της απόδοσης του Llama 3 σε διάφορες εργασίες.

Αυτή η διαφάνεια επιτρέπει στους χρήστες να συγκρίνουν τα δυνατά και αδύνατα σημεία του Llama 3 με άλλα LLM χρησιμοποιώντας το ίδιο σημείο αναφοράς, ενθαρρύνοντας μια πιο αντικειμενική κατανόηση των δυνατοτήτων του.

Τι δείχνει το σημείο αναφοράς Llama 3;

Η Meta AI καθιέρωσε το σημείο αναφοράς Llama 3, μια ολοκληρωμένη σειρά αξιολογήσεων που έχουν σχεδιαστεί για την αξιολόγηση της απόδοσης LLM σε διάφορες εργασίες. Αυτές οι εργασίες περιλαμβάνουν απαντήσεις σε ερωτήσεις, σύνοψη, παρακολούθηση οδηγιών και μάθηση με λίγα βήματα. Το σημείο αναφοράς χρησιμεύει ως ένα κρίσιμο εργαλείο για τη μέτρηση των δυνατοτήτων και των αδυναμιών του Llama 3 έναντι άλλων LLMs.

Ενώ η άμεση σύγκριση μεταξύ του δείκτη αναφοράς Llama 3 και αυτών που χρησιμοποιούνται για τους ανταγωνιστές είναι πρόκληση λόγω των διαφορετικών μεθοδολογιών αξιολόγησης, η Meta ισχυρίζεται ότι τα μοντέλα Llama 3 που εκπαιδεύτηκαν στο σύνολο δεδομένων τους πέτυχαν εξαιρετική απόδοση σε όλες τις αξιολογούμενες εργασίες. Αυτό δείχνει ότι η Meta AI είναι εφάμιλλη με την καλύτερη στον τομέα LLM.

Ακολουθεί μια βαθύτερη ματιά στον τρόπο στοίβαξης των σημείων αναφοράς του Llama 3:

• Κλίμακα παραμέτρων: Η Meta υπερηφανεύεται ότι τα μοντέλα Llama 8 των παραμέτρων 70B και 3B ξεπερνούν το Llama 2 και καθιερώνουν ένα νέο state-of-the-art για LLM παρόμοιας κλίμακας.
• Ανθρώπινη αξιολόγηση: Η Meta διεξήγαγε ανθρώπινες αξιολογήσεις σε ένα ολοκληρωμένο σύνολο δεδομένων που περιλαμβάνει 12 βασικές περιπτώσεις χρήσης. Αυτή η αξιολόγηση τοποθετεί το μοντέλο Llama 70 που ακολουθεί τις οδηγίες 3B ευνοϊκά έναντι αντιπάλων συγκρίσιμου μεγέθους σε σενάρια πραγματικού κόσμου.

Αυτές είναι αξιολογήσεις της ίδιας της Meta και ενδέχεται να χρειαστούν ανεξάρτητα σημεία αναφοράς για μια πιο οριστική σύγκριση.

Ανοιχτά βάρη έναντι ανοιχτού κώδικα

Είναι σημαντικό να γίνεται διάκριση μεταξύ "ανοιχτού βάρους" και "ανοιχτού κώδικα". Ενώ το Llama 3 προσφέρει μοντέλα και βάρη με δυνατότητα λήψης δωρεάν, δεν εμπίπτει στον αυστηρό ορισμό του ανοιχτού κώδικα λόγω περιορισμών στην πρόσβαση και τα δεδομένα εκπαίδευσης (σε αντίθεση με το πραγματικά λογισμικό ανοιχτού κώδικα).

Το Llama 3 διατίθεται σε δύο μεγέθη: 8 δισεκατομμύρια (8 δισεκατομμύρια) και 70 δισεκατομμύρια (70 δισεκατομμύρια) Παράμετροι. Και οι δύο είναι διαθέσιμο για δωρεάν λήψη στον ιστότοπο της Meta μετά από μια απλή διαδικασία εγγραφής.

Μια τεχνική βαθιά κατάδυση στο Meta AI

Το Llama 3 προσφέρει δύο εκδόσεις:

• Προεκπαιδευμένο: Αυτό είναι το ακατέργαστο μοντέλο που επικεντρώνεται στην επόμενη πρόβλεψη.
• Συντονισμένος οδηγίες: Αυτή η έκδοση είναι προσαρμοσμένη ώστε να ακολουθεί συγκεκριμένες οδηγίες χρήστη.

Και οι δύο εκδόσεις έχουν όριο περιβάλλοντος 8,192 διακριτικών.

Λεπτομέρειες προπόνησης

• Υλικό εκπαίδευσης: Η Meta χρησιμοποίησε δύο ειδικά κατασκευασμένα cluster, το καθένα από τα οποία περιείχε εκπληκτικές 24,000 GPU, για την εκπαίδευση του Llama 3.
• Στοιχεία προπόνησης: Ο Mark Zuckerberg, Διευθύνων Σύμβουλος της Meta, αποκάλυψε σε μια συνέντευξη podcast ότι το μοντέλο 70B εκπαιδεύτηκε σε ένα τεράστιο σύνολο δεδομένων περίπου 15 τρισεκατομμυρίων tokens. Είναι ενδιαφέρον ότι το μοντέλο δεν έφτασε ποτέ σε σημείο κορεσμού (μέγιστη απόδοση) κατά τη διάρκεια της εκπαίδευσης, υποδηλώνοντας ότι μπορεί να υπάρχει περιθώριο περαιτέρω βελτίωσης με ακόμη μεγαλύτερα σύνολα δεδομένων.
• Μελλοντικά σχέδια: Η Meta εκπαιδεύει αυτήν τη στιγμή μια κολοσσιαία έκδοση παραμέτρων 400B του Llama 3, δυνητικά τοποθετώντας το στο ίδιο πρωτάθλημα απόδοσης με ανταγωνιστές όπως GPT-4 Turbo και Gemini Ultra σε σημεία αναφοράς όπως MMLU, GPQA, HumanEval και MATH.

Οι προκλήσεις στο σημείο αναφοράς Llama 3

Πρέπει να αναγνωρίσουμε τους περιορισμούς των τρεχόντων σημείων αναφοράς LLM λόγω παραγόντων όπως η μόλυνση των δεδομένων εκπαίδευσης και η επιλογή των αποτελεσμάτων από τους προμηθευτές.

Παρά αυτούς τους περιορισμούς, η Meta παρείχε ορισμένα σημεία αναφοράς που δείχνουν την απόδοση του Llama 3 σε εργασίες όπως MMLU (γενικές γνώσεις), GSM-8K (μαθηματικά), HumanEval (κωδικοποίηση), GPQA (προχωρημένες ερωτήσεις) και MATH (προβλήματα λέξεων).

Αυτά τα σημεία αναφοράς τοποθετούν το μοντέλο 8B ευνοϊκά έναντι ανταγωνιστών ανοιχτού βάρους όπως Gemma 7B της Google και Mistral 7B Εντολή. Το μοντέλο 70B ανταποκρίνεται επίσης σε καθιερωμένα ονόματα όπως Gemini Pro 1.5 και Σονέτο Claude 3.

Προσβασιμότητα του Llama 3

Η Meta σχεδιάζει να κάνει διαθέσιμα μοντέλα Llama 3 σε μεγάλες πλατφόρμες cloud, όπως το AWS, το Databricks, το Google Cloud και άλλες, διασφαλίζοντας ευρεία προσβασιμότητα για προγραμματιστές.

Το Llama 3 αποτελεί το θεμέλιο του εικονικού βοηθού του Meta, ο οποίος θα είναι εξέχουσα θέση εμφανίζεται στις λειτουργίες αναζήτησης σε Facebook, Instagram, WhatsApp, Messenger, και ένα ειδική ιστοσελίδα που μοιάζει με τη διεπαφή του ChatGPT (συμπεριλαμβανομένης της δημιουργίας εικόνων).

Επιπλέον, Η Meta συνεργάστηκε με την Google για την ενσωμάτωση των αποτελεσμάτων αναζήτησης σε πραγματικό χρόνο στον βοηθό, βασιζόμενη σε αυτά υπάρχουσα συνεργασία με το Bing της Microsoft.

Πίστωση επιλεγμένης εικόνας: Meta

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://dataconomy.com/2024/04/19/llama-3-benchmark-meta-ai-vs-chatgpt-vs-gemini/