In passato, più grande era il modello AI, migliori erano le prestazioni. Nei modelli di OpenAI, ad esempio, i parametri sono cresciuti di oltre 1000 volte e le prestazioni sono quasi triplicate.
| Modello OpenAI | Data di uscita | Parametri, B | MMLU |
|---|---|---|---|
| GPT2 | 2/14/19 | 1.5 | 0.324 |
| GPT3 | 6/11/20 | 175 | 0.539 |
| GPT3.5 | 3/15/22 | 175 | 0.7 |
| GPT4 | 3/14/23 | 1760 | 0.864 |
Ma le prestazioni del modello saranno presto asintotiche, almeno su questo parametro.
Questo è grafico delle prestazioni di molti recenti modelli di intelligenza artificiale secondo un benchmark ampiamente accettato chiamato MMLU. 1 MMLU misura le prestazioni di un modello di intelligenza artificiale rispetto a uno studente delle scuole superiori.
Ho classificato i modelli in questo modo:
- Grande: > 100 miliardi di parametri
- Medio: parametri da 15 a 100b
- Piccolo: < parametri 15b
Nel corso del tempo, le prestazioni stanno convergendo rapidamente sia tra le dimensioni dei modelli che tra i fornitori di modelli.
Cosa succede quando il modello open source di Facebook e il modello closed source di Google che alimenta Google.com e i modelli di OpenAI che alimenta ChatGPT funzionano tutti ugualmente bene?
Gli informatici sono stati sfidati a distinguere le prestazioni relative di questi modelli con molti test diversi. Gli utenti avranno difficoltà a fare di meglio.
A quel punto, il valore nel livello del modello dovrebbe crollare. Se un modello open source disponibile gratuitamente è valido quanto uno a pagamento, perché non utilizzare quello gratuito? E se un modello open source più piccolo e meno costoso da gestire è altrettanto valido, perché non utilizzarlo?
La rapida crescita dell’intelligenza artificiale ha alimentato un aumento di interesse per i modelli stessi. Ma abbastanza rapidamente, il livello infrastrutturale dovrebbe essere mercificato, proprio come è avvenuto nel cloud, dove tre fornitori detengono una quota di mercato del 65%: Amazon Web Services, Azure e Google Cloud Platform.
Le applicazioni e gli strumenti di sviluppo attorno ai massicci intermediari di materie prime basati sull'intelligenza artificiale rappresentano la fase successiva dello sviluppo, in cui la differenziazione e la distribuzione del prodotto si differenziano piuttosto che i progressi tecnici brillanti e grezzi.2
1 MMLU misura 57 compiti diversi tra cui matematica, storia, informatica e altri argomenti. È una misura tra tante e non è perfetta, come qualsiasi benchmark. Ce ne sono altri, incluso il sistema Elo. Ecco un panoramica delle differenze.. Ciascun benchmark valuta il modello su uno spettro diverso: bias,
il ragionamento matematico sono altri due esempi.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
- PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
- PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
- Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
- Fonte: https://www.tomtunguz.com/what-happens-when-model-performance-asymptotes/
