Dans le passé, plus le modèle d’IA était grand, meilleures étaient les performances. Par exemple, dans les modèles OpenAI, les paramètres ont été multipliés par 1000 XNUMX et les performances ont presque triplé.
| Modèle OpenAI | Date de sortie | Paramètres, B | MMLU |
|---|---|---|---|
| GPT2 | 2/14/19 | 1.5 | 0.324 |
| GPT3 | 6/11/20 | 175 | 0.539 |
| GPT3.5 | 3/15/22 | 175 | 0.7 |
| GPT4 | 3/14/23 | 1760 | 0.864 |
Mais les performances du modèle vont bientôt asymptote – du moins sur cette métrique.
Il s'agit d'un graphique des performances de nombreux modèles d'IA récents selon un référentiel largement accepté appelé MMLU. 1 MMLU mesure les performances d'un modèle d'IA par rapport à un lycéen.
J'ai classé les modèles de cette façon :
- Grand : > 100 milliards de paramètres
- Moyen : 15 à 100b paramètres
- Petit : < 15b paramètres
Au fil du temps, les performances convergent rapidement, à la fois selon les tailles de modèles et entre les fournisseurs de modèles.
Que se passe-t-il lorsque le modèle open source de Facebook et le modèle source fermé de Google qui alimente Google.com et les modèles OpenAI qui alimentent ChatGPT fonctionnent tous aussi bien ?
Les informaticiens ont eu du mal à distinguer les performances relatives de ces modèles avec de nombreux tests différents. Les utilisateurs auront du mal à faire mieux.
À ce stade, la valeur de la couche modèle devrait s’effondrer. Si un modèle open source disponible gratuitement est aussi performant qu’un modèle payant, pourquoi ne pas utiliser le modèle gratuit ? Et si un modèle open source plus petit et moins coûteux à exploiter est presque aussi performant, pourquoi ne pas utiliser celui-là ?
La croissance rapide de l’IA a alimenté un regain d’intérêt pour les modèles eux-mêmes. Mais assez rapidement, la couche infrastructure devrait se banaliser, tout comme elle l'a fait dans le cloud où trois fournisseurs détiennent 65 % de part de marché : Amazon Web Services, Azure et Google Cloud Platform.
Les applications et les outils de développement autour des énormes courtiers en matières premières IA constituent la prochaine phase de développement – où la différenciation et la distribution des produits se différencient plutôt que des avancées techniques brillantes et brutes.2
1 MMLU mesure 57 tâches différentes y compris les mathématiques, l'histoire, l'informatique et d'autres sujets. Il s'agit d'une mesure parmi tant d'autres et elle n'est pas parfaite – comme n'importe quelle référence. Il en existe d'autres dont le système Elo. Voici un aperçu des différences.. Chaque benchmark note le modèle sur un spectre différent : biais,
le raisonnement mathématique sont deux autres exemples.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
- PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
- PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
- PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
- La source: https://www.tomtunguz.com/what-happens-when-model-performance-asymptotes/
