Een in China ontwikkeld model voor kunstmatige intelligentie (AI) maakt furore op een aantal fronten, onder meer vanwege het open-sourcekarakter en vanwege het vermogen om tot wel 200,000 tokens aan context te verwerken – waarmee het andere populaire modellen zoals Claude van Anthropic (100,000 tokens) of OpenAI's GPT-4-turbo (128,000 tokens).
Dubbelde de Yi-serie, Beijing Lingyi Wanwu Information Technology Company creëerde deze vooruitstrevende generatieve chatbot in zijn AI-lab, 01.AI. Het grote taalmodel (LLM) is verkrijgbaar in twee versies: de lichtgewicht Yi-6B-200K en de robuustere Yi-34B-200K, beide in staat een enorme gesprekscontext vast te houden en Engels en Mandarijn te begrijpen.
Slechts enkele uren na de release schoot het Yi-model omhoog in de hitlijsten en werd het het op een na populairste open-sourcemodel op Hugging Face, een belangrijke opslagplaats voor AI-modellen.
Afbeelding: knuffelend gezicht
Hoewel de Yi-modellen enorme contextvragen verwerken, zijn ze ook zeer efficiënt en nauwkeurig en verslaan ze andere LLM's in verschillende synthetische benchmarks.
“Yi-34B presteert beter dan veel grotere modellen zoals LLaMA2-70B en Valk-180B; Ook kan de omvang van Yi-34B applicaties kosteneffectief ondersteunen, waardoor ontwikkelaars fantastische projecten kunnen bouwen”, legt uit 01.AI op haar website. Volgens een scorebord dat door de ontwikkelaars werd gedeeld, liet het krachtigste Yi-model sterke prestaties zien op het gebied van begrijpend lezen, gezond verstand redeneren en gewone AI-tests zoals Gaokao en C-eval.
Grote taalmodellen (LLM's) zoals de Yi-serie werken door het analyseren en genereren van op taal gebaseerde output. Ze werken door ‘tokens’ of teksteenheden te verwerken, die zo klein kunnen zijn als een woord of een deel van een woord.
Als je ‘200 tokens aan context’ zegt, betekent dit in feite dat het model aanzienlijk langere prompts kan begrijpen en erop kan reageren, wat voorheen zelfs de meest geavanceerde LLM’s zou hebben overweldigd. De Yi-serie kan uitgebreide aanwijzingen verwerken die complexere en gedetailleerdere informatie bevatten zonder te crashen.
Een recente analyse door derden wijst echter op een beperking op dit gebied. Wanneer een prompt meer dan 65% van de capaciteit van het Yi-model in beslag neemt, kan het lastig zijn om nauwkeurige informatie op te halen. Desondanks presteert het Yi Series-model, als de grootte van de prompt ruim onder deze drempel wordt gehouden, bewonderenswaardig, zelfs in scenario's die verslechtering veroorzaken in modellen als Claude en ChatGPT.
Druktesten GPT-4-128K met lange contextherinnering
128 tokens aan context is geweldig, maar hoe zijn de prestaties?
Ik wilde daar achter komen, dus deed ik een ‘naald in een hooiberg’-analyse
Een belangrijke onderscheidende factor voor Yi is dat het is volledig open source, waardoor gebruikers Yi lokaal op hun eigen systemen kunnen draaien. Dit geeft hen meer controle, de mogelijkheid om de modelarchitectuur aan te passen en vermijdt de afhankelijkheid van externe servers.
“Wij voorspellen dat AI 2.0 een platformmogelijkheid zal creëren die tien keer groter is dan het mobiele internet, en alle software en gebruikersinterfaces zal herschrijven”, stelt 01.AI. “Deze trend zal aanleiding geven tot de volgende golf van AI-first-toepassingen en AI-gestuurde bedrijfsmodellen, die in de loop van de tijd AI 2.0-innovaties zullen bevorderen.”
Door een dergelijk capabel model open te sourcen, stelt 01.AI ontwikkelaars wereldwijd in staat de volgende generatie AI te bouwen. Met een enorme contextverwerking in een aanpasbaar pakket kunnen we een stortvloed aan innovatieve applicaties verwachten die gebruik maken van Yi.
Het potentieel is torenhoog voor open-sourcemodellen zoals Yi-6B-200K en Yi-34B-200K. Terwijl AI ons leven doordringt, beloven lokaal beheerde systemen meer transparantie, veiligheid en aanpasbaarheid in vergelijking met gesloten alternatieven die afhankelijk zijn van de cloud.
Terwijl Claude en GPT-4 Turbo de krantenkoppen halen, zou dit nieuwe open-source alternatief binnenkort de volgende fase van AI op de apparaten van gebruikers kunnen bouwen. Net toen het leek alsof er geen manieren meer waren om onze hardware te upgraden, is het misschien tijd om te winkelen voor een capabeler apparaat voordat je merkt dat je lokale AI wordt overtroffen door een meer ‘contextbewuste’ concurrent.
Blijf op de hoogte van cryptonieuws, ontvang dagelijkse updates in je inbox.
