Ondersteunde fijnafstelling

Tijdens DevDay afgelopen november hebben we aangekondigd een Custom Model-programma dat is ontworpen om modellen voor een specifiek domein te trainen en te optimaliseren, in samenwerking met een toegewijde groep OpenAI-onderzoekers. Sindsdien hebben we tientallen klanten ontmoet om hun behoeften op het gebied van aangepaste modellen te beoordelen en hebben we ons programma verder ontwikkeld om de prestaties verder te maximaliseren.

Vandaag kondigen we formeel ons aanbod voor geassisteerde verfijning aan als onderdeel van het Custom Model-programma. Ondersteunde fijnafstemming is een gezamenlijke inspanning met onze technische teams om technieken te benutten die verder gaan dan de fijnafstemmings-API, zoals aanvullende hyperparameters en verschillende parameter-efficiënte fijnafstemmingsmethoden (PEFT) op grotere schaal. Het is met name nuttig voor organisaties die ondersteuning nodig hebben bij het opzetten van efficiënte pijplijnen voor trainingsgegevens, evaluatiesystemen en op maat gemaakte parameters en methoden om de modelprestaties voor hun gebruiksscenario of taak te maximaliseren.

Bijvoorbeeld SK Telecom, een telecommunicatieoperator die meer dan 30 miljoen abonnees in Zuid-Korea bedient, wilde een model aanpassen om een ​​expert te zijn op het gebied van telecommunicatie, met een initiële focus op klantenservice. Ze werkten samen met OpenAI om GPT-4 te verfijnen om de prestaties ervan in telecomgerelateerde gesprekken in de Koreaanse taal te verbeteren. In de loop van meerdere weken zorgden SKT en OpenAI voor een betekenisvolle prestatieverbetering bij de taken van de telecomklantenservice: een toename van 35% in de kwaliteit van de samenvatting van gesprekken, een toename van 33% in de nauwkeurigheid van intentieherkenning en een toename van de tevredenheidsscores van 3.6 naar 4.5 (uit van 5) bij het vergelijken van het verfijnde model met GPT-4. 

Op maat getraind model

In sommige gevallen moeten organisaties vanaf het begin een speciaal gebouwd model trainen dat hun bedrijf, branche of domein begrijpt. Volledig op maat getrainde modellen zorgen voor nieuwe kennis uit een specifiek domein door de belangrijkste stappen van het modeltrainingsproces aan te passen met behulp van nieuwe mid-training en post-training technieken. Organisaties die succes zien met een volledig op maat getraind model beschikken vaak over grote hoeveelheden bedrijfseigen gegevens (miljoenen voorbeelden of miljarden tokens) die ze willen gebruiken om het model nieuwe kennis of complex, uniek gedrag bij te brengen voor zeer specifieke gebruiksscenario's. 

Bijvoorbeeld Harvey, een AI-native juridische tool voor advocaten, in samenwerking met OpenAI een op maat getraind groottaalmodel voor de jurisprudentie creëren. Hoewel de basismodellen sterk waren in redeneren, ontbeerden ze de uitgebreide kennis van de juridische geschiedenis van rechtszaken en andere kennis die nodig was voor juridisch werk. Na het testen van snelle engineering, RAG en verfijning, werkte Harvey samen met ons team om de benodigde contextdiepte aan het model toe te voegen: het equivalent van 10 miljard tokens aan gegevens. Ons team heeft elke stap van het modeltrainingsproces aangepast, van domeinspecifieke mid-training tot het aanpassen van post-trainingsprocessen en het opnemen van deskundige feedback van advocaten. Het resulterende model zorgde voor een toename van 83% in feitelijke reacties en advocaten gaven in 97% van de gevallen de voorkeur aan de uitkomsten van het aangepaste model boven GPT-4.