Reinforcement Learning from Human Feedback (RLHF) wordt erkend als de industriestandaardtechniek om ervoor te zorgen dat grote taalmodellen (LLM's) inhoud produceren die waarheidsgetrouw, onschadelijk en nuttig is. De techniek werkt door het trainen van een “beloningsmodel” gebaseerd op menselijke feedback en gebruikt dit model als beloningsfunctie om het beleid van een agent te optimaliseren door middel van versterkend leren (RL). RLHF is essentieel gebleken voor het produceren van LLM's zoals ChatGPT van OpenAI en Claude van Anthropic die zijn afgestemd op menselijke doelstellingen. Voorbij zijn de dagen dat je onnatuurlijke snelle engineering nodig hebt om basismodellen, zoals GPT-3, te krijgen om je taken op te lossen.

Een belangrijk voorbehoud bij RLHF is dat het een complexe en vaak onstabiele procedure is. Als methode vereist RLHF dat je eerst een beloningsmodel traint dat de menselijke voorkeuren weerspiegelt. Vervolgens moet de LLM worden verfijnd om de geschatte beloning van het beloningsmodel te maximaliseren zonder te ver af te wijken van het oorspronkelijke model. In dit bericht laten we zien hoe je een basismodel kunt verfijnen met RLHF op Amazon SageMaker. We laten u ook zien hoe u menselijke evaluatie kunt uitvoeren om de verbeteringen van het resulterende model te kwantificeren.

Voorwaarden

Voordat u aan de slag gaat, moet u ervoor zorgen dat u begrijpt hoe u de volgende bronnen kunt gebruiken:

Overzicht oplossingen

Veel generatieve AI-toepassingen worden gestart met basis-LLM's, zoals GPT-3, die zijn getraind op enorme hoeveelheden tekstgegevens en algemeen beschikbaar zijn voor het publiek. Basis-LLM's zijn standaard geneigd tekst te genereren op een manier die onvoorspelbaar en soms schadelijk is, omdat ze niet weten hoe ze instructies moeten volgen. Gezien de prompt, bijvoorbeeld “Schrijf een e-mail naar mijn ouders waarin ik ze een gelukkig jubileum wens”, kan een basismodel een antwoord genereren dat lijkt op het automatisch aanvullen van de prompt (bijv “en nog vele jaren liefde samen”) in plaats van de prompt te volgen als een expliciete instructie (bijvoorbeeld een schriftelijke e-mail). Dit gebeurt omdat het model is getraind om het volgende token te voorspellen. Om het vermogen van het basismodel om instructies te volgen te verbeteren, zijn menselijke gegevensannotators belast met het schrijven van antwoorden op verschillende aanwijzingen. De verzamelde reacties (vaak demonstratiegegevens genoemd) worden gebruikt in een proces dat 'supervisory fine-tuning' (SFT) wordt genoemd. RLHF verfijnt het gedrag van het model verder en stemt het af op menselijke voorkeuren. In deze blogpost vragen we annotators om modeluitvoer te rangschikken op basis van specifieke parameters, zoals behulpzaamheid, waarachtigheid en onschadelijkheid. De resulterende voorkeursgegevens worden gebruikt om een ​​beloningsmodel te trainen dat op zijn beurt wordt gebruikt door een versterkend leeralgoritme genaamd Proximal Policy Optimization (PPO) om het onder toezicht staande, verfijnde model te trainen. Beloningsmodellen en versterkend leren worden iteratief toegepast met human-in-the-loop feedback.

Het volgende diagram illustreert deze architectuur.

In deze blogpost illustreren we hoe RLHF kan worden uitgevoerd op Amazon SageMaker door een experiment uit te voeren met de populaire, open source RLHF-repository Trlx. Door middel van ons experiment laten we zien hoe RLHF kan worden gebruikt om de behulpzaamheid of onschadelijkheid van een groot taalmodel te vergroten met behulp van de publiek beschikbare Dataset voor behulpzaamheid en onschadelijkheid (HH). aangeboden door Antropisch. Met behulp van deze dataset voeren we ons experiment uit met Amazon SageMaker Studio-notitieboekje dat draait op een ml.p4d.24xlarge voorbeeld. Tenslotte bieden wij een Jupyter notitieboek om onze experimenten te repliceren.

Voer de volgende stappen in de notebook uit om de vereisten te downloaden en te installeren:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Importeer demonstratiegegevens

De eerste stap in RLHF omvat het verzamelen van demonstratiegegevens om een ​​basis-LLM te verfijnen. Voor het doel van deze blogpost gebruiken we demonstratiegegevens in de HH-dataset zoals hierboven gerapporteerd. We kunnen de demonstratiegegevens rechtstreeks vanuit het Hugging Face-datasetspakket laden:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Begeleiden van het verfijnen van een basis-LLM

De volgende stap is het onder toezicht afstemmen van een basis-LLM. In deze blogpost verwijzen we naar het basismodel dat onder toezicht is verfijnd als het ‘SFT-model’. Er is een nauwkeurige afstemming onder toezicht nodig om van demonstratiegegevens te leren, zodat een LLM goed presteert in onze conversatietaak en leert behulpzaam en onschadelijk te zijn. In dit bericht gebruiken we de openbaar beschikbare EleutherAI/gpt-j-6b model gehost op Hugging Face. We gebruiken ook het Trlx-framework dat code biedt voor het onder toezicht afstemmen van dit model.

Voer de volgende opdrachten uit om met de training te beginnen:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Voorkeursgegevens importeren

Zoals blijkt uit het vorige diagram, omvat een cruciale stap in RLHF het verzamelen van voorkeursgegevens. Voorkeursgegevens zijn een verzameling voorbeelden die aantonen hoe een mens de ene machine-uitvoer verkiest boven de andere op basis van criteria voor behulpzaamheid en onschadelijkheid.

De volgende tabel toont het concept van voorkeur:

Train uw beloningsmodel

Ons beloningsmodel is gebaseerd op GPT-J-6B en is afgestemd op de eerder genoemde HH-dataset. Omdat het trainen van het beloningsmodel niet de focus is van dit bericht, zullen we een vooraf getraind beloningsmodel gebruiken dat is gespecificeerd in de Trlx-repository, de Dahoas/gptj-rm-static. Als je je eigen beloningsmodel wilt trainen, raadpleeg dan de autocrit-bibliotheek op GitHub.

RLHF-training

Nu we alle benodigde componenten voor RLHF-training hebben verworven (dwz een SFT-model en een beloningsmodel), kunnen we nu beginnen met het optimaliseren van het beleid met behulp van RLHF.

Om dit te doen, wijzigen we het pad naar het SFT-model in examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Vervolgens voeren we de trainingsopdrachten uit:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

Het script initieert het SFT-model met behulp van de huidige gewichten en optimaliseert deze vervolgens onder begeleiding van een beloningsmodel, zodat het resulterende, door RLHF getrainde model aansluit bij de menselijke voorkeur. Het volgende diagram toont de beloningsscores van modeluitvoer naarmate de RLHF-training vordert. Versterkingstraining is zeer volatiel, dus de curve fluctueert, maar de algemene trend van de beloning is opwaarts, wat betekent dat de modeluitvoer steeds meer in lijn komt met de menselijke voorkeur volgens het beloningsmodel. Over het geheel genomen verbetert de beloning van -3.42e-1 bij de 0-ste iteratie tot de hoogste waarde van -9.869e-3 bij de 3000-ste iteratie.

Het volgende diagram toont een voorbeeldcurve bij gebruik van RLHF.

Menselijke evaluatie

Nu we ons SFT-model met RLHF hebben verfijnd, willen we nu de impact van het afstemmingsproces evalueren, aangezien dit verband houdt met ons bredere doel om antwoorden te produceren die nuttig en onschadelijk zijn. Ter ondersteuning van dit doel vergelijken we de reacties die worden gegenereerd door het met RLHF verfijnde model met de reacties die worden gegenereerd door het SFT-model. We experimenteren met 100 aanwijzingen afgeleid van de testset van de HH-dataset. We geven elke prompt programmatisch door zowel het SFT- als het verfijnde RLHF-model om twee antwoorden te verkrijgen. Ten slotte vragen we menselijke annotators om het voorkeursantwoord te selecteren op basis van waargenomen behulpzaamheid en onschadelijkheid.

De Human Evaluation-aanpak wordt gedefinieerd, gelanceerd en beheerd door de Amazon SageMaker Ground Truth Plus etiketteerservice. Met SageMaker Ground Truth Plus kunnen klanten hoogwaardige, grootschalige trainingsdatasets voorbereiden om basismodellen te verfijnen om mensachtige generatieve AI-taken uit te voeren. Het stelt bekwame mensen ook in staat om modeluitvoer te beoordelen om deze af te stemmen op menselijke voorkeuren. Bovendien stelt het applicatiebouwers in staat modellen aan te passen met behulp van hun branche- of bedrijfsgegevens tijdens het voorbereiden van trainingsdatasets. Zoals blijkt uit een eerdere blogpost (“Hoogwaardige menselijke feedback voor uw generatieve AI-applicaties van Amazon SageMaker Ground Truth Plus”), biedt SageMaker Ground Truth Plus workflows, labelinterfaces en bekwaam personeel om hoogwaardige menselijke feedbackgegevens te genereren om deze taken uit te voeren in een kant-en-klare, volledig beheerde service namens de klant. We gebruiken een taakinterface die lijkt op de onderstaande gebruikersinterface om de menselijke evaluatiestap van ons experiment te vergemakkelijken.

We sluiten ons modelevaluatie-experiment af door te bepalen welke van de twee modellen – SFT of RLHF – antwoorden opleverde die vaker de voorkeur kregen. Voor 84 van de 100 prompts en reacties die worden geëvalueerd, zien we dat de reacties van het model dat is verfijnd met RLHF minstens zo goed zijn als of meer de voorkeur hebben dan de reacties die worden gegenereerd door het model dat is verfijnd met SFT (het door RLHF getrainde model is liever 30 keer, gelijkspel 54 keer). Zoals blijkt uit de onderstaande tabel levert een kwalitatieve vergelijking van modelreacties ondersteunend bewijs op dat illustreert hoe het RLHF-model doorgaans nuttiger en feitelijk correcter is dan het SFT-model. Als geheel genomen suggereert ons experiment dat RLHF in feite het vermogen van het model verbetert om output te produceren die beter is afgestemd op de waarden van belang.

Evaluatie van de toxiciteit

Om te kwantificeren hoe RLHF de toxiciteit in de modelgeneraties vermindert, vergelijken we de populaire modellen RealToxicityPrompt-testset en meet de toxiciteit op een continue schaal van 0 (niet giftig) tot 1 (giftig). We selecteren willekeurig 1,000 testgevallen uit de RealToxicityPrompt-testset en vergelijken de toxiciteit van de SFT- en RLHF-modeluitvoer. Uit onze evaluatie blijkt dat het RLHF-model een lagere toxiciteit (gemiddeld 0.129) bereikt dan het SFT-model (gemiddeld 0.134), wat de effectiviteit van de RLHF-techniek bij het verminderen van de schadelijkheid van de output aantoont.

Opruimen

Als u klaar bent, moet u de cloudbronnen die u heeft gemaakt verwijderen om te voorkomen dat er extra kosten in rekening worden gebracht. Als u ervoor heeft gekozen dit experiment in een SageMaker Notebook te spiegelen, hoeft u alleen de notebookinstantie die u gebruikte te stoppen. Raadpleeg voor meer informatie de documentatie van de AWS Sagemaker Developer Guide over “Clean Up'.

Conclusie

In dit bericht hebben we laten zien hoe je een basismodel, GPT-J-6B, kunt trainen met RLHF op Amazon SageMaker. We hebben code geleverd waarin wordt uitgelegd hoe u het basismodel kunt verfijnen met training onder toezicht, het beloningsmodel kunt trainen en RL-training kunt uitvoeren met menselijke referentiegegevens. We hebben aangetoond dat het door RLHF getrainde model de voorkeur geniet van annotators. Nu kunt u krachtige modellen maken die op maat zijn gemaakt voor uw toepassing.

Als u trainingsgegevens van hoge kwaliteit nodig heeft voor uw modellen, zoals demonstratiegegevens of voorkeursgegevens, Amazon SageMaker kan u helpen door het ongedifferentieerde zware werk dat gepaard gaat met het bouwen van applicaties voor datalabeling en het beheren van het labelpersoneel weg te nemen. Wanneer u over de gegevens beschikt, gebruikt u de SageMaker Studio Notebook-webinterface of het notebook in de GitHub-repository om uw door RLHF getrainde model op te halen.

Over de auteurs

Weifeng Chen is een toegepaste wetenschapper in het AWS Human-in-the-loop wetenschapsteam. Hij ontwikkelt machineondersteunde etiketteeroplossingen om klanten te helpen drastische versnellingen te behalen bij het verwerven van grondwaarheden op het gebied van computervisie, natuurlijke taalverwerking en generatieve AI.

Erran Li is manager toegepaste wetenschap bij humain-in-the-loop services, AWS AI, Amazon. Zijn onderzoeksinteresses zijn 3D deep learning en het leren van visie en taalrepresentatie. Voorheen was hij senior wetenschapper bij Alexa AI, hoofd machine learning bij Scale AI en hoofdwetenschapper bij Pony.ai. Daarvoor werkte hij bij het perceptieteam bij Uber ATG en het machine learning platformteam bij Uber aan machine learning voor autonoom rijden, machine learning-systemen en strategische initiatieven van AI. Hij begon zijn carrière bij Bell Labs en was adjunct-professor aan Columbia University. Hij was mede-docent van tutorials bij ICML'17 en ICCV'19, en was mede-organisator van verschillende workshops bij NeurIPS, ICML, CVPR, ICCV over machine learning voor autonoom rijden, 3D vision en robotica, machine learning-systemen en vijandig machine learning. Hij heeft een doctoraat in computerwetenschappen aan de Cornell University. Hij is een ACM Fellow en IEEE Fellow.

Koushik Kalyanaraman is een Software Development Engineer in het Human-in-the-loop wetenschapsteam van AWS. In zijn vrije tijd speelt hij basketbal en brengt hij tijd door met zijn gezin.

Xiong Zhou is een Senior Applied Scientist bij AWS. Hij leidt het wetenschapsteam voor de geospatiale mogelijkheden van Amazon SageMaker. Zijn huidige onderzoeksgebied omvat computer vision en efficiënte modeltraining. In zijn vrije tijd houdt hij van hardlopen, basketbal spelen en tijd doorbrengen met zijn gezin.

Alex Williams is toegepast wetenschapper bij AWS AI, waar hij werkt aan problemen gerelateerd aan interactieve machine-intelligentie. Voordat hij bij Amazon kwam, was hij professor aan de afdeling Elektrotechniek en Computerwetenschappen aan de Universiteit van Tennessee. Hij heeft ook onderzoeksfuncties bekleed bij Microsoft Research, Mozilla Research en de Universiteit van Oxford. Hij heeft een doctoraat in computerwetenschappen behaald aan de Universiteit van Waterloo.

Ammar Chinoy is de algemeen directeur/directeur van AWS Human-In-The-Loop-services. In zijn vrije tijd werkt hij aan positief versterkend leren met zijn drie honden: Waffle, Widget en Walker.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/