Deze blogpost is geschreven in samenwerking met Dr. Ebtesam Almazrouei, uitvoerend directeur-waarnemend hoofd AI-onderzoeker van de AI-Cross Center Unit en projectleider voor LLM-projecten bij TII.
Verenigde Arabische Emiraten (VAE) Technologisch Innovatie Instituut (TII), de toegepaste onderzoekspijler van Abu Dhabi's Onderzoeksraad voor geavanceerde technologie, heeft Falcon LLM gelanceerd, een fundamenteel groot taalmodel (LLM) met 40 miljard parameters. TII is een toonaangevend wereldwijd onderzoekscentrum dat zich toelegt op het verleggen van de grenzen van kennis. TII's team van wetenschappers, onderzoekers en ingenieurs werkt aan ontdekkingswetenschap en transformerende technologieën. Het werk van TII richt zich op doorbraken die onze samenleving toekomstbestendig maken. Getraind op 1 biljoen tokens, TII Falcon LLM biedt eersteklas prestaties en blijft tegelijkertijd ongelooflijk kosteneffectief. Falcon-40B komt overeen met de prestaties van andere goed presterende LLM's en is het best gerangschikte open-sourcemodel in het publiek Hugging Face Open LLM-klassement. Het is beschikbaar als open-source in twee verschillende formaten – Falcon-40B en Falcon-7B en is helemaal opnieuw opgebouwd met behulp van gegevensvoorverwerking en modeltrainingstaken die zijn gebaseerd op Amazon Sage Maker. Open-sourcing Falcon 40B stelt gebruikers in staat om AI-tools te bouwen en aan te passen die tegemoet komen aan de unieke behoeften van gebruikers, waardoor naadloze integratie wordt vergemakkelijkt en het behoud van gegevens op lange termijn wordt gegarandeerd. De modelgewichten kunnen overal worden gedownload, geïnspecteerd en ingezet.
Vanaf 7 juni zijn beide Falcon LLM's ook beschikbaar in Amazon SageMaker JumpStart, SageMaker's machine learning (ML)-hub die vooraf getrainde modellen, ingebouwde algoritmen en vooraf gebouwde oplossingssjablonen biedt om u te helpen snel aan de slag te gaan met ML. U kunt de Falcon LLM's met een paar klikken implementeren en gebruiken SageMaker Studio of programmatisch via de SageMaker Python-SDK. Raadpleeg de Inleiding tot SageMaker JumpStart - Tekstgeneratie met Falcon LLM's voorbeeld notitieboekje.
Dr. Ebtesam Almazrouei, uitvoerend directeur-waarnemend hoofd AI-onderzoeker van de AI-Cross Center Unit en projectleider voor LLM-projecten bij TII, deelt:
“Met trots kondigen we de officiële open-source release aan van Falcon-40B, 's werelds meest vooraanstaande open-source taalmodel, ontwikkeld door TII. Falcon-40B heeft bekende modellen zoals LLaMA-65B, StableLM, RedPajama en MPT overtroffen op het openbare leaderboard dat wordt bijgehouden door Hugging Face, wat zijn uitzonderlijke prestaties aantoont zonder gespecialiseerde fijnafstemming.”
"Deze indrukwekkende prestatie weerspiegelt de toewijding van de VAE om de grenzen van AI-innovatie te verleggen", vervolgt Dr. Almazrouei. “Door Falcon-40B uit te brengen als een open-sourcemodel, bieden we onderzoekers, bedrijven en organisaties de mogelijkheid om de krachtige mogelijkheden ervan in verschillende sectoren te benutten. De open-source release van Falcon-40B stelt organisaties in staat om zijn uitzonderlijke mogelijkheden te benutten en vooruitgang te boeken in AI-gestuurde oplossingen. Het vertegenwoordigt een belangrijke mijlpaal in onze toewijding om AI-innovatie te bevorderen en is een voorbeeld van de diepgaande wetenschappelijke bijdragen van de VAE. Ga naar om het opmerkelijke potentieel van de Falcon-40B te verkennen FalconLLM.tii.ae. Doe met ons mee en maak gebruik van de kracht van Falcon-40B om de toekomst van AI vorm te geven en een revolutie teweeg te brengen in industrieën.”
In dit bericht duiken we diep met Dr. Almazrouei over Falcon LLM-training op SageMaker, datacuratie, optimalisatie, prestaties en volgende stappen.
Een nieuwe generatie LLM's
LLM's zijn software-algoritmen die zijn getraind om natuurlijke tekstreeksen te voltooien. Vanwege hun omvang en het volume aan trainingsgegevens waarmee ze communiceren, beschikken LLM's over indrukwekkende tekstverwerkingsmogelijkheden, waaronder samenvattingen, het beantwoorden van vragen, in-context leren en meer.
Begin 2020 legden onderzoeksorganisaties over de hele wereld de nadruk op modelgrootte, waarbij ze opmerkten dat nauwkeurigheid correleerde met het aantal parameters. GPT-3 (2020) en BLOOM (2022) bevatten bijvoorbeeld ongeveer 175 miljard parameters, Gopher (2021) heeft 230 miljard parameters en MT-NLG (2021) 530 miljard parameters. 2022, Hofman et al. merkte op dat de huidige rekenbalans tussen modelparameters en de grootte van de dataset niet optimaal was, en publiceerde empirische schaalwetten die suggereerden dat het balanceren van het rekenbudget naar kleinere modellen die op meer gegevens zijn getraind, zou kunnen leiden tot beter presterende modellen. Ze implementeerden hun begeleiding in het 70B-parameter Chinchilla (2022) -model, dat beter presteerde dan veel grotere modellen.
LLM-training op SageMaker
SageMaker is een verzameling beheerde API's voor het ontwikkelen, trainen, afstemmen en hosten van machine learning (ML)-modellen, waaronder LLM's. Talrijke klanten vertrouwen op SageMaker voor hun LLM-workloads, zoals Stabiliteit AI, AI21-laboratoria en LG AI. SageMaker-training voorzieningen rekenclusters met door de gebruiker gedefinieerde hardwareconfiguratie en code. Rekentaken worden gefactureerd per run, pro rata tot op de seconde, wat betekent dat gebruikers geen kosten in rekening worden gebracht voor GPU-capaciteit wanneer ze de service niet gebruiken. TII gebruikte tijdelijke clusters van de SageMaker Training API om de Falcon LLM te trainen, tot 48 ml.p4d.24xlarge instanties, gecumuleerd in 384 NVIDIA A100 GPU's. Nu traint TII de volgende Falcon LLM en heeft hun training opgeschaald naar 3,136 A100 GPU's (392 ml.p4d-exemplaren).
Een ongekende hoeveelheid aangepaste innovaties ging naar alle lagen van het project om de lat voor wetenschappelijke kwaliteit en trainingssnelheid hoger te leggen. In de volgende paragrafen beschrijven we de optimalisaties die TII heeft uitgevoerd op alle lagen van het deep learning (DL)-trainingssysteem.
Schaalbare datacuratie
LLM's van de nieuwste generatie halen hun kracht uit de omvang en kwaliteit van trainingsgegevens. Het team besteedde specifieke zorg aan het maken van een hoogwaardige dataset met biljoenen tokens. Verschillende SageMaker Training CPU-taken transformeerden petabytes aan goedkope, schaalbare webdata in een samengestelde, veilige trainingsdataset. Geautomatiseerde systemen filterden en dedupliceerden de gegevens; ML-classificaties werden bijvoorbeeld gebruikt om godslastering te filteren. CPU-taken die draaien op ml.c5.18xlarge (72 vCPU's, 144 GB RAM) werden geïnstantieerd in een paar API-aanroepen via SageMaker Training om gegevenstransformatietaken uit te voeren. Het team gebruikte zowel single-instance als multi-instance CPU-taken voor verschillende use-cases. Sommige van deze taken maakten gebruik van honderden parallelle SNA-taken (share-nothing architecture), elk op één enkele machine, en voor taken die synchronisatie tussen werknemers vereisten, lanceerde het team multi-instance-taken, cumulatief in tientallen instanties en duizenden vCPU's. Anekdotisch ging het team tijdens een downstream dataset-voorbereidingstaak naar 257 ml.c5.18xlarge in een enkele SageMaker Training-taak, cumulatief in 18,504 vCPU en 37 TB geheugen.
Maximaliseren van trainingsdoorvoer
Om zowel de trainingskosten als de time-to-market te minimaliseren, volgde het team verschillende optimalisatierichtingen om de trainingssnelheid te verhogen in verhouding tot de per seconde verwerkte trainingstokens en gemeten in TFLOP's/GPU. Het team gebruikte een volledig op maat gemaakt 3D-parallel LLM-trainingsframework, met op maat geoptimaliseerde lagen geschreven in gecompileerde GPU-code. Het team ging zelfs zo ver dat ze hun eigen aangepaste matrixvermenigvuldigingsimplementatie schreven om nog meer snelheid te winnen! Het team ontwikkelde ook logica die parallelle communicatie aanpast aan de onderliggende netwerktopologie. Tijdens hun eerste schaalexperimenten kon TII 166 TFLOP's/GPU bereiken op een 147B-model op 256 GPU's, en 173 TFLOP's/GPU op een 13B-model op 16 GPU's, naar ons weten het snelst bekende model TFLOP's behaald in de cloud op het tijdstip van de test eind 2022.
Serverloze opslag
LLM-training is opslagintensief; verschillende terabytes aan trainingsgegevens moeten naar het trainingscluster worden gekanaliseerd en verschillende terabytes aan modelcontrolepunten reizen regelmatig terug van het cluster naar de permanente opslag. Checkpoints moeten ook zo snel mogelijk het trainingscluster bereiken in het geval van een herstart van een taak. In traditionele high-performance computing (HPC) zijn rekenknooppunten verbonden met gedistribueerde bestandssystemen, die krachtige I/O en doorvoer bieden via een POSIX-achtige interface. In AWS gebruiken klanten regelmatig de Amazon FSx voor Luster bestandssysteem voor dit doel (zie voor meer details Versnel de training op Amazon SageMaker met Amazon FSx voor Luster- en Amazon EFS-bestandssystemen), en we documenteerden ook het zelfbeheerde gebruik van BeeGFS in een gedistribueerde casestudy over computervisie. Vanwege hun focus op kosten en operationele eenvoud, besloot het team om geen bestandssysteemservers te implementeren en te gebruiken, maar in plaats daarvan de uitdaging aan te gaan om uitsluitend bovenop serverloze objectopslag te bouwen Amazon eenvoudige opslagservice (Amazone S3). Een aangepaste S3-datasetklasse werd gebouwd met behulp van de AWS SDK voor Python (Boto3) en leverde bevredigende prestaties terwijl de wetenschappers autonoom konden itereren op I/O-engineering en modelwetenschap binnen dezelfde codebase.
Innovatie aan de klantzijde
Een LLM-project bestaat zelden uit een enkele opleidingsopdracht; er zijn veel banen nodig om de eerste tests en ervaringen uit te voeren. Tijdens de hoofdproductietraining kunnen verschillende taken aan elkaar worden gekoppeld, bijvoorbeeld om configuratie- of softwareversies bij te werken, patches uit te rollen of fouten te herstellen. Wetenschappers van TII voerden significante engineering uit om aangepaste klanten te bouwen die zijn aangepast aan LLM-training. Bovenop de SageMaker Training SDK is een launcher-client gebouwd om meerdere functionaliteiten in één opdracht samen te voegen, bijvoorbeeld codeversiebeheer, het bouwen van Docker-images en het starten van taken. Bovendien, een AWS Lambda serverloze rekenfunctie is ontworpen om taken te bekijken, te bewaken en indien nodig in te grijpen.
Gebruik van Slack-bots voor audits van inferentiekwaliteit
Tegen het einde van de training implementeerde het team het model op een interne SageMaker Hosting GPU-eindpunt voor real-time interactie. Het team ging zelfs zo ver dat het een Slack-bot creëerde om mee te communiceren, om realistische feedback te krijgen en kwalitatieve kwaliteitsaudits van het model uit te voeren.
Training en prestatiebewaking
Het trainen van een LLM vereist grote hoeveelheden computerbronnen, waaronder CPU-, GPU- en geheugenbronnen. Daarom moest TII de prestaties en inactieve tijd van de trainingstaak bewaken om een optimaal gebruik van de computerbronnen en hun kosteneffectiviteit te garanderen.
Om een geautomatiseerde monitoringoplossing te bouwen, gebruikte TII Amazon Cloud Watch alarmen om het gebruik van GPU, CPU en geheugen voor de trainingstaken te bewaken. CloudWatch verzamelt onbewerkte gegevens en verwerkt deze tot leesbare, bijna realtime statistieken van de onderliggende containerinstanties die worden gebruikt in de SageMaker Training-taak. Daarna stellen we drempels in voor elk van deze meetwaarden en als een meetwaarde onder de drempel komt, wordt er een alarm geactiveerd. Dit alarm stelt het team van TII op de hoogte van het lage gebruik van bronnen, waardoor ze corrigerende maatregelen kunnen nemen om de beperkingen van het gebruik van bronnen te verhelpen.
Naast het monitoren van het gebruik van resources, kan TII ook de inactieve tijd van de trainingstaakbronnen monitoren. Als de hulpmiddelen voor de opleidingstaak gedurende een langere periode niet worden gebruikt, kan dit wijzen op een knelpunt in elk stadium van de opleidingscyclus en handmatig onderzoek vereisen. In sommige gevallen was het gebruik van middelen nog steeds relatief optimaal, maar het trainingsproces zelf vorderde niet. Voor deze gevallen heeft TII CloudWatch-alarmen geïntegreerd met Lambda-functies om de gegenereerde trainingslogboeken op te vragen en te lezen, en vervolgens automatische acties te ondernemen op basis van de gegenereerde fout of de inactiviteit van het proces voor het genereren van logs (cluster wordt stopgezet). Het alarm activeert een actie om de trainingstaak te stoppen, wat ervoor zorgt dat TII geen onnodige kosten maakt wanneer de middelen niet worden gebruikt.
Conclusie
Door SageMaker te gebruiken in combinatie met gepatenteerde, op maat gemaakte innovatie, kon TII een model trainen dat state-of-the-art is in meerdere dimensies: technologische doorbraak, wetenschappelijke kwaliteit, trainingssnelheid en ook operationele eenvoud.
“Onze Falcon LLM illustreert het technologische leiderschap van de VAE en maakt de weg vrij voor door AI aangedreven innovatie in de regio. In overeenstemming met de Nationale AI-strategie 2031 van de VAE is de deelname van de VAE aan wereldwijde technologische vooruitgang, zoals Falcon LLM, een cruciaal onderdeel van onze reis naar een op kennis gebaseerde economie. De VAE kiest ervoor om actief deel te nemen aan het bredere gesprek door te investeren in en AI-oplossingen te ontwikkelen die zullen helpen nieuwe economische, sociale en educatieve kansen te creëren. Als onderdeel van deze toezegging toont de open-source release van Falcon LLM de toewijding van de VAE om samenwerking te bevorderen, transparantie te bevorderen en innovatie en onderzoek op het gebied van AI te ondersteunen. Door Falcon LLM open source te maken, streven we ernaar wijdverspreide toegang tot zijn geavanceerde technische mogelijkheden mogelijk te maken en onderzoekers en organisaties over de hele wereld in staat te stellen. Deze belangrijke stap illustreert de inzet van de VAE om vooruitgang op het gebied van AI te stimuleren en verstevigt haar positie als leider in de wereldwijde AI-gemeenschap. Volgende stappen zijn onder meer bijdragen aan verdere vooruitgang op het gebied van AI en geavanceerde technologieën, met nieuwe modellen aan de horizon, en het promoten van het gebruik van geavanceerde AI-technologie binnen organisaties en bedrijven in de VAE.”
– Dr. Almazrouei
Ga voor meer informatie over Falcon LLM naar de website FalconLLM.tii.ae en de modelkaart op Hugging Face!
Over de auteurs
Dr. Ebtesam Almazrouei is uitvoerend directeur-waarnemend hoofd AI-onderzoeker van de AI-Cross Center Unit en projectleider voor LLM-projecten bij TII. Haar werk richt zich op het leveren van AI en geavanceerde technische oplossingen in meerdere sectoren, van gezondheidszorg, telecommunicatie, onderwijs, energie en beveiliging. Dr. Almazrouei speelt een cruciale rol bij het bouwen van LLM's en het versterken van de capaciteit van de VAE op dit gebied, en leidt het team achter het bouwen van Falcon LLM. Daarnaast leidde ze de ontwikkeling van Noor, 's werelds grootste Arabische LLM tot nu toe.
Wil Badr is een Sr. Manager AI/ML Solutions Architects gevestigd in Dubai – Verenigde Arabische Emiraten en maakt deel uit van het wereldwijde Amazon Machine Learning-team. Will is gepassioneerd over het gebruik van technologie op innovatieve manieren om een positieve impact te hebben op de gemeenschap. In zijn vrije tijd gaat hij graag duiken, voetballen en de Pacifische eilanden verkennen.
Olivier Cruchant is een Machine Learning Specialist Solutions Architect bij AWS, gevestigd in Frankrijk. Olivier helpt AWS-klanten - van kleine startups tot grote ondernemingen - bij het ontwikkelen en implementeren van machine learning-applicaties op productieniveau. In zijn vrije tijd leest hij graag onderzoekspapers en verkent hij de wildernis met vrienden en familie.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoAiStream. Web3 gegevensintelligentie. Kennis versterkt. Toegang hier.
- De toekomst slaan met Adryenn Ashley. Toegang hier.
- Koop en verkoop aandelen in PRE-IPO-bedrijven met PREIPO®. Toegang hier.
- Bron: https://aws.amazon.com/blogs/machine-learning/technology-innovation-institute-trains-the-state-of-the-art-falcon-llm-40b-foundation-model-on-amazon-sagemaker/