Dit artikel is gepubliceerd als onderdeel van het Data Science-blogathon.
Deep Learning en AI brengen enorme rekenkosten met zich mee. Algoritmen voor kunstmatige intelligentie, die een aantal van de meest geavanceerde toepassingen van de technologie mogelijk maken, zoals het produceren van logische stukken tekst of het maken van beelden uit beschrijvingen, hebben mogelijk enorme hoeveelheden rekenkracht nodig om te trainen. Dit vereist op zijn beurt een enorme hoeveelheid stroom, waardoor velen vrezen dat de ecologische voetafdruk van deze steeds populairdere ultragrote AI-systemen ze ecologisch onhoudbaar zou maken.
AI en energie
De kunstmatige-intelligentiesector wordt soms vergeleken met de olie-industrie: gegevens kunnen, net als olie, een enorm winstgevende grondstof zijn als ze worden verzameld en verwerkt. Onderzoekers van de Universiteit van Massachusetts, Amherst, voerden in een recente publicatie een levenscyclusanalyse uit voor het trainen van verschillende typische grote AI-modellen. Ze ontdekten dat de procedure bijna 626,000 pond CO2-equivalent kan produceren.
(Bron: MIT Technology Review )
(Afbeelding: https://www.technologyreview.com/2019/06/06/239031/training-a-single-ai-model-can-emit-as-much-carbon-as-five-cars-in-their -levens/)
Moderne AI-modellen verbruiken enorm veel energie en hun energiebehoefte neemt snel toe. De computerresources die nodig zijn om een best-in-class AI-model te creëren, zijn in het tijdperk van deep learning elke 3 tot 4 maanden verdubbeld.
Van: Rob Toews voor Forbes 17 juni 2020,11, 54:XNUMX uur EDT (link hieronder).
Tegenwoordig heeft AI een aanzienlijke ecologische voetafdruk en als de huidige markttrends zich voortzetten, zal het binnenkort veel erger zijn. Kunstmatige intelligentie kan de komende jaren een tegenstander worden in de strijd tegen klimaatverandering, tenzij we klaar zijn om het huidige AI-ontwikkelingsprogramma te onderzoeken en te herzien.
De COXNUMX-voetafdruk begrijpen
Kunstmatige intelligentie wordt een steeds belangrijker onderdeel van onderzoek, gezondheid en zelfs ons dagelijks leven. Deep learning wordt gebruikt in chatbots, digitale assistenten en aanbevelingen voor streamingdiensten voor films en muziek. Deep learning is een proces waarbij computermodellen worden getraind om patronen in data te herkennen.
(Afbeelding: https://www.pexels.com/photo/female-software-engineer-coding-on-computer-3861972/ )
Het GPT-3-model heeft maar liefst 175 miljard parameters. Om dit bedrag in context te plaatsen: het vorige model GPT-2 had slechts 1.5 miljard parameters toen het werd geïntroduceerd, wat destijds als baanbrekend werd beschouwd. GPT-2 had een paar dozijn petaflop-dagen nodig om te trainen, wat al een grote hoeveelheid computerinvoer was, maar GPT-3 kostte duizenden.
De datasets die worden gebruikt om deze algoritmen te trainen, worden steeds groter. Na te zijn getraind op een dataset van 3 miljard woorden, behaalde het BERT-model in 2018 de beste NLP-prestaties in zijn klasse. Op basis van een trainingsset van 32 miljard woorden overtrof XLNet BERT. Niet lang daarna werd GPT-2 getraind op een dataset van 40 miljard woorden. GPT-3 werd getraind met behulp van een gewogen dataset van ongeveer 500 miljard woorden, die alle eerdere pogingen overschaduwde.
Een dergelijke exponentiële toename van trainingsgegevens leidt tot een toenemende ecologische voetafdruk van AI en Deep Learning. Voor elk stukje gegevens dat ze tijdens de training krijgen, voeren neurale netwerken een lange reeks wiskundige bewerkingen uit (zowel voorwaartse als achterwaartse voortplanting), waarbij ze hun parameters op geavanceerde manieren aanpassen. Grotere datasets vereisen meer reken- en energievereisten.
Het proces van het inzetten van AI-modellen om actie te ondernemen in de praktijk, ook wel inferentie genoemd, vereist aanzienlijk meer energie dan training. Nvidia gelooft inderdaad dat inferentie, in plaats van training, 80% tot 90% van de kosten van een neuraal netwerk uitmaakt.
Onderzoek naar de COXNUMX-voetafdruk van AI en Deep Learning
Gezien de alledaagse gevolgen van klimaatverandering, groeit de consensus over de noodzaak voor AI-onderzoeksethiek om zich te concentreren op het beperken en compenseren van de koolstofafdruk van het onderzoek. Samen met tijd, nauwkeurigheid en andere factoren moeten onderzoekers de kosten van energie opnemen in de resultaten van onderzoekspapers. In een recent onderzoeksrapport gepubliceerd door MIT-onderzoekers werd het proces van deep learning dat het milieu-effect overstijgt verder onderstreept. Onderzoekers voerden een levenscyclusstudie uit voor het trainen van veel typische grote AI-modellen in het artikel "Energy and Policy Considerations for Deep Learning in NLP.
Transformer, ELMo, BERT en GPT-2 zijn vier modellen in het veld die verantwoordelijk zijn geweest voor de belangrijkste prestatieverbeteringen. Ze trainden maximaal een dag op een enkele GPU om het stroomverbruik te bepalen. Vervolgens berekenden ze het totale energieverbruik tijdens de hele trainingsprocedure met behulp van het aantal trainingsuren dat in de originele papieren van het model staat. Op basis van de gemiddelde energiemix in de Verenigde Staten, die ongeveer overeenkomt met de energiemix die wordt gebruikt door Amazon's AWS, de grootste cloudserviceprovider, werd dat bedrag vertaald in ponden koolstofdioxide-equivalent.
(Afbeelding: https://www.technologyreview.com/2019/06/06/239031/training-a-single-ai-model-can-emit-as-much-carbon-as-five-cars-in-their -levens/)
De onderzoekers ontdekten dat de milieukosten van trainingen toenam in directe verhouding tot de modelgrootte. Het groeide snel toen er meer afstemmingsstappen werden toegepast om de ultieme nauwkeurigheid van het model te verbeteren. Vooral het zoeken naar neurale architectuur heeft hoge bijbehorende kosten met weinig prestatievoordeel. Neurale architectuur zoeken is een afstemmingsprocedure die probeert een model te verbeteren door het ontwerp van een neuraal netwerk geleidelijk te wijzigen via uitgebreide vallen en opstaan. De onderzoekers gaven ook aan dat deze gegevens alleen als uitgangspunt dienen te worden gebruikt. In de praktijk creëren AI-onderzoekers ofwel vanaf het begin een nieuw model of passen ze een bestaand model aan aan een nieuwe dataset, die beide veel extra trainingsrondes en aanpassingen vergen.
De COXNUMX-voetafdruk verkleinen
Er zijn verschillende manieren om de carbon footprint te verkleinen. Laten we eens kijken.
- Maak gebruik van rekenkundig efficiënte algoritmen voor machine learning. Dit is mogelijk omdat kwantiseringstechnologieën CPU's op snelheid kunnen brengen met GPU's en TPU's. Een mogelijkheid is om apparaten met beperkte middelen, zoals IoT-apparaten, te gebruiken voor edge computing.
- Train een model niet helemaal opnieuw als het niet nodig is. Hoewel de meeste onderzoekers niet helemaal opnieuw trainen, kan het trainen van een zwaar model vanaf het begin veel CPU/GPU-vermogen verbruiken. Daarom kan het gebruik van een vooraf getraind model de ecologische voetafdruk aanzienlijk verkleinen, omdat er minder elektriciteit nodig is. Azure biedt verschillende geavanceerde voorgetrainde modellen voor visie, spraak, taal & zoeken. Deze zijn al getraind op enorme datasets en gebruiken veel rekenuren om het model te trainen, de eindgebruiker hoeft alleen de kennis van deze modellen over te dragen naar zijn eigen dataset. Zo worden er maar een paar rekenuren en stroom besteed. Er is een kanttekening bij dit, er is aangegeven dat modelinferenties een grotere energieverbruiker zijn dan de training zelf op basis van onderzoek gedaan door Nvidia in 2019.
- Gebruik indien nodig geautomatiseerde ML. Waar machine learning vroeger vooral een laboratoriumactiviteit was, beginnen steeds meer bedrijven technologie buiten het laboratorium toe te passen. Dit houdt in dat het bepalen welk model het meest efficiënt is en het snel elimineren van de minder efficiënte modellen niet alleen geld bespaart aan de rekenkant, maar ook de ecologische voetafdruk minimaliseert.
- Het gebruik van federatieve leermethoden (FL) kan voordelig zijn op het gebied van de COXNUMX-voetafdruk. Een studie uitgevoerd door experts van de Universiteit van Cambridge, FL heeft bijvoorbeeld een voordeel vanwege de koelingseisen van datacenters. Hoewel GPU's en TPU's efficiënter worden in termen van verwerkingskracht per verbruikte energie-eenheid, blijft de behoefte aan een krachtig en energieverbruikend koelsysteem bestaan, zodat de FL altijd kan profiteren van hardware-ontwikkelingen.
- Deep learning en met name optische neurale netwerken kosten veel energie. Ten tweede is de modelinferentie een significante energieverbruiker. Nvidia schat dat modelinferentie 80-90 procent van de modelkosten kost. Een oplossing is het gebruik van aangepaste processors die de snelheid en efficiëntie van het trainen en testen van neurale netwerken verhogen. Als gevolg hiervan is het hebben van de juiste hardware van cruciaal belang.
Conclusie
AI lijkt voorbestemd voor een dubbele functie. Enerzijds heeft technologie het potentieel om de gevolgen van het klimaatprobleem te helpen verzachten, bijvoorbeeld door middel van smart grid-ontwerp, ontwikkeling van emissiearme infrastructuur en modellering van klimaatverandering. AI, aan de andere kant, is een grote uitstoter van koolstof.
De in dit artikel getoonde media zijn geen eigendom van Analytics Vidhya en worden naar goeddunken van de auteur gebruikt.
