Afbeelding door auteur
 

In de huidige, technisch onderlegde wereld worden we omringd door verbluffende, door AI aangedreven wonderen: stemassistenten die onze vragen beantwoorden, slimme camera's die gezichten identificeren en zelfrijdende auto's die over de wegen navigeren. Ze zijn net de superhelden van ons digitale tijdperk! Het is echter moeilijker dan het lijkt om deze technologische wonderen soepel te laten werken op onze dagelijkse apparaten. Deze AI-superhelden hebben een speciale behoefte: aanzienlijke rekenkracht en geheugenbronnen. Het is alsof je probeert een hele bibliotheek in een kleine rugzak te stoppen. En raad eens? De meeste van onze reguliere apparaten zoals telefoons, smartwatches etc. hebben niet genoeg 'hersen kracht' om met deze AI-superhelden om te gaan. Dit vormt een groot probleem bij de wijdverbreide inzet van de AI-technologie.

Daarom is het van cruciaal belang om de efficiëntie van deze grote AI-modellen te verbeteren en ze toegankelijk te maken. Deze les: "TinyML en efficiënt deep learning-computing" van MIT HAN lab pakt dit kernobstakel aan. Het introduceert methoden om AI-modellen te optimaliseren en hun levensvatbaarheid in realistische scenario's te garanderen. Laten we eens gedetailleerd bekijken wat het biedt:

Cursusstructuur:

Duur: Vallen 2023

timing: Dinsdag/donderdag 3-35 uur Eastern Time

Instructeur: Professor Songhan

Onderwijsassistenten: Han Cai en Ji Lin

Omdat dit een doorlopende cursus is, kun je de livestream hier bekijken link.

Cursusbenadering:

Theoretisch fundament: Begint met fundamentele concepten van Deep Learning en gaat vervolgens over op geavanceerde methoden voor efficiënt AI-computing.

Praktijkervaring: Biedt praktische ervaring door studenten in staat te stellen grote taalmodellen zoals LLaMA 2 op hun laptops te implementeren en ermee te werken.

1. Efficiënte gevolgtrekking

Deze module richt zich primair op het verbeteren van de efficiëntie van AI-inferentieprocessen. Het verdiept zich in technieken zoals snoeien, spaarzaamheid en kwantisering die erop gericht zijn gevolgtrekkingsoperaties sneller en hulpbronnenefficiënter te maken. Belangrijke onderwerpen die aan bod komen zijn onder meer:

• Snoeien en schaarsheid (deel I en II): Methoden onderzoeken om de grootte van modellen te verkleinen door onnodige onderdelen te verwijderen zonder de prestaties in gevaar te brengen.
• Kwantisering (Deel I & II): Technieken om gegevens en modellen weer te geven met minder bits, waardoor geheugen en rekenbronnen worden bespaard.
• Neurale architectuur zoeken (Deel I & II): Deze lezingen onderzoeken geautomatiseerde technieken voor het ontdekken van de beste neurale netwerkarchitecturen voor specifieke taken. Ze demonstreren praktische toepassingen op verschillende gebieden, zoals NLP, GAN, puntenwolkanalyse en pose-schatting.
• Kennisdistillatie: Deze sessie richt zich op kennisdistillatie, een proces waarbij een compact model wordt getraind om het gedrag van een groter, complexer model na te bootsen. Het doel is om kennis van het ene model naar het andere over te dragen.
• MCUNet: TinyML op microcontrollers: Deze lezing introduceert MCUNet, dat zich richt op het inzetten van TinyML-modellen op microcontrollers, waardoor AI efficiënt kan werken op apparaten met een laag energieverbruik. Het behandelt de essentie van TinyML, de uitdagingen ervan, het creëren van compacte neurale netwerken en de diverse toepassingen ervan.
• TinyEngine en parallelle verwerking: Dit deel bespreekt TinyEngine, waarbij methoden worden onderzocht voor efficiënte implementatie en parallelle verwerkingsstrategieën zoals lusoptimalisatie, multithreading en geheugenindeling voor AI-modellen op beperkte apparaten.

2. Domeinspecifieke optimalisatie

In het domeinspecifieke optimalisatiesegment behandelt de cursus verschillende geavanceerde onderwerpen gericht op het optimaliseren van AI-modellen voor specifieke domeinen:

• Transformator en LLM (deel I en II): Het duikt in de basisprincipes van Transformer, ontwerpvarianten en behandelt geavanceerde onderwerpen met betrekking tot efficiënte inferentie-algoritmen voor LLM's. Het onderzoekt ook efficiënte gevolgtrekkingssystemen en verfijningsmethoden voor LLM's.
• Visietransformator: In dit gedeelte worden de basisprincipes van Vision Transformer, efficiënte ViT-strategieën en diverse versnellingstechnieken geïntroduceerd. Het onderzoekt ook zelfgestuurde leermethoden en multimodale grote taalmodellen (LLM's) om de AI-mogelijkheden bij visiegerelateerde taken te verbeteren.
• GAN, video en puntenwolk: Deze lezing richt zich op het verbeteren van Generative Adversarial Networks (GAN's) door het onderzoeken van efficiënte GAN-compressietechnieken (met behulp van NAS+destillatie), AnyCost GAN voor dynamische kosten, en Differentiable Augmentation voor data-efficiënte GAN-training. Deze benaderingen zijn gericht op het optimaliseren van modellen voor GAN's, videoherkenning en puntenwolkanalyse.
• Verspreidingsmodel: Deze lezing biedt inzicht in de structuur, training, domeinspecifieke optimalisatie en snelle bemonsteringsstrategieën van diffusiemodellen. 

3. Efficiënte training

Efficiënte training verwijst naar de toepassing van methodologieën om het trainingsproces van machine learning-modellen te optimaliseren. Dit hoofdstuk behandelt de volgende belangrijke gebieden:

• Gedistribueerde training (deel I en II): Ontdek strategieën om training over meerdere apparaten of systemen te verspreiden. Het biedt strategieën voor het overwinnen van knelpunten in bandbreedte en latentie, het optimaliseren van het geheugenverbruik en het implementeren van efficiënte parallellisatiemethoden om de efficiëntie van het trainen van grootschalige machine learning-modellen in gedistribueerde computeromgevingen te verbeteren.
• Training op het apparaat en leren overbrengen: Deze sessie richt zich primair op het rechtstreeks trainen van modellen op edge-apparaten, het omgaan met geheugenbeperkingen en het gebruik van transferleermethoden voor efficiënte aanpassing aan nieuwe domeinen.
• Efficiënte afstemming en snelle engineering: Dit gedeelte richt zich op het verfijnen van grote taalmodellen (LLM's) door middel van efficiënte fijnafstemmingstechnieken zoals BitFit, Adapter en Prompt-Tuning. Daarnaast wordt het concept van Prompt Engineering benadrukt en wordt geïllustreerd hoe dit de prestaties en het aanpassingsvermogen van modellen kan verbeteren.

4. Geavanceerde onderwerpen

Deze module behandelt onderwerpen over een opkomend gebied van Quantum Machine Learning. Hoewel de gedetailleerde lezingen voor dit segment nog niet beschikbaar zijn, zijn de geplande onderwerpen voor dekking onder meer:

• Basisprincipes van kwantumcomputers
• Quantum machine learning
• Ruis Robuuste Quantum ML

Deze onderwerpen zullen een fundamenteel inzicht verschaffen in de kwantumprincipes in computers en onderzoeken hoe deze principes worden toegepast om methoden voor machinaal leren te verbeteren en tegelijkertijd de uitdagingen aan te pakken die ruis in kwantumsystemen met zich meebrengt.

Als je geïnteresseerd bent om dieper in deze cursus te duiken, bekijk dan de onderstaande afspeellijst:

[ingesloten inhoud][ingesloten inhoud]

Deze cursus heeft fantastische feedback gekregen, vooral van AI-enthousiastelingen en professionals. Hoewel de cursus nog gaande is en in december 2023 zal eindigen, raad ik je ten zeerste aan om mee te doen! Als u deze cursus volgt of van plan bent dit te doen, deel dan uw ervaringen. Laten we chatten en samen leren over TinyML en hoe we AI slimmer kunnen maken op kleine apparaten. Uw input en inzichten zouden waardevol zijn!
 
 

Kanwal Mehreen is een aspirant-softwareontwikkelaar met een grote interesse in datawetenschap en toepassingen van AI in de geneeskunde. Kanwal werd geselecteerd als de Google Generation Scholar 2022 voor de APAC-regio. Kanwal deelt graag technische kennis door artikelen te schrijven over trending topics en heeft een passie voor het verbeteren van de vertegenwoordiging van vrouwen in de technische industrie.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://www.kdnuggets.com/free-mit-course-tinyml-and-efficient-deep-learning-computing?utm_source=rss&utm_medium=rss&utm_campaign=free-mit-course-tinyml-and-efficient-deep-learning-computing