Jarenlang Elon Musk heeft gesproken over Dojo – de AI-supercomputer die de hoeksteen zal vormen Tesla's AI-ambities. Het is belangrijk genoeg voor Musk dat hij onlangs zei dat het AI-team van het bedrijf “dubbel naar beneden' op Dojo terwijl Tesla zich opmaakt om zijn robotaxi in oktober te onthullen.
Maar wat is Dojo precies? En waarom is dit zo cruciaal voor de langetermijnstrategie van Tesla?
Kortom: Dojo is Tesla's op maat gemaakte supercomputer die is ontworpen om zijn 'volledig zelfrijdende' neurale netwerken te trainen. Het versterken van Dojo gaat hand in hand met Tesla's doel om volledig zelfrijdend te worden en een robotaxi op de markt te brengen. FSD, dat tegenwoordig op ongeveer 2 miljoen Tesla-voertuigen zit, kan een aantal geautomatiseerde rijtaken uitvoeren, maar vereist nog steeds dat een mens oplettend achter het stuur zit.
Tesla heeft de onthulling van zijn robotaxi uitgesteld, dat gepland stond voor augustus tot oktober, maar zowel de publieke retoriek van Musk als informatie uit bronnen binnen Tesla vertellen ons dat het doel van autonomie niet zal verdwijnen.
En Tesla lijkt klaar om veel geld uit te geven aan AI en Dojo om die prestatie te bereiken.
Het achtergrondverhaal van Tesla's Dojo
Elon Musk spreekt bij de Tesla Giga Texas productie “Cyber Rodeogroot openingsfeest op 7 april 2022 in Austin, Texas. Beeldkredieten: Suzanne Cordeiro/AFP via Getty-afbeeldingen
Musk wil niet dat Tesla alleen maar een autofabrikant is, of zelfs maar een leverancier van zonnepanelen en energieopslagsystemen. In plaats daarvan wil hij dat Tesla een AI-bedrijf wordt, een bedrijf dat de code voor zelfrijdende auto’s heeft gekraakt door de menselijke perceptie na te bootsen.
De meeste andere bedrijven bouwen autonoom voertuig De technologie is afhankelijk van een combinatie van sensoren om de wereld waar te nemen – zoals lidar, radar en camera’s – en van high-definition kaarten om het voertuig te lokaliseren. Tesla gelooft dat het volledig autonoom rijden kan bereiken door alleen op camera's te vertrouwen om visuele gegevens vast te leggen en vervolgens geavanceerde neurale netwerken te gebruiken om die gegevens te verwerken en snelle beslissingen te nemen over hoe de auto zich moet gedragen.
Zoals Tesla's voormalige hoofd van AI, Andrej Karpathy, zei tijdens de eerste bijeenkomst van de autofabrikant AI-dag in 2021probeert het bedrijf in feite ‘een synthetisch dier van de grond af’ op te bouwen. (Musk plaagde Dojo al sinds 2019, maar Tesla kondigde het officieel aan op AI Day.)
Bedrijven zoals Alphabet Waymo hebben gecommercialiseerde autonome voertuigen van niveau 4 – dat de SAE definieert als een systeem dat zichzelf kan besturen zonder de noodzaak van menselijke tussenkomst onder bepaalde omstandigheden – door middel van een meer traditionele sensor- en machine learning-aanpak. Tesla moet nog een autonoom systeem produceren waarvoor geen mens achter het stuur nodig is.
Ongeveer 1.8 miljoen mensen hebben het hoge bedrag betaald Abonnements prijs voor Tesla's FSD, die momenteel $ 8,000 kost en dat ook is geweest prijs zo hoog als $ 15,000. Het verhaal is dat door de Dojo getrainde AI-software uiteindelijk via draadloze updates naar Tesla-klanten zal worden gestuurd. De omvang van FSD betekent ook dat Tesla miljoenen kilometers aan videobeelden heeft kunnen verzamelen die het gebruikt om FSD te trainen. Het idee daar is dat hoe meer gegevens Tesla kan verzamelen, hoe dichter de autofabrikant kan komen bij het daadwerkelijk bereiken van volledig zelfrijdend rijden.
Sommige experts uit de industrie zeggen echter dat er misschien een grens zit aan de brute force-aanpak waarbij meer gegevens naar een model worden gestuurd en verwacht dat het slimmer wordt.
“Allereerst is er een economische beperking, en binnenkort zal het gewoon te duur worden om dat te doen”, zegt Anand Raghunathan, hoogleraar elektrische en computertechniek aan de Purdue University in Silicon Valley. TechCrunch. Verder zei hij: “Sommige mensen beweren dat we misschien wel eens geen zinvolle gegevens meer hebben om de modellen op te trainen. Meer data betekent niet noodzakelijkerwijs meer informatie, dus het hangt ervan af of die data informatie bevatten die nuttig is om een beter model te creëren, en of het trainingsproces die informatie daadwerkelijk in een beter model kan destilleren.”
Raghunathan zei dat ondanks deze twijfels de trend van meer gegevens er op zijn minst voor de korte termijn lijkt te zijn. En meer data betekent dat er meer rekenkracht nodig is om alles op te slaan en te verwerken om de AI-modellen van Tesla te trainen. Dat is waar Dojo, de supercomputer, in beeld komt.
Wat is een supercomputer?
Dojo is het supercomputersysteem van Tesla dat is ontworpen om te functioneren als oefenterrein voor AI, met name FSD. De naam is een knipoog naar de ruimte waar vechtsporten worden beoefend.
Een supercomputer bestaat uit duizenden kleinere computers die knooppunten worden genoemd. Elk van deze knooppunten heeft zijn eigen CPU (centrale verwerkingseenheid) en GPU (grafische verwerkingseenheid). De eerste verzorgt het algehele beheer van het knooppunt, en de laatste doet de complexe dingen, zoals het opsplitsen van taken in meerdere delen en er tegelijkertijd aan werken. GPU's zijn essentieel voor machine learning-operaties zoals die welke FSD-training in simulatie mogelijk maken. Ze drijven ook grote taalmodellen aan, en daarom heeft de opkomst van generatieve AI Nvidia tot het meest waardevolle bedrijf ter wereld gemaakt.
Zelfs Tesla koopt Nvidia GPU’s om zijn AI te trainen (daarover later meer).
Waarom heeft Tesla een supercomputer nodig?
De visiegerichte aanpak van Tesla is de belangrijkste reden dat Tesla een supercomputer nodig heeft. De neurale netwerken achter FSD zijn getraind op grote hoeveelheden rijgegevens om objecten rond het voertuig te herkennen en te classificeren en vervolgens rijbeslissingen te nemen. Dat betekent dat wanneer FSD is ingeschakeld, de neurale netten continu visuele gegevens moeten verzamelen en verwerken met snelheden die overeenkomen met de diepte- en snelheidsherkenningsmogelijkheden van een mens.
Met andere woorden: Tesla wil een digitaal duplicaat creëren van de menselijke visuele cortex en hersenfunctie.
Om dat te bereiken moet Tesla alle videogegevens van zijn auto's over de hele wereld opslaan en verwerken en miljoenen simulaties uitvoeren om zijn model op de gegevens te trainen.
Tesla lijkt te vertrouwen op Nvidia om zijn huidige Dojo-trainingscomputer van stroom te voorzien, maar wil niet alle eieren in één mandje hebben – niet in de laatste plaats omdat Nvidia-chips duur zijn. Tesla hoopt ook iets beters te maken dat de bandbreedte vergroot en de latenties verlaagt. Daarom besloot de AI-divisie van de autofabrikant een eigen hardwareprogramma op maat te bedenken dat tot doel heeft AI-modellen efficiënter te trainen dan traditionele systemen.
De kern van dat programma zijn de eigen D1-chips van Tesla, die volgens het bedrijf geoptimaliseerd zijn voor AI-workloads.
Vertel me meer over deze chips
Ganesh Venkataramanan, voormalig senior directeur van Autopilot-hardware, presenteert de D1-trainingstegel op Tesla's AI Day 2021. Beeldkredieten: Tesla/screenshot van gestreamd evenement
Tesla is dezelfde mening toegedaan als Apple, in die zin dat het vindt dat hardware en software ontworpen moeten zijn om samen te werken. Daarom werkt Tesla eraan om af te stappen van de standaard GPU-hardware ontwerp zijn eigen chips om Dojo van stroom te voorzien.
Tesla onthulde zijn D1-chip, een siliciumvierkant ter grootte van een handpalm, op AI Day in 2021. De D1-chip ging in ieder geval in mei van dit jaar in productie. De Taiwan Semiconductor Manufacturing Company (TSMC) vervaardigt de chips met behulp van halfgeleiderknooppunten van 7 nanometer. De D1 heeft 50 miljard transistors en een grote chipgrootte 645 millimeter kwadraat, volgens Tesla. Dit alles wil zeggen dat de D1 extreem krachtig en efficiënt belooft te zijn en complexe taken snel zal kunnen uitvoeren.
“We kunnen tegelijkertijd reken- en gegevensoverdrachten uitvoeren, en onze aangepaste ISA, de instructiesetarchitectuur, is volledig geoptimaliseerd voor machine learning-workloads”, zei Ganesh Venkataramanan, voormalig senior directeur van Autopilot-hardware, op Tesla's 2021 AI Day. “Dit is een pure machine learning-machine.”
De D1 is echter nog steeds niet zo krachtig als Nvidia's A100-chip, die ook door TSMC is vervaardigd met behulp van een 7 nanometer-proces. De A100 bevat 54 miljard transistors en heeft een matrijsgrootte van 826 vierkante millimeter, waardoor hij iets beter presteert dan Tesla's D1.
Om een hogere bandbreedte en meer rekenkracht te krijgen, heeft het AI-team van Tesla 25 D1-chips samengesmolten tot één tegel om als een verenigd computersysteem te functioneren. Elke tegel heeft een rekenkracht van 9 petaflops en 36 terabytes per seconde aan bandbreedte, en bevat alle hardware die nodig is voor stroom, koeling en dataoverdracht. Je kunt de tegel zien als een zelfvoorzienende computer die bestaat uit 25 kleinere computers. Zes van die tegels vormen één rek en twee rekken vormen een kast. Tien kasten vormen een ExaPOD. Op AI Day 2022 zei Tesla dat Dojo zou opschalen door meerdere ExaPOD's in te zetten. Dit alles samen vormt de supercomputer.
Tesla werkt ook aan een next-gen D2-chip die tot doel heeft knelpunten in de informatiestroom op te lossen. In plaats van de afzonderlijke chips met elkaar te verbinden, zou de D2 de hele Dojo-tegel op één enkele siliciumwafel plaatsen.
Tesla heeft nog niet bevestigd hoeveel D1-chips het heeft besteld of verwacht te ontvangen. Het bedrijf heeft ook geen tijdlijn gegeven voor hoe lang het zal duren om Dojo-supercomputers op D1-chips te laten draaien.
Als reactie op een bericht van juni op X die zei: “Elon bouwt een gigantische GPU-koeler in Texas”, antwoordde Musk dat Tesla de komende achttien maanden mikte op “de helft Tesla AI-hardware, de helft Nvidia/andere”. De “andere” zouden AMD-chips kunnen zijn, per Musk's opmerking in januari.
Wat betekent Dojo voor Tesla?
Tesla's mensachtige robot Optimus Prime II bij WAIC in Shanghai, China, op 7 juli 2024. Beeldkredieten: Costfoto/NurPhoto via Getty Images)
Door de controle over zijn eigen chipproductie over te nemen, kan Tesla op een dag snel en tegen lage kosten grote hoeveelheden rekenkracht aan AI-trainingsprogramma's kunnen toevoegen, vooral nu Tesla en TSMC de chipproductie opschalen.
Het betekent ook dat Tesla in de toekomst wellicht niet meer afhankelijk hoeft te zijn van de chips van Nvidia, die steeds duurder en moeilijker te beveiligen zijn.
Tijdens Tesla's winstoproep voor het tweede kwartaal zei Musk dat de vraag naar Nvidia-hardware "zo hoog is dat het vaak moeilijk is om aan de GPU's te komen." Hij zei dat hij “behoorlijk bezorgd was over het daadwerkelijk kunnen krijgen van stabiele GPU’s wanneer we ze willen, en ik denk dat dit daarom vereist dat we veel meer moeite doen in Dojo om ervoor te zorgen dat we over de trainingsmogelijkheden beschikken die we nodig hebben. .”
“Van de ongeveer 10 miljard dollar aan AI-gerelateerde uitgaven waarvan ik zei dat Tesla dit jaar zou doen, is ongeveer de helft intern, voornamelijk de door Tesla ontworpen AI-inferentiecomputer en sensoren die aanwezig zijn in al onze auto’s, plus Dojo. Voor het bouwen van de AI-trainingssuperclusters kost Nvidia-hardware ongeveer tweederde van de kosten. Mijn huidige beste schatting voor Nvidia-aankopen door Tesla is dit jaar $2 miljard tot $3 miljard.”
Inference compute verwijst naar de AI-berekeningen die in realtime door Tesla-auto's worden uitgevoerd en staat los van de trainingscomputer waarvoor Dojo verantwoordelijk is.
Dojo is een riskante gok, een gok die Musk meerdere keren heeft afgedekt door te zeggen dat Tesla misschien niet zal slagen.
Op de lange termijn zou Tesla theoretisch een nieuw bedrijfsmodel kunnen creëren op basis van zijn AI-divisie. Musk heeft gezegd dat de eerste versie van Dojo op maat zal worden gemaakt voor het labelen en trainen van Tesla-computervisie, wat geweldig is voor FSD en voor training Optimus, Tesla's mensachtige robot. Maar voor veel anders zou het niet nuttig zijn.
Musk heeft gezegd: dat toekomstige versies van Dojo meer afgestemd zullen zijn op AI-training voor algemene doeleinden. Een potentieel probleem daarbij is dat bijna alle AI-software die er is, is geschreven om met GPU’s te werken. Het gebruik van Dojo om AI-modellen voor algemene doeleinden te trainen zou het herschrijven van de software vereisen.
Dat wil zeggen, tenzij Tesla zijn computer verhuurt, vergelijkbaar met hoe AWS en Azuur verhuur van cloud computing-mogelijkheden. Musk merkte tijdens de resultaten over het tweede kwartaal ook op dat hij “een weg ziet om met Dojo concurrerend te zijn met Nvidia.”
Een rapport uit september 2023 van Morgan Stanley voorspelde dat Dojo dat wel zou kunnen 500 miljard dollar toevoegen aan de marktwaarde van Tesla door nieuwe inkomstenstromen te ontsluiten in de vorm van robotaxis en softwarediensten.
Kortom, de chips van Dojo zijn een verzekering beleid voor de autofabrikant, maar wel een beleid dat winst zou kunnen opleveren.
Hoe ver is Dojo?
Nvidia-CEO Jen-Hsun Huang en Tesla-CEO Elon Musk op de GPU Technology Conference in San Jose, Californië. Beeldkredieten: Kim Kulish/Corbis via Getty Images
Reuters meldde vorig jaar dat Tesla in juli 2023 met de productie op Dojo begon, maar a Juni 2023 bericht van Musk suggereerde dat Dojo ‘al een paar maanden online was en nuttige taken uitvoerde’.
Rond dezelfde tijd zei Tesla dat het verwachtte dat Dojo in februari 2024 een van de vijf krachtigste supercomputers zou zijn – een prestatie die nog niet openbaar is gemaakt, waardoor we betwijfelen of dit heeft plaatsgevonden.
Het bedrijf zei ook dat het verwacht dat de totale rekenkracht van Dojo in oktober 100 2024 exaflops zal bereiken. (1 exaflop is gelijk aan 1 quintiljoen computerbewerkingen per seconde). Om 100 exaflops te bereiken en ervan uitgaande dat één D1 362 teraflops kan bereiken, zou Tesla meer dan 276,000 teraflops nodig hebben. D1's, of ongeveer 320,500 Nvidia A100 GPU's.)
Tesla beloofde dat in januari 2024 ook 500 miljoen dollar uitgeven om een Dojo-supercomputer te bouwen in zijn gigantische fabriek in Buffalo, New York.
In mei 2024, Merkte Musk op dat het achterste gedeelte van Tesla’s gigafabriek in Austin gereserveerd zal worden voor een ‘superdicht, watergekoeld supercomputercluster’.
Net na de winstoproep van Tesla over het tweede kwartaal zei Musk geplaatst op X dat het AI-team van de autofabrikant de Tesla HW4 AI-computer (omgedoopt tot AI4), de hardware die op Tesla-voertuigen leeft, gebruikt in de trainingslus met Nvidia GPU's. Hij merkte op dat de verdeling ongeveer 90,000 Nvidia H100's plus 40,000 AI4-computers bedraagt.
“En Dojo 1 zal tegen het einde van het jaar ongeveer 8 H100-equivalent aan training online hebben”, vervolgde hij. “Niet enorm, maar ook niet triviaal.”
Tesla Dojo: het grote plan van Elon Musk om een AI-supercomputer te bouwen, uitgelegd – Autoblog
Jarenlang Elon Musk heeft gesproken over Dojo – de AI-supercomputer die de hoeksteen zal vormen Tesla's AI-ambities. Het is belangrijk genoeg voor Musk dat hij onlangs zei dat het AI-team van het bedrijf “dubbel naar beneden' op Dojo terwijl Tesla zich opmaakt om zijn robotaxi in oktober te onthullen.
Maar wat is Dojo precies? En waarom is dit zo cruciaal voor de langetermijnstrategie van Tesla?
Kortom: Dojo is Tesla's op maat gemaakte supercomputer die is ontworpen om zijn 'volledig zelfrijdende' neurale netwerken te trainen. Het versterken van Dojo gaat hand in hand met Tesla's doel om volledig zelfrijdend te worden en een robotaxi op de markt te brengen. FSD, dat tegenwoordig op ongeveer 2 miljoen Tesla-voertuigen zit, kan een aantal geautomatiseerde rijtaken uitvoeren, maar vereist nog steeds dat een mens oplettend achter het stuur zit.
Tesla heeft de onthulling van zijn robotaxi uitgesteld, dat gepland stond voor augustus tot oktober, maar zowel de publieke retoriek van Musk als informatie uit bronnen binnen Tesla vertellen ons dat het doel van autonomie niet zal verdwijnen.
En Tesla lijkt klaar om veel geld uit te geven aan AI en Dojo om die prestatie te bereiken.
Het achtergrondverhaal van Tesla's Dojo
Musk wil niet dat Tesla alleen maar een autofabrikant is, of zelfs maar een leverancier van zonnepanelen en energieopslagsystemen. In plaats daarvan wil hij dat Tesla een AI-bedrijf wordt, een bedrijf dat de code voor zelfrijdende auto’s heeft gekraakt door de menselijke perceptie na te bootsen.
De meeste andere bedrijven bouwen autonoom voertuig De technologie is afhankelijk van een combinatie van sensoren om de wereld waar te nemen – zoals lidar, radar en camera’s – en van high-definition kaarten om het voertuig te lokaliseren. Tesla gelooft dat het volledig autonoom rijden kan bereiken door alleen op camera's te vertrouwen om visuele gegevens vast te leggen en vervolgens geavanceerde neurale netwerken te gebruiken om die gegevens te verwerken en snelle beslissingen te nemen over hoe de auto zich moet gedragen.
Zoals Tesla's voormalige hoofd van AI, Andrej Karpathy, zei tijdens de eerste bijeenkomst van de autofabrikant AI-dag in 2021probeert het bedrijf in feite ‘een synthetisch dier van de grond af’ op te bouwen. (Musk plaagde Dojo al sinds 2019, maar Tesla kondigde het officieel aan op AI Day.)
Bedrijven zoals Alphabet Waymo hebben gecommercialiseerde autonome voertuigen van niveau 4 – dat de SAE definieert als een systeem dat zichzelf kan besturen zonder de noodzaak van menselijke tussenkomst onder bepaalde omstandigheden – door middel van een meer traditionele sensor- en machine learning-aanpak. Tesla moet nog een autonoom systeem produceren waarvoor geen mens achter het stuur nodig is.
Ongeveer 1.8 miljoen mensen hebben het hoge bedrag betaald Abonnements prijs voor Tesla's FSD, die momenteel $ 8,000 kost en dat ook is geweest prijs zo hoog als $ 15,000. Het verhaal is dat door de Dojo getrainde AI-software uiteindelijk via draadloze updates naar Tesla-klanten zal worden gestuurd. De omvang van FSD betekent ook dat Tesla miljoenen kilometers aan videobeelden heeft kunnen verzamelen die het gebruikt om FSD te trainen. Het idee daar is dat hoe meer gegevens Tesla kan verzamelen, hoe dichter de autofabrikant kan komen bij het daadwerkelijk bereiken van volledig zelfrijdend rijden.
Sommige experts uit de industrie zeggen echter dat er misschien een grens zit aan de brute force-aanpak waarbij meer gegevens naar een model worden gestuurd en verwacht dat het slimmer wordt.
“Allereerst is er een economische beperking, en binnenkort zal het gewoon te duur worden om dat te doen”, zegt Anand Raghunathan, hoogleraar elektrische en computertechniek aan de Purdue University in Silicon Valley. TechCrunch. Verder zei hij: “Sommige mensen beweren dat we misschien wel eens geen zinvolle gegevens meer hebben om de modellen op te trainen. Meer data betekent niet noodzakelijkerwijs meer informatie, dus het hangt ervan af of die data informatie bevatten die nuttig is om een beter model te creëren, en of het trainingsproces die informatie daadwerkelijk in een beter model kan destilleren.”
Raghunathan zei dat ondanks deze twijfels de trend van meer gegevens er op zijn minst voor de korte termijn lijkt te zijn. En meer data betekent dat er meer rekenkracht nodig is om alles op te slaan en te verwerken om de AI-modellen van Tesla te trainen. Dat is waar Dojo, de supercomputer, in beeld komt.
Wat is een supercomputer?
Dojo is het supercomputersysteem van Tesla dat is ontworpen om te functioneren als oefenterrein voor AI, met name FSD. De naam is een knipoog naar de ruimte waar vechtsporten worden beoefend.
Een supercomputer bestaat uit duizenden kleinere computers die knooppunten worden genoemd. Elk van deze knooppunten heeft zijn eigen CPU (centrale verwerkingseenheid) en GPU (grafische verwerkingseenheid). De eerste verzorgt het algehele beheer van het knooppunt, en de laatste doet de complexe dingen, zoals het opsplitsen van taken in meerdere delen en er tegelijkertijd aan werken. GPU's zijn essentieel voor machine learning-operaties zoals die welke FSD-training in simulatie mogelijk maken. Ze drijven ook grote taalmodellen aan, en daarom heeft de opkomst van generatieve AI Nvidia tot het meest waardevolle bedrijf ter wereld gemaakt.
Zelfs Tesla koopt Nvidia GPU’s om zijn AI te trainen (daarover later meer).
Waarom heeft Tesla een supercomputer nodig?
De visiegerichte aanpak van Tesla is de belangrijkste reden dat Tesla een supercomputer nodig heeft. De neurale netwerken achter FSD zijn getraind op grote hoeveelheden rijgegevens om objecten rond het voertuig te herkennen en te classificeren en vervolgens rijbeslissingen te nemen. Dat betekent dat wanneer FSD is ingeschakeld, de neurale netten continu visuele gegevens moeten verzamelen en verwerken met snelheden die overeenkomen met de diepte- en snelheidsherkenningsmogelijkheden van een mens.
Met andere woorden: Tesla wil een digitaal duplicaat creëren van de menselijke visuele cortex en hersenfunctie.
Om dat te bereiken moet Tesla alle videogegevens van zijn auto's over de hele wereld opslaan en verwerken en miljoenen simulaties uitvoeren om zijn model op de gegevens te trainen.
Tesla lijkt te vertrouwen op Nvidia om zijn huidige Dojo-trainingscomputer van stroom te voorzien, maar wil niet alle eieren in één mandje hebben – niet in de laatste plaats omdat Nvidia-chips duur zijn. Tesla hoopt ook iets beters te maken dat de bandbreedte vergroot en de latenties verlaagt. Daarom besloot de AI-divisie van de autofabrikant een eigen hardwareprogramma op maat te bedenken dat tot doel heeft AI-modellen efficiënter te trainen dan traditionele systemen.
De kern van dat programma zijn de eigen D1-chips van Tesla, die volgens het bedrijf geoptimaliseerd zijn voor AI-workloads.
Vertel me meer over deze chips
Tesla is dezelfde mening toegedaan als Apple, in die zin dat het vindt dat hardware en software ontworpen moeten zijn om samen te werken. Daarom werkt Tesla eraan om af te stappen van de standaard GPU-hardware ontwerp zijn eigen chips om Dojo van stroom te voorzien.
Tesla onthulde zijn D1-chip, een siliciumvierkant ter grootte van een handpalm, op AI Day in 2021. De D1-chip ging in ieder geval in mei van dit jaar in productie. De Taiwan Semiconductor Manufacturing Company (TSMC) vervaardigt de chips met behulp van halfgeleiderknooppunten van 7 nanometer. De D1 heeft 50 miljard transistors en een grote chipgrootte 645 millimeter kwadraat, volgens Tesla. Dit alles wil zeggen dat de D1 extreem krachtig en efficiënt belooft te zijn en complexe taken snel zal kunnen uitvoeren.
“We kunnen tegelijkertijd reken- en gegevensoverdrachten uitvoeren, en onze aangepaste ISA, de instructiesetarchitectuur, is volledig geoptimaliseerd voor machine learning-workloads”, zei Ganesh Venkataramanan, voormalig senior directeur van Autopilot-hardware, op Tesla's 2021 AI Day. “Dit is een pure machine learning-machine.”
De D1 is echter nog steeds niet zo krachtig als Nvidia's A100-chip, die ook door TSMC is vervaardigd met behulp van een 7 nanometer-proces. De A100 bevat 54 miljard transistors en heeft een matrijsgrootte van 826 vierkante millimeter, waardoor hij iets beter presteert dan Tesla's D1.
Om een hogere bandbreedte en meer rekenkracht te krijgen, heeft het AI-team van Tesla 25 D1-chips samengesmolten tot één tegel om als een verenigd computersysteem te functioneren. Elke tegel heeft een rekenkracht van 9 petaflops en 36 terabytes per seconde aan bandbreedte, en bevat alle hardware die nodig is voor stroom, koeling en dataoverdracht. Je kunt de tegel zien als een zelfvoorzienende computer die bestaat uit 25 kleinere computers. Zes van die tegels vormen één rek en twee rekken vormen een kast. Tien kasten vormen een ExaPOD. Op AI Day 2022 zei Tesla dat Dojo zou opschalen door meerdere ExaPOD's in te zetten. Dit alles samen vormt de supercomputer.
Tesla werkt ook aan een next-gen D2-chip die tot doel heeft knelpunten in de informatiestroom op te lossen. In plaats van de afzonderlijke chips met elkaar te verbinden, zou de D2 de hele Dojo-tegel op één enkele siliciumwafel plaatsen.
Tesla heeft nog niet bevestigd hoeveel D1-chips het heeft besteld of verwacht te ontvangen. Het bedrijf heeft ook geen tijdlijn gegeven voor hoe lang het zal duren om Dojo-supercomputers op D1-chips te laten draaien.
Als reactie op een bericht van juni op X die zei: “Elon bouwt een gigantische GPU-koeler in Texas”, antwoordde Musk dat Tesla de komende achttien maanden mikte op “de helft Tesla AI-hardware, de helft Nvidia/andere”. De “andere” zouden AMD-chips kunnen zijn, per Musk's opmerking in januari.
Wat betekent Dojo voor Tesla?
Door de controle over zijn eigen chipproductie over te nemen, kan Tesla op een dag snel en tegen lage kosten grote hoeveelheden rekenkracht aan AI-trainingsprogramma's kunnen toevoegen, vooral nu Tesla en TSMC de chipproductie opschalen.
Het betekent ook dat Tesla in de toekomst wellicht niet meer afhankelijk hoeft te zijn van de chips van Nvidia, die steeds duurder en moeilijker te beveiligen zijn.
Tijdens Tesla's winstoproep voor het tweede kwartaal zei Musk dat de vraag naar Nvidia-hardware "zo hoog is dat het vaak moeilijk is om aan de GPU's te komen." Hij zei dat hij “behoorlijk bezorgd was over het daadwerkelijk kunnen krijgen van stabiele GPU’s wanneer we ze willen, en ik denk dat dit daarom vereist dat we veel meer moeite doen in Dojo om ervoor te zorgen dat we over de trainingsmogelijkheden beschikken die we nodig hebben. .”
Dat gezegd hebbende, koopt Tesla vandaag de dag nog steeds Nvidia-chips om zijn AI te trainen. In juni, Musk heeft een bericht geplaatst op X:
“Van de ongeveer 10 miljard dollar aan AI-gerelateerde uitgaven waarvan ik zei dat Tesla dit jaar zou doen, is ongeveer de helft intern, voornamelijk de door Tesla ontworpen AI-inferentiecomputer en sensoren die aanwezig zijn in al onze auto’s, plus Dojo. Voor het bouwen van de AI-trainingssuperclusters kost Nvidia-hardware ongeveer tweederde van de kosten. Mijn huidige beste schatting voor Nvidia-aankopen door Tesla is dit jaar $2 miljard tot $3 miljard.”
Inference compute verwijst naar de AI-berekeningen die in realtime door Tesla-auto's worden uitgevoerd en staat los van de trainingscomputer waarvoor Dojo verantwoordelijk is.
Dojo is een riskante gok, een gok die Musk meerdere keren heeft afgedekt door te zeggen dat Tesla misschien niet zal slagen.
Op de lange termijn zou Tesla theoretisch een nieuw bedrijfsmodel kunnen creëren op basis van zijn AI-divisie. Musk heeft gezegd dat de eerste versie van Dojo op maat zal worden gemaakt voor het labelen en trainen van Tesla-computervisie, wat geweldig is voor FSD en voor training Optimus, Tesla's mensachtige robot. Maar voor veel anders zou het niet nuttig zijn.
Musk heeft gezegd: dat toekomstige versies van Dojo meer afgestemd zullen zijn op AI-training voor algemene doeleinden. Een potentieel probleem daarbij is dat bijna alle AI-software die er is, is geschreven om met GPU’s te werken. Het gebruik van Dojo om AI-modellen voor algemene doeleinden te trainen zou het herschrijven van de software vereisen.
Dat wil zeggen, tenzij Tesla zijn computer verhuurt, vergelijkbaar met hoe AWS en Azuur verhuur van cloud computing-mogelijkheden. Musk merkte tijdens de resultaten over het tweede kwartaal ook op dat hij “een weg ziet om met Dojo concurrerend te zijn met Nvidia.”
Een rapport uit september 2023 van Morgan Stanley voorspelde dat Dojo dat wel zou kunnen 500 miljard dollar toevoegen aan de marktwaarde van Tesla door nieuwe inkomstenstromen te ontsluiten in de vorm van robotaxis en softwarediensten.
Kortom, de chips van Dojo zijn een verzekering beleid voor de autofabrikant, maar wel een beleid dat winst zou kunnen opleveren.
Hoe ver is Dojo?
Reuters meldde vorig jaar dat Tesla in juli 2023 met de productie op Dojo begon, maar a Juni 2023 bericht van Musk suggereerde dat Dojo ‘al een paar maanden online was en nuttige taken uitvoerde’.
Rond dezelfde tijd zei Tesla dat het verwachtte dat Dojo in februari 2024 een van de vijf krachtigste supercomputers zou zijn – een prestatie die nog niet openbaar is gemaakt, waardoor we betwijfelen of dit heeft plaatsgevonden.
Het bedrijf zei ook dat het verwacht dat de totale rekenkracht van Dojo in oktober 100 2024 exaflops zal bereiken. (1 exaflop is gelijk aan 1 quintiljoen computerbewerkingen per seconde). Om 100 exaflops te bereiken en ervan uitgaande dat één D1 362 teraflops kan bereiken, zou Tesla meer dan 276,000 teraflops nodig hebben. D1's, of ongeveer 320,500 Nvidia A100 GPU's.)
Tesla beloofde dat in januari 2024 ook 500 miljoen dollar uitgeven om een Dojo-supercomputer te bouwen in zijn gigantische fabriek in Buffalo, New York.
In mei 2024, Merkte Musk op dat het achterste gedeelte van Tesla’s gigafabriek in Austin gereserveerd zal worden voor een ‘superdicht, watergekoeld supercomputercluster’.
Net na de winstoproep van Tesla over het tweede kwartaal zei Musk geplaatst op X dat het AI-team van de autofabrikant de Tesla HW4 AI-computer (omgedoopt tot AI4), de hardware die op Tesla-voertuigen leeft, gebruikt in de trainingslus met Nvidia GPU's. Hij merkte op dat de verdeling ongeveer 90,000 Nvidia H100's plus 40,000 AI4-computers bedraagt.
“En Dojo 1 zal tegen het einde van het jaar ongeveer 8 H100-equivalent aan training online hebben”, vervolgde hij. “Niet enorm, maar ook niet triviaal.”
Tesla heeft zijn frunk zojuist met één simpele beweging beter gemaakt
Tesla verbetert de functionaliteit van Frunk met één enkele verbetering
Tesla verbetert frunk-ontwerp met één enkele verbetering
Tesla gaat nieuwe functies voor kindveiligheid en navigatie uitrollen, zo blijkt uit codering