Het Gensyn-protocol traint op een betrouwbare manier neurale netwerken op grote schaal met een lagere orde van grootte van kosten
Links: Gensyn-website, Litepaper, CoinFund-portefeuille, TechCrunch-artikel Link
Samenvatting van de investeringsscriptie
- Seculiere hefboomwerking voor toenemende complexiteit en waarde van ML: De computationele complexiteit van state-of-the-art AI-systemen verdubbelt elke 3 maanden, terwijl de waarde van deze modellen snel blijft toenemen, terwijl het voormalige black-box-karakter van deze algoritmen nu steeds beter kan worden aangepast aan grotere voor mensen begrijpelijke verlichting.
- Nieuw coördinatie- en verificatiesysteemontwerp: Gensyn bouwt een verificatiesysteem (testnet v1 wordt later dit jaar geïmplementeerd) dat het probleem van staatsafhankelijkheid in neurale netwerktraining op elke schaal efficiënt oplost. Het systeem combineert controlepunten voor modeltraining met probabilistische controles die on-chain eindigen. Het doet dit allemaal betrouwbaar en de overhead schaalt lineair met de modelgrootte (waardoor de verificatiekosten constant blijven).
- Thematische focus op AI-decentralisatie: De meeste bekende voorbeelden van machine learning-applicaties (zelfrijdende auto's van Tesla, Google DeepMind) worden geproduceerd door dezelfde reeks bedrijven, omdat de deep learning-industrie momenteel lijkt op een monopoliespel tussen Big Tech-bedrijven, zoals evenals staten als China en de Verenigde Staten. Deze krachten resulteren in enorme centralisatiekrachten die in strijd zijn met web3 en zelfs de historische oorsprong van web1.
CoinFund is er trots op de recente fondsenwerving van Gensyn Protocol te ondersteunen en de visie van het team om neurale netwerken betrouwbaar en tegen lage kosten te trainen via hun nieuwe verificatiesysteem. Gebruik maken van probabilistische controles die on-chain eindigen terwijl je tikt op onderbenutte en onderbenutte computerbronnen, variërend van momenteel onderbenutte gaming-GPU's tot geavanceerde ETH1-mijnpools die op het punt staan los te komen van het Ethereum-netwerk, aangezien dat netwerk overgaat naar Proof of Stake, Gensyn-protocol vereist geen administratief toezicht of juridische handhaving, maar faciliteert taakverdeling en betalingen programmatisch via slimme contracten. Sterker nog, het gedecentraliseerde karakter van het protocol betekent dat het uiteindelijk door de meerderheid wordt bestuurd en niet kan worden 'uitgeschakeld' zonder toestemming van de gemeenschap; dit maakt het bestand tegen censuur, in tegenstelling tot zijn web2-tegenhangers. Uiteindelijk zijn we van mening dat Gensyn de basislaag speelt voor web3-native ML-computing, aangezien externe deelnemers uiteindelijk rijke gebruikerservaringen en specifieke functionaliteit bouwen in tal van niches.
Deel 1: Inleiding tot de decennialange seculiere groei van Deep Learning
Elk gezicht dat je ziet tijdens een videogesprek en alle audio die je hoort, wordt gemanipuleerd. Om de gesprekskwaliteit te verbeteren, neurale netwerken selectief pas de resolutie aan in Zoom en achtergrondgeluid onderdrukken in Microsoft Teams. Meer recente ontwikkelingen zien zelfs video met een lagere resolutie 'gedroomd' naar een hogere resolutie. Neurale netwerken zijn de modellen die worden gebruikt in de deep learning-tak van kunstmatige intelligentie. Ze zijn losjes gebaseerd op de structuur van de menselijk brein en hebben talloze toepassingen, misschien uiteindelijk het creëren van kunstmatige intelligentie op menselijk niveau. Grotere modellen leveren over het algemeen betere resultaten op en de hardware die nodig is voor ultramoderne ontwikkeling verdubbelt elke drie maanden. Deze explosie in ontwikkeling heeft diepgaand leren tot een fundamenteel onderdeel van de moderne menselijke ervaring gemaakt. In 2020 een neuraal netwerk bediende de radar op een Amerikaans spionagevliegtuig schrijven taalmodellen nu betere scam e-mails dan mensen, en zelfrijdende auto-algoritmen overtreffen mensen in veel omgevingen.
GPT-3 175B, het grootste GPT-3-model voorgesteld door OpenAI in Brown et al. (2020) gebruikte een cluster van 1,000 NVIDIA Tesla V100 GPU's voor training - ongeveer gelijk aan 355 jaar training op een enkel apparaat. DALL-E van Ramesh et al. (2021), een ander Transformer-model van OpenAI, heeft 12 miljard parameters en is getraind op meer dan 400 miljoen ondertitelde afbeeldingen. OpenAI droeg de kosten van het trainen van DALL-E, maar weigerde controversieel om het model open source te maken, wat betekent dat misschien wel een van de belangrijkste state-of-the-art multimodale deep learning-modellen ontoegankelijk blijft voor iedereen, behalve een select groepje. De enorme resourcevereisten om deze te bouwen funderingsmodellen aanzienlijke barrières voor toegang creëren, en, zonder een methode om middelen te bundelen en toch waarde vast te leggen, zal dit waarschijnlijk leiden tot stagnatie in de vooruitgang van AI. Velen geloven dat deze gegeneraliseerde modellen de sleutel zijn tot het ontsluiten van kunstmatige algemene intelligentie (AGI), waardoor de huidige methode van trainen in geïsoleerde, kunstmatige silo's absurd lijkt.
De huidige oplossingen die toegang bieden tot computeraanbod zijn ofwel oligopolistisch en duur of eenvoudigweg onwerkbare gezien de complexiteit van rekenkracht die nodig is voor grootschalige AI. Om aan de ballonvaartvraag te voldoen, is een systeem nodig dat op kostenefficiënte wijze gebruik maakt van allen beschikbare rekenkracht (in tegenstelling tot het huidige ~40% wereldwijde processorgebruik). Dit probleem wordt op dit moment nog verergerd door het feit dat de computervoorziening zelf wordt belemmerd door asymptotisch vooruitgang in microprocessorprestaties — naast toeleveringsketen en geopolitiek chiptekorten.
Deel 2: Waarom is de coördinatie van Gensyn nodig?
De fundamentele uitdaging bij het bouwen van dit netwerk is de verificatie van voltooid ML-werk. Dit is een zeer complex probleem dat zich op het snijvlak van complexiteitstheorie, speltheorie, cryptografie en optimalisatie bevindt. Naast menselijke kennis bij het ontwerpen van modellen, zijn er drie fundamentele problemen die de voortgang van toegepaste ML vertragen: 1) toegang tot rekenkracht; 2) toegang tot gegevens; en 3) toegang tot kennis (ground-truth labeling). Gensyn lost het eerste probleem op door on-demand toegang te bieden tot wereldwijd schaalbare computers tegen een eerlijke marktprijs, terwijl de Gensyn Foundation oplossingen voor twee en drie zal proberen aan te moedigen door middel van onderzoek, financiering en samenwerking met andere protocollen.
Met name de toegang tot superieure processors maakt steeds grotere/complexere
modellen te trainen. In het afgelopen decennium hebben de toename van de transistordichtheid en de vooruitgang in geheugentoegangssnelheid/parallelisatie de trainingstijden voor grote modellen drastisch verkort. Virtuele toegang tot deze hardware, via cloudreuzen zoals AWS en Alibaba, heeft tegelijkertijd de acceptatie vergroot. Dienovereenkomstig is er een sterk belang van de staat om de middelen te verwerven om ultramoderne processors te produceren. Het vasteland van China heeft nog niet de end-to-end-capaciteit om ultramoderne halfgeleiders (namelijk siliciumwafels) te produceren, een essentieel onderdeel van processors. Die moeten ze importeren, met name van TSMC (Taiwan Semiconductor Manufacturing Company). Chipverkopers proberen ook andere klanten de toegang tot chipfabrikanten te ontzeggen door voorraad op te kopen. Op staatsniveau zijn de VS agressief blokkeren elke stap van Chinese bedrijven om deze technologie te verwerven. Verderop in de technologiestapel zijn sommige bedrijven zo ver gegaan dat ze hun eigen deep learning-specifieke hardware hebben gemaakt, zoals de TPU-clusters van Google. Deze presteren beter dan standaard GPU's bij deep learning en zijn niet te koop, alleen te huur.
Door de schaal van toegankelijke computers enorm te vergroten en tegelijkertijd de kosten per eenheid te verlagen, wordt de deur geopend naar een volledig nieuw paradigma voor diepgaand leren voor zowel onderzoeks- als industriële gemeenschappen. Dankzij verbeteringen in schaal en kosten kan het protocol een reeks reeds bewezen, vooraf getrainde basismodellen opbouwen, ook wel bekend als Funderingsmodellen– op een vergelijkbare manier als de model dierentuinen van populaire kaders. Dit stelt onderzoekers en ingenieurs in staat om openlijk superieure modellen te onderzoeken en te trainen over enorme open datasets, op een vergelijkbare manier als de Eleuther projecteren. Deze modellen zullen enkele van de fundamentele problemen van de mensheid oplossen zonder gecentraliseerd eigendom of censuur. Met cryptografie, met name functionele versleuteling, kan het protocol on-demand over privégegevens worden gebruikt. Enorme basismodellen kunnen vervolgens worden verfijnd door iedereen die een eigen dataset gebruikt, waarbij de waarde/privacy in die gegevens behouden blijft, maar toch collectieve kennis deelt in modelontwerp en onderzoek.
Deel 3: Gensyn stimuleert web3-native datacentralisatie
Het internet is misschien in de jaren zestig ontstaan uit de Amerikaanse regering, maar in de jaren negentig was het een anarchistisch web van creativiteit, individualisme en kansen. Ruim voordat Google TPU's aan het aanleggen was, probeerden projecten zoals SETI@home buitenaards leven te ontdekken door gedecentraliseerde rekenkracht te crowdsourcing. Tegen het jaar 1960 had SETI@home een verwerkingssnelheid van 17 teraflops, wat meer dan het dubbele is van de prestaties van de beste supercomputer van die tijd, de IBM ASCI White. Deze periode wordt over het algemeen 'web1' genoemd, een moment voor de hegemonie van grote platforms zoals Google of Amazon (web2), maar gedecentraliseerde computer haperde in het schalen om aan de initiële behoeften van internet te voldoen, vanwege verschillende problemen destijds.
De huidige centralisatie van webinfrastructuur in enorme web2-platforms creëert echter zijn eigen problemen, zoals kosten (de brutomarge van AWS is een geschatte 61%, wat neerkomt op margecompressie voor de meeste subschaalonderzoekers en datagestuurde bedrijven. Tegelijkertijd offeren gecentraliseerde computerinstanties ook de controle op: AWS heeft de infrastructuur van het populaire rechtse sociale-mediaplatform Parler uitgeschakeld met één dag opzegtermijn na de Capitol Riot van 6 januari 2021. Velen waren het eens met deze beslissing, maar het precedent is gevaarlijk wanneer AWS gastheren 42% van de top 10,000 sites op internet. Het trainen van deep learning-modellen op gedecentraliseerde hardware is echter moeilijk vanwege het verificatieprobleem, dat het Gensyn-protocol helpt oplossen.
Door de marktplaats als een Web3-protocol te bouwen, worden de gecentraliseerde overheadkosten bij het schalen weggenomen en worden de toetredingsdrempels voor nieuwe leveranciers verminderd, waardoor het netwerk mogelijk elk computerapparaat ter wereld kan omvatten. Het verbinden van alle apparaten via één gedecentraliseerd netwerk biedt een schaalbaarheid die momenteel onmogelijk te bereiken is via een bestaande provider, en biedt ongekende on-demand toegang tot het volledige computeraanbod van de wereld. Voor eindgebruikers lost dit het kosten- versus schaaldilemma volledig op en biedt het een transparante en goedkope ML-trainingscomputing voor potentieel oneindige schaalbaarheid (tot wereldwijde fysieke hardwarelimieten) en voor eenheidsprijzen die worden bepaald door marktdynamiek. Dit omzeilt de gebruikelijke grachten waar grote providers van genieten, drijft de prijzen aanzienlijk omlaag en faciliteert echt wereldwijde concurrentie op resourceniveau, en beschouwt zelfs een geval waarin bestaande cloudserviceproviders het Gensyn-protocol ook zien als een distributiekanaal dat een aanvulling vormt op meer gecentraliseerde first-party gebundeld aanbod.
Conclusie:
Met AI die bijna net zo populair is als modewoord als cryptocurrency en blockchains, moet onze thesis voor het investeren in Gensyn, zoals hier een voorbeeld is, de tests doorstaan om gemakkelijk te begrijpen en onderbouwd te zijn, terwijl we net zo ambitieus zijn in het uitdunnen van de kansen die worden geboden voor het vermogen van het protocol om waarde toevoegen een aanvankelijk gericht maar generaliseerbaar bronnennetwerk dat eigen is aan web3. Met het Gensyn-protocol denken we dat we het begin zien van een hyperschaalbaar, kostenefficiënt coördinatienetwerk dat de weg vrijmaakt voor nog waardevollere inzichten die de basis leggen voor talloze toepassingen in de toekomst.
Over CoinFund
CoinFund is een diverse, toonaangevende op blockchain gerichte beleggingsonderneming, opgericht in 2015, gevestigd in de VS. Gezamenlijk hebben we een uitgebreide staat van dienst en ervaring in cryptocurrency, traditionele aandelen, krediet, private equity en durfkapitaal. De CoinFund-strategieën omvatten zowel liquide als risicomarkten en profiteren van onze multidisciplinaire aanpak die technische cryptonatieve bekwaamheid synchroniseert met traditionele financiële ervaring. Met een "founders first" -benadering werkt CoinFund nauw samen met zijn portfoliobedrijven om innovatie in de digitale activaruimte te stimuleren.
Disclaimer
De inhoud op deze site is alleen voor informatieve en discussiedoeleinden en mag niet worden gebruikt in verband met een bepaalde investeringsbeslissing of worden opgevat als een aanbod, aanbeveling of verzoek met betrekking tot een investering. De auteur onderschrijft geen enkel bedrijf, project of token dat in dit artikel wordt besproken. Alle informatie wordt hier gepresenteerd "zoals ze is", zonder enige vorm van garantie, expliciet of impliciet, en eventuele toekomstgerichte verklaringen kunnen onjuist blijken te zijn. CoinFund Management LLC en zijn gelieerde ondernemingen kunnen long- of shortposities hebben in de tokens of projecten die in dit artikel worden besproken.
Het Gensyn-protocol traint op een betrouwbare manier neurale netwerken op grote schaal met een lagere orde van grootte... werd oorspronkelijk gepubliceerd in Het CoinFund-blog op Medium, waar mensen het gesprek voortzetten door dit verhaal te benadrukken en erop te reageren.
