@neuralllLadislav Nevery

Mijn code blokkeert zero-day exploits op honderden miljoenen computers. Altijd in de hoop de wereld een betere plek te maken.

Wat als we AI zouden trainen om vergelijkingen te voltooien in plaats van afbeeldingen van katten?

Kan AI helpen bij het oplossen van de Unified Theory?

Weet je nog die schok toen je voor het eerst een doorbraak zag?

Zoals toen AI in staat was om zwarte rechthoeken hierboven te voltooien met ...

… Schokkend plausibele oplossingen?

Die AI was ImageGPT van OpenAI waarbij GPT staat voor Generative Pretrained Transformer. Nu ben ik vast niet de enige die meteen gek werd van ideeën over wat je een “plausibele oplossing" naar de volgende.

Sommigen zagen gewoon weer een AI-beeldgenerator. Maar …

Ik zag een onpeilbaar grote waarschijnlijkheidsruimte teruggebracht tot een dun en gefocust plakje.

En wat nog schokkender is. Gereduceerd tot dun plakje door een heleboel zeer complexe waargenomen en geleerde regels te volgen. Merk op hoe de positie van de lichtbron de verlichting in de resulterende gegenereerde voetgangersscène beïnvloedde.

Let op de aannemelijke transparantielengte en het perspectief van schaduwen. Plausibele gewrichtsanatomie van harige kattenpoten. Dat is. Als een kat ooit een kaart wilde vasthouden? Heck, het voegde zelfs een lichte pootschaduw over de kaart toe.

Maar wat is nu echt het belangrijkste probleem dat de moeite waard is om de mens vooruit te helpen?

Laten we een revolutionair nieuw taalmodel creëren - net zo gigantisch als Gpt3... Maar laten we deze keer, in plaats van internetruis, het alleen trainen op de beste wetenschappelijke boeken, tijdschriften en peer-reviewed artikelen, samen met kritische feedback van het indieningsproces .

Tegenwoordig is alles in pdf-formaat, waarbij vergelijkingen intern gemakkelijk verwerkbare teksten zijn. Een voordeel van deze dataset zou kunnen zijn dat vrijwel alle literatuur en papers aan het einde een lijst bevatten van alternatief relevant werk of invloedrijke bronnen die zij op dat moment belangrijk vonden.

Laten we gpt helpen, met aandacht en verklaarbaarheid door arxiv id en datum aan het begin van elk document en alle verwijzingen aan het einde ervan te plaatsen. En door het model te dwingen elk antwoord vooraf te laten gaan door een lijst met beïnvloedende doc-ID's. Voorbeeld:

“V: Wat is het resultaat van 1+1 en waarom”

“A: Resultaat van 1+1 is 2 volgens de regels in arxivurl1 en arxivurl2”

Voordelen van training op alle wetenschappelijke peer-reviewed bronnen:
Leren om tot conclusies te komen door het denkproces tot aan de basiselementen te observeren (Arxiv), niet alleen conclusies zelf (Wikipedia).

Informatie kwaliteit. Informatiedichtheid. Kleinere dataset. Sneller trainen. Minder geheugen. Mogelijkheid om de keten van verwijzingen en citatietellingen te volgen en erop te focussen. Minder vooringenomenheid. Geen lekkages.

Afbeelding volledig gegenereerd met AI. Gewoon door op een knop te drukken

Er bestaat niet zoiets als Sci-Fi. Gewoon voorspellingen.

Het wordt immers getraind en getest door een steeds complexere set bestaande vergelijkingen. Zelfs het trainen van alle bekende concurrerende verenigde theorievoorstellen. Men kan dan beginnen te vragen om de voltooiing van de ultieme theorie zelf.

Hoe schokkend plausibele oplossingen er nu uit zullen zien?

Welke verborgen regels zal AI in acht nemen en toepassen op basis van alle menselijke wetenschappelijke gegevens en kennis waarop het is getraind? Zal het de vergelijking aanvullen met een term die het patroon beschrijft dat het heeft waargenomen in gegevens in een LHC-papier?

Ik stelde voor realtime feitencontrole door AI voor live TV en internet en kreeg toegang tot Gpt3.

Kan AI door observatie nieuwe regels voor wiskunde of natuurkunde leren?

Hier is een voorbeeld van wat gpt3 alleen voor dit artikel heeft geproduceerd. Bedenk dat er niets is geleerd. Er werd net veel, voornamelijk internettekst, getoond en a enkele elementaire wiskundige voorbeelden. Maar op de een of andere manier lijkt het dit te hebben geleerd ...

Testoutput van Gpt3 Beta vanaf 6 maart 2021

Let wel, niet elke test werkte en het aantal bewerkingen en lengte van nummers is tot nu toe ook beperkt. Maar daar gaat het niet om. Gpt3 is slechts een bètaversie en nog in ontwikkeling. Maar het feit dat we een lawine van gehele getallen waarnemen vanuit het taalmodel? Voor mij in ieder geval onverwacht en schokkend.

Nu voor die sceptici die nog steeds geloven dat transformatoren op de een of andere manier nog steeds slechts een variant zijn van zoiets als Hidden Markov. Dat wil zeggen, het niet kunnen voorspellen van wiskundige resultaten die het niet had gezien en het niet uitvoeren van echte wiskundige bewerkingen hierboven. Hier is een interessante recente papier van AI-big shots. En hier is een video het snel uitleggen voor degenen die weinig tijd hebben. Maar in het kort…

“Bij voldoende complexiteit is er rekenhulp in transformatoren… Yannic Kilcher“

Zo'n korte tekst activeert nu slechts een deel van de modelinvoer en gewichten. Dus uit pure nieuwsgierigheid probeerde ik het maximale aantal wiskundige vergelijkingen te vinden dat ik gpt3 kan vragen om tegelijk te berekenen.

Beschouw vergelijkingen als waargenomen schaduwen van een complexe structuur die op ons beperkte begripsniveau worden geprojecteerd.

De briljante wiskundige Antony Garrett Lisi was in staat om patronen te herkennen in eigenschappen van bekende deeltjes en deze in kaart te brengen in de E8 lie-groep hierboven. En zo konden we in theorie deeltjes voorspellen die we nog niet eens hadden gezien. Ongelooflijke doorbraak als zijn theorie op een dag compleet is. Rechtsaf?

Bedenk nu dat het menselijk vermogen om patronen te herkennen al grotendeels was vervangen door AI.

En hoewel Gpt3 redelijk goed leerde om teksttaal te volgen en te genereren. Zoals aangetoond door het laatste wiskundige gpt3-voorbeeld hierboven, kunnen we concluderen dat ...

Vergelijkingen zijn ook maar taal, met even leerbare regels.

Als het bekende wiskundige regels kan leren, gewoon door observatie.
Dan kan het ook onbekende wiskundige regels leren.

De multidimensionale aard van AI-gewichten heeft tot nu toe zeker bewezen in staat te zijn om verborgen regels van deze hoger-dimensionale constructies te observeren en te leren om nieuwe constructie-schaduwen / vergelijkingen te projecteren.

Net zoals het deed met ImageGpt (12 miljard parameters) en Images of Cats bovenaan het artikel. Bijvoorbeeld, dit AI die wiskunde op een geautomatiseerde manier verkent, heeft al een nieuw vermoeden gevonden.

De huidige Juggernauts van taalmodellen.

OpenAI 175. Google claimt 600 miljard parameters, maar heeft ons nog geen API gegeven om te testen. Om schaalbaarheid te verkrijgen, koos Google niet voor de duurdere benadering met meer lagen, maar voor het jongleren tussen veel meer taakspecifieke? ff netwerken. Trainingstijd verkorten tot 4 dagen op 2048tpus?

Dus 600 is meer dan 175?. Nou, mensen achter de huidige Gpt3-kloon Eleuther AI zijn misschien een beetje sceptisch

Op mengsels van experts gebaseerde modellen hebben de neiging om aanzienlijk slechter te presteren dan monolithische (reguliere) modellen voor hetzelfde aantal parameters. "Eleuther AI Faq"

Gpt3 levert ontegensprekelijk vaak fascinerende antwoorden op over onderwerpen die veelvuldig aanwezig waren in de trainingsdataset. Heck, het lijkt zelfs eenvoudige wiskunde te hebben geleerd sinds het alleen eenvoudige wiskunde heeft gezien.

Huidige Gpt3-dataset zoals vermeld in het origineel papier: Tokens (miljarden) Totaal499, Common Crawl (gefilterd op kwaliteit)410, WebText 219, Books1 12, Books2 55, Wikipedia 3.

Maar daar ligt een probleem.
Wikipedia bevat vaak alleen eindresultaten en conclusies.
Niet het belangrijke proces van hoe we bij hen kwamen.

Model dat meerdere denkprocessen observeerde die tot meerdere conclusies kwamen, is beter dan een model dat alleen meerdere conclusies observeerde.

Dus wat als we het op hele Arxiv.org zouden trainen, maar inclusief complexe vergelijkingen die vaak 50% of meer inhoud bevatten?

Update: we komen er snel aan. Dankzij EleutherAI uitstekend opensource gpt3-kloonmodel Gpt-Neo en gegevensset "De stapel” werd onlangs geboren en werd getraind in een groot deel van Arxiv- en DeepMind Math-voorbeelden. Ja ;D

Mijn benadering van dataset zou compleet anders zijn dan momenteel gebruikelijk ...

Laten we er gewoon veel willekeurige tekst op gooien

Je zou niet beginnen met het onderwijzen van een kind op de middelbare school zonder eerst elementaire wiskunde.

Als je het basisregels leert uit één educatief boek zoals algebra boordevol nieuwe informatie, elke regel. Het kind zal het sneller leren dan wanneer het slechts willekeurige verhalen zou lezen met weinig nieuwe informatie, waar het het uiteindelijk ook zou leren, maar het zou veel langer duren.

Helaas zijn de huidige GPT-modellen zo inefficiënt getraind

Als er zoiets als nieuwe informatiedichtheid is, dan is niet alle trainingstekst gelijk.

Bijvoorbeeld:

Stel dat een tekstbestand met 1 GB met alleen optellingsvoorbeelden het alleen optelling zal leren, ongeacht hoe lang het was. Na de 5e keer geef je het vrijwel dubbele informatie en verspil je CPU en geheugen, wat waarschijnlijk niet zo belangrijk is.

Dus als we de dataset opnieuw ordenen met tekst die bijvoorbeeld een veel hogere nieuwe informatiedichtheid heeft, eerst weinig herschikken en herhalen, dan zouden we extreem sneller moeten convergeren en, belangrijker nog, informatie op een hoger niveau extraheren die niet eerder decodeerbaar was omdat we geen eerdere lagere informatie nodig hadden. - kennisniveau.

Waarom?

In zekere zin is een boek dat concepten van een hoger niveau bevat, zoals middelbare school, wiskunde vergelijkbaar met een zip-bestand waarvoor je een decoderingswoordenboek/voorafgaande externe knowhow moet hebben om deze nu gecomprimeerde inhoud te decoderen. Zelfs een enkel symbool of dubbeltje verwijst hier vaak naar complexe en informatieve voorkennis.

Nieuwe infodichtheid en volgorde zijn dus uiterst belangrijk.

om deze nieuwe informatie op een hoger niveau te kunnen uitpakken en begrijpen en extraheren

Pas 1: train vele tijdperken op slechts duizenden (maar de dichtste bronnen van nieuwe informatie ter wereld) educatieve schoolboeken waar elke regel vrijwel nieuwe informatie bevat. En doe het in een heel specifieke volgorde, zoals op school. Begin met het uitleggen en onderwijzen van de basisbeginselen van de Engelse taal, basiswiskunde, basisfysica, basischemie en vervolgens varianten op de middelbare school.

Als alternatief, als je geen grote set gewenste educatieve boeken hebt, gewoon een willekeurige maar grote bestaande dataset. Men kan deze curriculumtraining implementeren en documenten in de dataset sorteren door nieuwe informatiedichtheid te schatten door grote gewichtsveranderingen en frequentie per document te volgen.

Pas 2: verfijn zoveel mogelijk synthetische willekeurige computergegenereerde vergelijkingen.

Ik kan me op dit moment geen betere kandidaat voorstellen voor deze pass de excellent DeepMind Mathematics-gegevensset. Hier zijn treinvoorbeelden:

Question: Solve -42*r + 27*c = -1167 and 130*r + 4*c = 372 for r.
Answer: 4 Question: Calculate -841880142.544 + 411127.
Answer: -841469015.544 Question: Let x(g) = 9*g + 1. Let q(c) = 2*c + 1. Let f(i) = 3*i - 39. Let w(j) = q(x(j)). Calculate f(w(a)).
Answer: 54*a - 30

pas 3: Nu heeft dat model een stevige greep op de wiskunde en zijn rekeneenheden gevormd. Train nu pas op alle arxiv-papieren en theoriekandidaten die complexe wiskundige vergelijkingen bevatten. Nou, complex voor mensen omdat onze hersencontext en geheugenbuffers beperkt zijn.

Het model zou dan in theorie in staat moeten zijn om elk deel van de reden waarom het tot de conclusie kwam, interactief te verklaren. En wat meer is. Zoals gpt3.

Overweeg nieuwe varianten. Papers zelf stellen vaak andere mogelijke richtingen voor die te wijten waren aan tijdsbeperkingen die niet werden onderzocht. Potentieel waar AI zeker gebruik van kan maken vanwege zijn oneindige schaalbaarheid.

Spannende tijden

Natuurlijk. Ik werd meteen gek en stelde dit voor aan Arxiv OpenAI en Google in onsamenhangende en overenthousiaste mail ;D Zoals dit artikel is.

Want soms kan zelfs de kleinste Spark tot Big Fire leiden.

En ja. Ik weet. Iedereen heeft tegenwoordig veel op zijn bordje. En ik weet ook dat het niet zo is dat je een schakelaar omdraait en klaar bent. Maar als je er meer over nadenkt. Het kan reeds bestaande tekst-only toolchains gebruiken...

En vrijwel alle papieren of boeken zijn al in pdf-formaat. Als u een vergelijking probeert te selecteren, zult u ontdekken dat deze al in tekstachtige vorm is.

Inderdaad, zo is de 76GB arxiv-dataset inmiddels geboren. Zien dit papier

• Zullen deze nu meer wetenschappelijk inzichtelijke voltooiingen nieuwe richtingen of gezichtspunten in wiskunde en natuurkunde inspireren als? allen toegang tot gehad?
• Zullen vorderingen in één vakgebied/paper zich nu gemakkelijker verspreiden naar andere omdat het netwerk ze voorstelt waar het kansen ziet? Dus eerst echt multidisciplinair inzicht?
• Zal de uitvoer nu altijd op zijn minst een hint van de oplossing bevatten? Dus de zoekruimte van problemen die we gewoonlijk met brute kracht proberen op te lossen verkleinen? Vaak betekende het krijgen van een hint, na tientallen jaren aan de vergelijking te hebben gewerkt, een doorbraak.
• Zal het in staat zijn vergelijkingen voor te stellen die gevonden zijn in willekeurig waargenomen gegevens. Dwz een reeks getallen in context, simpelweg omdat het vergelijkbaar gedrag heeft gezien dat is beschreven of voorgesteld door een artikel? LHC-gegevens?
• Zal het toestaan? sneller zoeken naar oplossingen in een plotselinge wereldwijde crisis?
• Hoe ziet de feature-visualisatie van het netwerk dat nu vergelijkingen kan begrijpen eruit? Lawaai? Patronen? fractalen?
• Kan iets als Disentangled Variational Autoencoder (bèta-vae?) in staat zijn om nieuwe verborgen basisprincipes van wiskunde of natuurkunde te detecteren, extraheren en visualiseren uit de latente ruimte van dergelijke netwerken.
• Als de reeks juiste opeenvolgende vergelijkingen wordt gevraagd? Als OpenAI Clip op zo'n dataset is getraind. Wat zouden zijn vreemd categorie-specifieke neuronen eigenlijk isoleren en vertegenwoordigen?

Ik weet het.
Maar zoals Big Rocket Man zou zeggen.

We zouden GROOT moeten dromen om elke volgende ochtend opgewonden te zijn.

Ook gepubliceerd op Medium.

Coinsmart. Beste Bitcoin-beurs in Europa
Bron: https://hackernoon.com/math-gpt-can-ai-help-solve-complex-equations-xib235n2?source=rss