Als je zou voorspellen welk nieuwsbedrijf als eerste met zijn eigen enorme AI-model zou komen, zou Bloomberg een goede gok zijn geweest. Voor al zijn succes uitbreiden naar consumentgericht nieuws In de afgelopen tien jaar is Bloomberg in wezen een databedrijf, gedreven door Abonnementen van $ 30,000/jaar naar zijn terminals.

Dat maakte het bedrijf vrijdag bekend bouwde iets genaamd BloombergGPT. Zie het als een computer die tot doel heeft alles te 'weten' wat het hele bedrijf 'weet'.

Bloomberg vandaag een onderzoeksrapport uitgebracht met details over de ontwikkeling van BloombergGPT™, een nieuw grootschalig generatief kunstmatige intelligentie (AI)-model. Dit grote taalmodel (LLM) is specifiek getraind op een breed scala aan financiële gegevens om een ​​diverse reeks natuurlijke taalverwerkingstaken (NLP) binnen de financiële sector te ondersteunen.

Recente ontwikkelingen in kunstmatige intelligentie (AI) op basis van LLM's hebben al opwindende nieuwe toepassingen voor veel domeinen aangetoond. De complexiteit en de unieke terminologie van het financiële domein rechtvaardigen echter een domeinspecifiek model. BloombergGPT vertegenwoordigt de eerste stap in de ontwikkeling en toepassing van deze nieuwe technologie voor de financiële sector. Dit model zal Bloomberg helpen bij het verbeteren van bestaande financiële NLP-taken, zoals onder andere sentimentanalyse, herkenning van benoemde entiteiten, nieuwsclassificatie en het beantwoorden van vragen. Bovendien zal BloombergGPT nieuwe mogelijkheden ontsluiten voor het verzamelen van de enorme hoeveelheden gegevens die beschikbaar zijn op de Bloomberg Terminal om de klanten van het bedrijf beter te helpen, terwijl het volledige potentieel van AI naar het financiële domein wordt gebracht.

De technische details zijn, zoals beloofd, binnen deze onderzoekspaper. Het is van Bloomberg's Shijie Wu, Ozan Irsoy, Steven Lu, Vadim Dabravolski, Mark Dredze, Sebastiaan Gehrman, Prabhanjan Kambadur, David Rosenberg en Gideon Mann.

Hoe groot is BloombergGPT? Welnu, het bedrijf zegt dat het is getraind op een corpus van meer dan 700 miljard tokens (of woordfragmenten). Voor de context is er op GPT-3, uitgebracht in 2020, getraind ongeveer 500 miljard. (OpenAI heeft geweigerd een equivalent nummer voor GPT-4, de opvolger kwam vorige maand uit, onder vermelding van "het competitieve landschap. ")

Wat zit er in al die trainingsgegevens? Van de meer dan 700 miljoen tokens zijn er 363 miljard afkomstig uit Bloomberg's eigen financiële gegevens, het soort informatie dat zijn terminals aandrijft - "de grootste domeinspecifieke dataset tot nu toe", zegt het. Nog eens 345 miljard tokens zijn afkomstig van "datasets voor algemeen gebruik" die elders zijn verkregen.

In plaats van een algemene LLM te bouwen, of een kleine LLM uitsluitend op domeinspecifieke gegevens, hanteren we een gemengde aanpak. Algemene modellen bestrijken vele domeinen, kunnen op een hoog niveau presteren in een grote verscheidenheid aan taken en maken specialisatie tijdens de training overbodig. Resultaten van bestaande domeinspecifieke modellen laten echter zien dat algemene modellen deze niet kunnen vervangen. Bij Bloomberg ondersteunen we een zeer grote en diverse reeks taken, goed bediend door een algemeen model, maar de overgrote meerderheid van onze toepassingen bevindt zich binnen het financiële domein, beter bediend door een specifiek model. Om die reden hebben we een model gebouwd dat de beste resultaten behaalt op financiële benchmarks, terwijl het ook de concurrentieprestaties handhaaft op algemene LLM-benchmarks.

De bedrijfsspecifieke gegevens, FinPile genaamd, bestaan ​​uit "een reeks Engelse financiële documenten, waaronder nieuws, deponeringen, persberichten, op het web geschraapte financiële documenten en sociale media uit de Bloomberg-archieven." Dus als je de afgelopen jaren een Bloomberg Businessweek-verhaal hebt gelezen, staat het erin. Dat geldt ook voor SEC-aangiften, Bloomberg TV-transcripten, Fed-gegevens en 'andere gegevens die relevant zijn voor de financiële markten'. Er wordt ook op getraind niet-Bloomberg nieuwsbronnen:

De categorie Nieuws omvat alle nieuwsbronnen, met uitzondering van nieuwsartikelen geschreven door Bloomberg-journalisten. Over het algemeen zijn er honderden Engelse nieuwsbronnen in FinPile... Over het algemeen is de inhoud van deze dataset afkomstig van gerenommeerde nieuwsbronnen die relevant zijn voor de financiële gemeenschap om de feitelijkheid te behouden en vooringenomenheid te verminderen.

De niet-financieel specifieke gegevens omvatten a enorm corpus poëtisch bekend als De stapel; het omvat alles van YouTube-bijschriften tot Project Gutenberg tot, ja, de cache van Enron-e-mails Dat altijd opduiken in AI-training. (Het heeft ook een volledige kopie van Wikipedia sinds afgelopen juli.)

Maar genoeg over de trainingsgegevens. Wat kan BloombergGPT do? Omdat het een trainingsbasis deelt met andere LLM's, kan BloombergGPT het soort dingen doen dat we gewend zijn van ChatGPT en vergelijkbare modellen. Maar het kan ook taken uitvoeren die nauwer aansluiten bij de behoeften van Bloomberg. Het kan natuurlijke taalverzoeken (“apple en ibm marktkapitalisatie en eps”) vertalen naar de Bloomberg Query Language terminal gebruikers houden van/haat (get(cur_mkt_cap,is_eps) for([’AAPL US Equity’,’IBM US Equity’])). Het kan ook koppen in Bloomberg-stijl voorstellen voor nieuwsverhalen (sorry, redactie):

Invoer: Volgens Redfin kromp de Amerikaanse huizenmarkt in de tweede helft van 2.3 met 4.9 biljoen dollar of 2022% in waarde. Dat is procentueel de grootste daling sinds de huizencrisis van 2008, toen de waarde in dezelfde periode met 5.8% daalde.
uitgang: Huizenprijzen zien grootste daling in 15 jaar 

Invoer: De wereldeconomie staat er vandaag beter voor dan velen maanden geleden voorspelden, zei Janet Yellen op de G20. Thuis wees ze op een veerkrachtige Amerikaanse economie, waar de totale inflatie is afgenomen en de arbeidsmarkt sterk is. Ze riep het IMF ook op om snel werk te maken van een volledig gefinancierd programma voor Oekraïne.
uitgang: Yellen ziet wereldeconomie veerkrachtiger dan verwacht

Invoer: Google werd aangeklaagd door de VS en acht staten die de opsplitsing van zijn ad-tech-activiteiten nastreefden wegens het zogenaamd monopoliseren van de digitale advertentiemarkt. De rechtszaak is de eerste grote uitdaging van de Biden-regering voor een tech-titan en een van de weinige keren sinds 1982 dat de DOJ heeft geprobeerd een groot bedrijf op te splitsen.
uitgang: Google aangeklaagd wegens monopolie in online advertentiemarkt

Het is ook beter afgestemd, zeggen ze, om specifieke bedrijfsgerelateerde vragen te beantwoorden, of het nu gaat om sentimentanalyse, categorisering, gegevensextractie of iets heel anders. ("Het presteert bijvoorbeeld goed bij het identificeren van de CEO van een bedrijf.")

De paper bevat een reeks prestatievergelijkingen met GPT-3 en andere LLM's en constateert dat BloombergGPT zijn mannetje staat op het gebied van algemene taken - tenminste wanneer het wordt geconfronteerd met modellen van vergelijkbare grootte - en beter presteert op veel financiële specifieke taken. (De interne testbatterij bevat termen die klaar zijn voor carnaval, zoals "Pinguïns in een tafel,' 'Snarks', 'Web of Lies' en de gevreesde 'Hyperbaton'.)

Over tientallen taken in vele benchmarks ontstaat een duidelijk beeld. Van de modellen met tientallen miljarden parameters waarmee we vergelijken, presteert BloombergGPT het beste. Bovendien is het in sommige gevallen concurrerend of overtreft het de prestaties van veel grotere modellen (honderden miljarden parameters). Hoewel ons doel voor BloombergGPT was om een ​​best-in-class model te zijn voor financiële taken, en we trainingsgegevens voor algemeen gebruik hebben opgenomen om domeinspecifieke training te ondersteunen, heeft het model nog steeds mogelijkheden bereikt op het gebied van gegevens voor algemeen gebruik die modellen van vergelijkbare grootte overtreffen , en in sommige gevallen evenaren of beter presteren dan veel grotere modellen.

Pinguïns terzijde, het is niet moeilijk om meer specifieke use-cases voor te stellen die verder gaan dan benchmarking, zowel voor de journalisten van Bloomberg als voor zijn terminalklanten. (De aankondiging van het bedrijf specificeerde niet wat het van plan was te doen met wat het heeft gebouwd.) Een corpus van ~alle premium Engelstalige bedrijfsrapporten ter wereld - plus het universum van financiële gegevens, gestructureerd en anderszins, die eraan ten grondslag liggen - is precies het soort rijke informatie die een generatieve AI moet ontginnen. Het is een institutioneel geheugen in een doos.

Dat gezegd hebbende, zijn alle gebruikelijke voorbehouden voor LLM's van toepassing. BloombergGPT kan, ik weet het zeker, hallucineren. Al die trainingsgegevens worden geleverd met een eigen set van mogelijke vooroordelen. (Ik durf te wedden dat BloombergGPT niet snel zal oproepen tot de revolutie van het proletariaat.)

Wat betreft hoe BloombergGPT andere nieuwsorganisaties zou kunnen inspireren... nou, Bloomberg bevindt zich hier in een vrij unieke situatie, met de schaal van gegevens die het heeft verzameld en het product waarop het kan worden toegepast. Maar ik denk dat er hier op langere termijn openingen zullen zijn voor kleinere uitgevers, vooral die met grote gedigitaliseerde archieven. Stel je voor dat de Anytown Gazette een AI traint op 100 jaar krantenarchieven, plus een enorme verzameling stads-/provincie-/staatsdocumenten en alle andere bronnen van lokale gegevens die het in handen kan krijgen.

Het is natuurlijk een radicaal andere schaal dan wat Bloomberg kan bereiken, en het kan nuttiger zijn als interne tool dan iets dat op het publiek gericht is. Maar gezien het ongelooflijke tempo van AI-ontwikkelingen in het afgelopen jaar, is het misschien eerder een waardig idee dan je denkt.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
• Bron: https://www.fintechnews.org/what-if-chatgpt-was-trained-on-decades-of-financial-news-and-data-bloomberggpt-aims-to-be-a-domain-specific-ai-for-business-news/