Onderzoekers op het gebied van machine learning en juridische experts hebben SauLM-7B uitgebracht, waarvan zij beweren dat het het eerste tekstgenererende open source grote taalmodel is dat specifiek gericht is op juridisch werk en toepassingen.

In het licht van recente spraakmakende blunders waarbij generatieve AI niet-bestaande zaken citeerde in ingediende rechtszaken – Mata tegen Avianca en Park tegen Kim – dat lijkt misschien onverstandig. De neiging van AI-modellen om te hallucineren en hun onzekere herkomst van gegevens lijken dealbreakers te zijn in een sector waar de inzet aanzienlijk is.

Maar de makers van SauLM-7B, aangesloten bij startup Gelijk.ai, Université Paris-Saclay en Sorbonne Université in Frankrijk, en Universidade de Lisboa en NOVA School of Law in Portugal, betogen dat er een plaats is voor kunstmatige intelligentie in de wet.

“LLM’s en bredere AI-systemen zullen een transformerende impact hebben op de rechtspraktijk die de marginale productiviteit omvat, maar verder gaat dan de marginale productiviteit”, zei een woordvoerder van Equall.ai in een e-mail aan Het register. “Onze focus ligt op het creëren van end-to-end juridische AI-systemen, begeleid en gecontroleerd door advocaten.

Onze overtuiging is dat systemen die gespecialiseerd zijn voor het juridische domein beter zullen presteren dan generalistische systemen

“Onze overtuiging – gebaseerd op data en ervaring – is dat gespecialiseerde systemen voor het juridische domein beter zullen presteren dan generalistische systemen. Dit omvat een grotere nauwkeurigheid en nuttiger hulpmiddelen om advocaten te helpen zich te concentreren op datgene waar zij het meeste plezier in hebben en waar ze het beste in zijn, namelijk het uitoefenen van juridisch oordeel en het helpen van hun cliënten met advies.”

Andere organisaties zijn eveneens optimistisch over het nut van AI-ondersteuning. Goldman Sachs vorig jaar geschat [PDF] dat “een kwart van de huidige werktaken in de VS door AI zou kunnen worden geautomatiseerd, met bijzonder hoge risico’s in administratieve (46 procent) en juridische (44 procent) beroepen...” En startups zoals Bank IQ, Harvey.ai en Veilige tekentechnologieën Zie een marktkans in dat soort voorspellingen.

Equall.ai, opgericht door Jorge Mattamouros, een voormalige partner bij White & Case LLP, stelt dat bijna al het juridische werk – onderzoek, documentbeoordeling en -analyse, samenvattingen en de identificatie van belangrijke passages in documenten – baat kan hebben bij AI.

"Wij geloven dat LLM's zoveel meer mogelijkheden openen, sommige zien we vandaag de dag, en vele moeten nog ontdekt worden", vervolgde de woordvoerder van Equall.ai. “Wij zijn bijvoorbeeld van mening dat LLM’s de manier waarop we zowel dataverwerkingspijplijnen als datageneratie benaderen drastisch zullen veranderen, wat van cruciaal belang zal zijn voor juridische toepassingen waarbij het verkrijgen van hoogwaardige data duur en moeilijk te realiseren is.”

De mening van Equall.ai is dat de onnauwkeurigheden van AI-modellen kunnen worden verzacht.

“LLM’s blijven probabilistische modellen”, vertelde de business ons. “Hallucinaties zijn over het algemeen het symptoom van LLM’s die buiten de distributie opereren. Met andere woorden: wanneer hen wordt gevraagd tekst te genereren over onderwerpen en gegevens die vergelijkbaar zijn met de gegevens waarop de LLM is getraind, hebben LLM's de neiging aanzienlijk minder te hallucineren dan wanneer hen wordt gevraagd over dingen waarover ze weinig hebben geleerd.

“Tijdens onze evaluatie van Saul met echte advocaten konden we bijvoorbeeld bevestigen dat hij minder vatbaar was voor hallucinaties bij het bespreken van specifieke juridische concepten. Kortom, we verwachten dat LLM’s die specifiek zijn opgeleid op het gebied van juridische data veel minder zullen hallucineren over juridische onderwerpen dan hun generalistische tegenhangers.”

Dat gezegd hebbende waarschuwt de parvenu dat er niet op AI-modellen moet worden vertrouwd alsof ze een legale database zijn, en dat het raadzaam is de output van LLM's dubbel te controleren. Wij zouden zeggen: Controle is verplicht.

De techneuten achter SauLM-7B – Pierre Colombo, Telmo Pessoa Pires, Malik Boudiaf, Dominic Culver, Rui Melo, Caio Corro, Andre FT Martins, Fabrizio Esposito, Vera Lúcia Raposo, Sofia Morgado en Michael Desa – beschrijven hun werk in een krant getiteld “SaulLM-7B: een baanbrekend groottaalmodel voor het recht.”

Beschikbaar op de AI-modelcommunitysite HuggingFace, SauLM-7B is gebaseerd op het open source Mistral 7B-model, die beide 7 miljard parameters hebben. Dat is aanzienlijk minder dan modellen zoals LaMA 2, die kan worden gebaseerd op maximaal 70 miljard parameters. Maar de makers van SauLM-7B merken op dat dit nog maar de eerste mijlpaal is en dat er met verschillende modelgroottes wordt gewerkt.

Zoals je van een LLM mag verwachten, werkt SauLM-7B door vragen te stellen of aanwijzingen te geven in natuurlijke taal, en probeert deze te beantwoorden of erop te reageren; in dit geval is het gericht op de wet en juridische kwesties.

Jonathan Schwarz, mede-oprichter en hoofdwetenschapper van de Britse juridische AI-startup Safe Sign Technologies, vertelt Het register dat de makers van SauLM-7B een verstandige aanpak hebben gekozen bij het specialiseren van algemene LLM's.

"Het is een mooi aanbod als open source alternatief voor meer propriëtaire technieken", zei hij. “Er is echter werk dat gedaan moet worden.”

Het is een mooi aanbod als open source alternatief voor meer propriëtaire technieken

Schwarz wees op de noodzaak van red-teaming-modellen, iets wat zijn bedrijf volgens hem intern doet.

Er is ons verteld dat Safe Sign Technologies een prototype van een juridische LLM heeft gemaakt en ernaar streeft een tweede iteratie klaar te hebben voor implementatie via partners later dit jaar of daarna.

Schwarz zei dat het bedrijf nog niet klaar is om commentaar te geven op de mate waarin zijn aanbod open source of propriëtair zal zijn. Maar hij beweerde dat hoewel SaulLM-7B-Instruct – een versie die is afgestemd op algemene en juridische instructies – erin slaagde een gemiddelde van 0.61 te scoren op de LegalBench-Instruct-benchmark, “we dicht bij de 0.77 komen.” Dat nauwkeurigheidspercentage is vergelijkbaar met dat van GPT-4, al raden we u aan om wat zout te nemen met benchmarks voor machinaal leren.

“Onze ambitie hier was om een ​​AI-oplossing te creëren die iedereen direct juridisch advies van zeer goede kwaliteit geeft”, zegt Alexander (Sami) Kardos-Nyheim, medeoprichter en CEO van Safe Sign Technologies in een interview met Het register. “Geen onbetrouwbaar juridisch advies van ChatGPT of iets dergelijks. Maar serieus juridisch advies waar je via AI daadwerkelijk gebruik van kunt maken en op kunt vertrouwen.”

Je vermijdt min of meer het probleem van het leren van al dat giftige gedrag dat je later ongedaan probeert te maken

"Heel grofweg is de manier waarop deze technieken, of deze methoden gewoonlijk worden getraind, dat je een enorme dataset hebt die op internet is getraind en dat je elke directe trainingsstap bemonstert, of je kiest gewoon een willekeurige subset daarvan," legde Schwarz uit. “Dan train je gewoon op die subset en dat doe je biljoenen keren.

“In plaats van eenvoudigweg een willekeurige subset te kiezen, hebben we nieuwe methoden die op elk punt in de training proberen te bepalen wat op dit moment de optimale subset van gegevens is om op te trainen, zodat de verbetering van de modellen maximaal is. Dat is de eerste stap. Op deze manier vermijd je min of meer het probleem van het leren van al dat giftige gedrag dat je later ongedaan probeert te maken.

Schwarz suggereerde dat de aanpak van Safe Sign veiliger is. “In een geval waarin er een specifieke juridische vraag is waarop het model eenvoudigweg niet precies weet hoe het moet worden beantwoord, kunnen we, in plaats van vol vertrouwen een onjuist antwoord te geven, eenvoudigweg zeggen dat we daar terughoudend in zijn.”

Hij uitte vervolgens zijn scepsis over de kook-de-oceaanbenadering van OpenAI en Google, waarbij de focus ligt op brede schade zoals raciale en gendervooroordelen, en het betalen van goedkope aannemers om de reacties van hun modellen te rangschikken, zodat ze de neurale netwerken kunnen omscholen om minder schadelijke reacties geven.

“Als je alles wilt kunnen doen wat een mens kan, moet je een beetje testen aan alles wat een mens kan doen,” zei Schwarz. "Ik denk dat dit een soort verliezende strategie is als je dat voor alle mogelijke onderwerpen probeert te doen."

“Niet alleen bij juridische AI, maar meer in het algemeen zien we bij AI niet de focus op veiligheid en robuustheid die serieuze, betrouwbare systemen in de medische of juridische context mogelijk maakt”, aldus Kardos-Nyheim. ®

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://go.theregister.com/feed/www.theregister.com/2024/03/09/better_call_saul_llm/