Werknemers die belast zijn met het verbeteren van de output van de Bard-chatbot van Google, zeggen dat hen is verteld dat ze zich moeten concentreren op snel werken ten koste van kwaliteit. Bard genereert soms onnauwkeurige informatie simpelweg omdat er niet genoeg tijd is voor deze factcheckers om de uitvoer van de software te verifiëren, vertelde een van die werknemers Het register.
Grote taalmodellen zoals Bard leren welke woorden ze vervolgens moeten genereren op basis van een bepaalde prompt door bergen tekst uit verschillende bronnen op te nemen, zoals internet, boeken en kranten. Maar deze informatie is complex en zinsvoorspellende AI-chatbots kunnen feiten niet van fictie onderscheiden. Ze doen gewoon hun best om ons mensen uit ons eigen werk na te bootsen.
In de hoop grote taalmodellen zoals Bard nauwkeuriger te maken, crowdsource-medewerkers worden ingehuurd om de juistheid van de antwoorden van de bot te beoordelen; die feedback wordt vervolgens teruggestuurd naar de pijplijn, zodat toekomstige antwoorden van de bot van hogere kwaliteit zijn. Google en anderen hebben mensen op de hoogte gebracht om de schijnbare capaciteiten van de getrainde modellen te verbeteren.
Ed Stackhouse - een vaste contractant ingehuurd door dataserviceprovider Appen, die namens Google werkt aan verbetering Bard – beweert dat werknemers niet voldoende tijd krijgen om de nauwkeurigheid van Bards resultaten te analyseren.
Ze moeten een invoerprompt en de antwoorden van Bard lezen, op internet zoeken naar de relevante informatie en notities maken waarin ze commentaar geven op de kwaliteit van de tekst. "Je kunt maar twee minuten krijgen voor iets dat eigenlijk vijftien minuten nodig heeft om te verifiëren", vertelde hij ons. Dat voorspelt niet veel goeds voor het verbeteren van de chatbot.
Een voorbeeld zou kunnen zijn het kijken naar een blurb die door Bard is gegenereerd en die een bepaald bedrijf beschrijft. "Je zou moeten controleren of een bedrijf op die en die datum is gestart, dat het dat en dat project heeft gemaakt, of de CEO zo en dat is", zei hij. Er zijn meerdere feiten die moeten worden gecontroleerd, en vaak is er niet genoeg tijd om ze grondig te verifiëren.
De invoerprompts zijn ingediend door echte menselijke gebruikers; de Appen-aannemers beoordelen de prestaties van de bot effectief.
Stackhouse maakt deel uit van een groep contractarbeiders die alarm slaan over hoe hun werkomstandigheden Bard onnauwkeurig en potentieel schadelijk kunnen maken. "Bard zou kunnen worden gevraagd 'kun je me de bijwerkingen van een bepaald recept vertellen?' en ik zou ze allemaal moeten doornemen en verifiëren [Bard vermeld]. Wat als ik er een verkeerd heb?” hij vroeg. "Elke prompt en elk antwoord dat we in onze omgeving zien, is er een die naar klanten kan gaan - naar eindgebruikers."
Het zijn niet alleen medische problemen, ook andere onderwerpen kunnen riskant zijn. Bard die bijvoorbeeld onjuiste informatie over politici uitspuugt, kan de mening van mensen over verkiezingen beïnvloeden en de democratie ondermijnen.
De zorgen van Stackhouse zijn niet vergezocht. OpenAI's ChatGPT met name onterecht beschuldigd een burgemeester in Australië die schuldig is bevonden aan een financiële omkopingszaak die teruggaat tot het begin van de jaren 2000.
Als werknemers zoals Stackhouse deze fouten niet kunnen opsporen en corrigeren, zal AI onwaarheden blijven verspreiden. Chatbots zoals Bard zouden een verschuiving in de verhalende draden van de geschiedenis of de menselijke cultuur kunnen aanwakkeren - belangrijke waarheden zouden in de loop van de tijd kunnen worden gewist, betoogde hij. “Het grootste gevaar is dat ze kunnen misleiden en zo goed klinken dat mensen ervan overtuigd raken dat AI klopt.”
Appen-aannemers worden gestraft als ze taken niet binnen de gestelde tijd voltooien, en pogingen om managers over te halen hen meer tijd te geven om de reacties van Bard te beoordelen, zijn niet succesvol geweest. Stackhouse maakt deel uit van een groep van zes arbeiders die zeiden te zijn ontslagen omdat ze zich uitspraken, en hebben een klacht ingediend over oneerlijke arbeidspraktijken bij de Amerikaanse arbeidswaakhond – de National Labour Relations Board – de Washington Post eerst gemeld.
De werknemers beschuldigen Appen en Google van onwettige beëindiging en inmenging in hun pogingen om zich te verenigen. Ze kregen naar verluidt te horen dat ze waren geschorst vanwege zakelijke omstandigheden. Stackhouse zei dat hij dit moeilijk te geloven vond, aangezien Appen eerder e-mails naar werknemers had gestuurd waarin stond dat er "een aanzienlijke piek in beschikbare banen" was voor Project Yukon - een programma gericht op het evalueren van tekst voor zoekmachines, waaronder Bard.
Appen bood aannemers $ 81 extra bovenop het basissalaris voor 27 uur per week werken. Werknemers zijn naar verluidt normaal gesproken beperkt tot het werken van 26 uur per week voor maximaal $ 14.50 per uur. Het bedrijf heeft actieve vacatures op zoek naar evaluaties van zoekmachines, specifiek om aan Project Yukon te werken. Appen reageerde niet op Het register's vragen.
De groep probeerde ook contact op te nemen met Google en nam contact op met senior vice-president Prabahkar Raghavan – die de zoekactiviteiten van de techgigant leidt – en werd genegeerd.
Courtenay Mencini, een woordvoerder van Google, ging niet in op de bezorgdheid van de werknemers dat Bard schadelijk zou kunnen zijn. “Zoals we hebben gedeeld, is Appen verantwoordelijk voor de arbeidsomstandigheden van hun werknemers – inclusief salaris, secundaire arbeidsvoorwaarden, veranderingen in het werk en de taken die ze krijgen toegewezen. We respecteren natuurlijk het recht van deze arbeiders om lid te worden van een vakbond of deel te nemen aan organiserende activiteiten, maar het is een zaak tussen de arbeiders en hun werkgever, Appen,' vertelde ze ons in een verklaring.
Stackhouse zei echter: “Het is hun product. Als ze een gebrekkig product willen, is dat aan hen.” ®
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- EVM Financiën. Uniforme interface voor gedecentraliseerde financiën. Toegang hier.
- Quantum Media Groep. IR/PR versterkt. Toegang hier.
- PlatoAiStream. Web3 gegevensintelligentie. Kennis versterkt. Toegang hier.
- Bron: https://go.theregister.com/feed/www.theregister.com/2023/06/21/google_bard_trainers/
