Mozilla probeerde donderdag zijn beslissing uit te leggen om, althans tijdelijk, de foutgevoelige AI Explain-knop uit te schakelen die vorige week op de MDN-documentatiewebsite was geïmplementeerd.

Steve Teixeira, Chief Product Officer van Mozilla, zond een verklaring een samenvatting van het enthousiasme van de Firefox-maker voor de mogelijkheid om generatieve AI te gebruiken voor "het creëren van nieuwe waarde voor mensen" terwijl de technologie op verantwoorde wijze wordt geïmplementeerd.

Teixeira zei dat MDN vorige week twee AI-services heeft toegevoegd aan de documentatie voor webontwikkelaars, AI Help en AI Explain.

Met AI Help, in bèta, kunnen ingelogde MDN-gebruikers vragen stellen in een gespreksinterface en antwoorden ontvangen van een OpenAI GPT-3.5-chatbot. Hiermee kunt u in wezen de documentatie in natuurlijke taal opvragen.

AI Explain, beschreven als experimenteel, laat dezelfde MDN-gebruikers de bot vragen over codevoorbeelden op de documentatiepagina. Als je vragen hebt over voorbeeldcode in de documenten, kun je op de AI Explain-knop tikken en de bot breidt deze uit met meer details, zoals hieronder ten onrechte wordt gedaan.

Oeps... AI Leg ten onrechte uit dat de gemarkeerde code een raster van twee rijen en twee kolommen definieert, terwijl de CSS eigenlijk maar twee rijen definieert. Bron: Mozilla

Volgens Teixeira produceerden beide diensten "een breed scala aan feedback van lezers, van verrukking tot opbouwende kritiek tot zorgen over de technische nauwkeurigheid van de antwoorden."

Voor AI Help waren er 129 "vind-ik-leuks" en 41 "niet-leuks", wat neerkomt op 75.88 procent positieve feedback en 24.12 procent negatieve.

Voor AI Explain waren er 1,017 "vind-ik-leuks" en 459 "niet-leuks", wat neerkomt op 68.90 procent positieve feedback en 31.10 procent negatieve.

Zoals ontwikkelaars hebben gedaan wees erop, deze statistieken zijn echter niet erg nuttig - hoeveel "vind-ik-leuks" betekent dat het oké is voor "een van de meest vertrouwde bronnen voor informatie over webstandaarden” om onjuiste antwoorden te geven?

Te oordelen naar de GitHub brengt bugrapport uit over AI Explain beantwoorden technische vragen onjuist, enkele van de 114 opmerkingen die werden gepost voordat de thread werd vergrendeld, leken op het idee van een dolende chatbot.

Teixeira zei dat voor AI Help de meeste respondenten de AI-antwoorden nuttig vonden. "In het geval van AI Explain was het feedbackpatroon dat we ontvingen vergelijkbaar, maar lezers wezen ook op een handvol concrete gevallen waarin een onjuist antwoord werd gegeven", zei hij.

“Deze feedback is enorm nuttig en het MDN-team onderzoekt nu deze bugrapporten. We hebben ervoor gekozen om voorzichtig te zijn in onze aanpak en hebben de AI Explain-tool tijdelijk verwijderd uit MDN totdat we ons onderzoek hebben afgerond en hoogwaardige oplossingen hebben gevonden voor de geconstateerde problemen.”

Mozilla is echter van plan te blijven werken aan manieren om generatieve AI in te zetten. Teixeira zei dat het MDN-team ernaar streeft vast te stellen wanneer zijn algoritmische hulpdiensten onjuiste informatie verstrekken en de antwoorden te verbeteren. De herstelinspanning zal ook betere opties omvatten voor het markeren en rapporteren van foute antwoorden.

Teixeira beloofde de komende dagen een postmortaal rapport over de lancering van AI Help en AI Explain en het besluit om een ​​deel van de service op te schorten.

Hij erkende ook de meningsverschillen over hoe generatieve AI past in een bron van door mensen geschreven documentatie en gaf aan dat feedback van de gemeenschap de manier waarop MDN algoritmische tools integreert, zal blijven aanpassen.

"We zien een weg voorwaarts die de door mensen geschreven goedheid behoudt en tegelijkertijd tools biedt die toegevoegde waarde bieden boven die verbazingwekkende hoeveelheid inhoud", zei hij.

We zien een pad voorwaarts dat de door mensen geschreven goedheid behoudt en tegelijkertijd tools biedt die toegevoegde waarde bieden

“We hebben uw input, kritiek, complimenten en ervaring nodig om ervoor te zorgen dat we AI op de meest bruikbare en verantwoorde manier gebruiken. Uw feedback is van cruciaal belang voor dit proces en we zullen de feedback blijven gebruiken en onze plannen hierop aanpassen. De LLM-technologie is nog relatief onvolwassen, dus er zullen onderweg zeker verkeersdrempels zijn.”

Die meningsverschillen kwamen naar boven ander GitHub Issues post en ze suggereren dat sommige mensen in de gemeenschap geen deel willen uitmaken van de voorgestelde middenweg.

"Een probleem is deze implementatie - deze specifieke integratie van een LLM in MDN die gebruikers graag voorliegt", schreef software-engineer Leonora Tindall in een reactie op donderdag.

“Maar de oplossing is niet 'de LLM beter maken'. Het lost geen echte problemen op die het inhuren van technische schrijvers niet zou oplossen. Het is in wezen een machine voor het witwassen van auteursrechten die geld bespaart (door geen schrijvers in te huren) ten koste van de kwaliteit. Het is een poging om het werk van getrainde, goed geïnformeerde schrijvers te vervangen door de exploitatiemachine van OpenAI – exploitatie, niet alleen van massa's auteursrechtelijk beschermd materiaal dat van het internet is geschraapt, maar ook van onderbetaalde werknemers in het mondiale zuiden.

"Dat is een praktijk die ik persoonlijk onaanvaardbaar en weerzinwekkend vind."

Een andere ontwikkelaar die de naam "Be" draagt, bood aan een vergelijkbare insteek:

“Alles aan deze blogpost is walgelijk. Het is op dit moment overduidelijk dat Mozilla een onverantwoordelijke beheerder van webdocumentatie is en er verder niets mee te maken zou moeten hebben. Ik vind het weerzinwekkend dat Mozilla probeert te profiteren van content die ze amper nog schrijven. Dat ze proberen te profiteren van inhoud die ze niet schrijven met een LLM die ze ook niet hebben gemaakt, maakt deze situatie nog bizarder.

"Vork het." ®

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. Automotive / EV's, carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• BlockOffsets. Eigendom voor milieucompensatie moderniseren. Toegang hier.
• Bron: https://go.theregister.com/feed/www.theregister.com/2023/07/06/mozilla_ai_explain_shift/