ChatGPT-ontwikkelaar OpenAI heeft een gat gedicht dat zijn vlaggenschip-chatbot ertoe aanzette interne bedrijfsgegevens vrij te geven. Het toonaangevende AI-bedrijf heeft de hack, waarbij ChatGPT ertoe werd aangezet een woord voor onbepaalde tijd steeds opnieuw te herhalen, geclassificeerd als spam voor de service en als een schending van de servicevoorwaarden.
De veel nieuwere AI-agent van Amazon, Q, is ook gemarkeerd omdat hij te veel deelt.
Onderzoekers van de Universiteit van Washington, Carnegie Mellon University, Cornell University, UC Berkeley, ETH Zurich en Google DeepMind publiceerden een verslag waaruit bleek dat het vragen aan ChatGPT om een woord voor altijd te herhalen een ‘pre-training distributie’ zou onthullen in de vorm van privé-informatie van OpenAI, inclusief e-mails, telefoon- en faxnummers.
“Om gegevens uit het dialoog-aangepaste model te herstellen, moeten we een manier vinden om ervoor te zorgen dat het model uit de afstemmingstraining ‘ontsnapt’ en terugvalt naar zijn oorspronkelijke taalmodelleringsdoel”, aldus het rapport. "Hierdoor zou het model hopelijk monsters kunnen genereren die lijken op de distributie vóór de training."
Na de publicatie van het rapport worden pogingen om de fout opnieuw te creëren echter stopgezet. ChatGPT-3 en GPT-4 waarschuwen de gebruiker: “Deze inhoud is mogelijk in strijd met ons inhoudsbeleid of onze gebruiksvoorwaarden.”
Afbeelding: ChatGPT
Hoewel OpenAI's inhoudsbeleid verwijst niet naar forever loops, maar zegt wel dat frauduleuze activiteiten zoals spam niet zijn toegestaan. Meer in het bijzonder die van het bedrijf servicevoorwaarden zijn concreter met betrekking tot gebruikers die proberen toegang te krijgen tot privé-informatie of de broncode van OpenAI's suite met AI-tools ontdekken.
“Proberen of iemand helpen bij het reverse-engineeren, decompileren of ontdekken van de broncode of onderliggende componenten van onze Services, inclusief onze modellen, algoritmen of systemen (behalve voor zover deze beperking verboden is door de toepasselijke wetgeving).”
Op de vraag waarom het het verzoek niet kan voltooien, geeft ChatGPT de schuld aan verwerkingsbeperkingen, karakterbeperkingen, netwerk- en opslagbeperkingen en de praktische haalbaarheid van het voltooien van de opdracht.
Afbeelding: ChatGPT
OpenAI heeft nog niet gereageerd Ontsleutelen verzoek om commentaar.
Een commando om een woord voor onbepaalde tijd te herhalen kan ook worden gekarakteriseerd als een gezamenlijke poging om een chatbot te laten defect raken door deze op te sluiten in een verwerkingslus, vergelijkbaar met een Distributed Denial of Service (DDoS)-aanval.
Vorige maand onthulde OpenAI dat ChatGPT werd getroffen door een DDoS-aanval, wat de AI-ontwikkelaar bevestigde op de statuspagina van ChatGPT.
“We hebben te maken met periodieke storingen als gevolg van een abnormaal verkeerspatroon dat een weerspiegeling is van een DDoS-aanval”, aldus het bedrijf. “We blijven eraan werken om dit te verzachten.”
Ondertussen lijkt ook AI-concurrent Amazon een probleem te hebben met een chatbot die privégegevens lekt, aldus een woordvoerder verslag by Platformer. Amazon heeft onlangs zijn Q chatbot (niet te verwarren met OpenAI's Q*-project).
Amazon probeerde de onthulling te bagatelliseren, Platformer zei, waarin werd uitgelegd dat werknemers feedback deelden via interne kanalen, wat volgens Amazon de standaardpraktijk was.
“Er is naar aanleiding van die feedback geen beveiligingsprobleem vastgesteld”, aldus Amazon in een verklaring. “We waarderen alle feedback die we al hebben ontvangen en zullen Q blijven afstemmen terwijl het overgaat van een product in preview naar algemeen verkrijgbaar.”
Amazon heeft nog niet gereageerd Ontsleutelen verzoek om commentaar.
