Zephyrnet-logo

OpenAI en Elsmar vertrouwen nooit op hun hulp bij vragen over regelgeving?

Datum:

Iedereen heeft een favoriete bron die ze gebruiken om vragen over regelgeving te beantwoorden, maar kun je OpenAI of Elsmar vertrouwen om correct te antwoorden?

Screenshot 2023 04 01 10.07.10 AM e1680445207847 1024x787 OpenAI en Elsmar vertrouwen nooit op hun hulp bij vragen over regelgeving?

Als je doodsbang bent om nieuwe technologie uit te proberen, is de bovenstaande afbeelding een schermopname van OpenAI beschrijft "zichzelf". OpenAI is kunstmatige intelligentie (AI), maar is nog niet zelfbewust. De onderstaande afbeelding is een schermopname van de webpagina 'Over' voor Elsmar baai. Dit artikel was het oudste bericht op de Medical Device Academy en beschrijft hoe Elsmar Cove kan worden gebruikt als bron voor kwaliteitssystemen en regelgevingsvragen. Om die blog bij te werken, vergelijken we het gebruik van OpenAI met Elsmar Cove. Voor het geval je het je afvroeg: Elsmar Cove staat op nummer 6 op onze lijst met favoriete zoekhulpmiddelen en OpenAI op nummer 5:

Screenshot 2023 04 01 10.14.49 AM e1680445245168 1024x548 OpenAI en Elsmar vertrouwen nooit op hun hulp bij vragen over regelgeving?

Zijn de antwoorden van OpenAI en Elsmar Cove juist?

Om de juistheid van een algemene regelgevende vraag te testen, hebben we een vraag gekozen waarvan we niet 100% zeker waren toen een klant hem vorige maand stelde. Ik heb het mijn team gevraagd, maar niemand wist het 100% zeker. Basil Systems beperkt zich tot indiening en post-market surveillance-gegevens. Ik zocht FDA.gov, maar het was niet duidelijk. Google gaf ons een link naar de FDA-website. Ik heb het een paar ex-FDA-adviseurs gevraagd, maar ze gaven me verouderde informatie. Op donderdag 30 maart 2023 vroeg ik het aan Lisa King tijdens een AAMI-cursus die ik mede-doceerde. Lisa is een Consumer Safety Officer bij de FDA die verantwoordelijk is voor het beoordelen van apparaatinvoeringen bij de FDA. Ze is ook veelgevraagd voor openbare trainingen. Ze zei dat de contractfabrikanten waren vrijgesteld van registratie als ze eerst naar een legale fabrikant verscheepten. De regelgeving is veranderd en nu moet 100% van de contractfabrikanten die een voltooid apparaat maken, zich registreren bij de FDA. Ze verduidelijkte ook dat de FDA de term 'legale fabrikant' niet gebruikt.

Screenshot 2023 04 01 11.00.46 AM e1680445277287 1024x676 OpenAI en Elsmar vertrouwen nooit op hun hulp bij vragen over regelgeving?

Zoals je kunt zien aan de hand van het bovenstaande antwoord van OpenAI, produceert de ChatGPT-engine [ie, Model: Default (GPT-3.5)] effectief het juiste antwoord. Gebruik dezelfde bewoording voor de regelgevende vraag: "Moet een buitenlandse contractfabrikant zich bij de FDA registreren als hij het medische hulpmiddel eerst naar de legale fabrikant verzendt voordat het naar de VS wordt geëxporteerd?" er waren geen resultaten van Elsmar Cove. Na verschillende pogingen vond ik wat ik zocht met behulp van de volgende zoektermen: "FDA-registratie van contractfabrikanten". Er waren meerdere gerelateerde zoekresultaten, maar de nuttigste discussiethreads op het Elsmar Cove-discussieforum waren:

Het meest beknopte juiste antwoord in het forum is hieronder gekopieerd.

Screenshot 2023 04 01 11.39.43 AM e1680445334745 1024x332 OpenAI en Elsmar vertrouwen nooit op hun hulp bij vragen over regelgeving?

Kunt u erop vertrouwen dat OpenAI en Elsmar Cove uw vragen over regelgeving beantwoorden?

OpenAI is slechts zo effectief als de gegevens die worden gebruikt om het te trainen. Dit evolueert voortdurend, maar we hebben zoekresultaten geïdentificeerd die 100% nauwkeurig waren, resultaten die verouderd waren en resultaten die eng verkeerd waren. Hetzelfde geldt voor discussiefora. Elsmar Cove is een van de beste discussieforums voor de medische apparatuurindustrie, maar mensen gebruiken ook ASQ, RAPS en AAMI. De kwaliteit van de verstrekte informatie hangt af van de kennis en ervaring van de mensen die deelnemen aan het forum, maar ook van de moderatie van het forum. Elsmar Cove heeft enkele ervaren moderators met tientallen jaren ervaring. Er is altijd een kans dat de meest ervaren persoon ter wereld uw regelgevingsvraag onjuist beantwoordt. Dit levert meestal een probleem op omdat iedereen op het forum aarzelt om een ​​erkende expert uit te dagen. Probeer daarom, ongeacht welke bron(nen) u gebruikt, altijd een verwijzing te krijgen naar de betrouwbare bron van de toepasselijke regelgeving. Zelfs Lisa King kon een fout maken, maar ze zei meteen: je kunt de voorschriften vinden in de Amerikaanse Code of Federal Regulations (dwz 21 CFR 807). Het komt erop neer dat u altijd uw feiten controleert en uw bron(nen) vermeldt.

spot_img

Laatste intelligentie

spot_img