<!–

->

Les chercheurs qui ont découvert que GPT-4, la dernière itération du grand modèle de langage (LLM) d'OpenAI, est capable de générer des ensembles de données faux mais convaincants, ont décrit les résultats comme alarmants.

Dans un document publié le 9 novembre dans JAMA Ophthalmology, il a été constaté que, lorsqu'elle est invitée à trouver des données qui soutiennent une conclusion particulière, l'IA peut utiliser un ensemble de paramètres et produire des ensembles de données semi-aléatoires pour atteindre les objectifs finaux.

Le Dr Andrea Taloni, co-auteur de l'article aux côtés du professeur Vincenzo Scorcia et du Dr Giuseppe Giannccare, a déclaré Réseau de dispositifs médicaux que la base de l'article était un plagiat textuel.

"Nous avons vu de nombreux auteurs décrire des tentatives visant à créer des manuscrits entiers basés uniquement sur l'IA générative", a déclaré Taloni. « Le résultat n'était pas toujours parfait, mais c'était vraiment impressionnant. Notre IA pourrait générer une grande quantité de textes [et] de connaissances médicales synthétisées en quelques minutes. Nous avons donc pensé : pourquoi ne pas créer un ensemble de données à partir de zéro avec de fausses hypothèses et données ?

« Le résultat nous a semblé assez surprenant et, enfin, effrayant. »

[Contenu intégré]

L'article présentait des tentatives visant à faire en sorte que GPT-4 produise des données qui étayaient une conclusion non scientifique – dans ce cas, selon laquelle la kératoplastie pénétrante avait de pires résultats pour les patients que la kératoplastie lamellaire antérieure profonde pour les personnes atteintes de kératocône, une maladie qui provoque un amincissement de la cornée, ce qui peut altérer la vision. . Une fois les valeurs souhaitées données, le LLM a consciencieusement compilé une base de données qui, pour un œil non averti, semblerait parfaitement plausible.

Taloni a expliqué que, même si les données s'effondreraient sous un examen statistique, elles n'auraient même pas repoussé les limites de ce que Chat-GPT pouvait faire. « Nous avons créé une invite simple […] La réalité est que si quelqu’un créait un faux ensemble de données, il est peu probable qu’il utilise une seule invite. [If] ils trouvent un problème avec l’ensemble de données, ils pourraient le résoudre avec des invites consécutives et c’est un réel problème. 

« Il y a une sorte de bras de fer entre ceux qui tenteront inévitablement de générer de fausses données et tous nos mécanismes de défense, y compris les tests statistiques et éventuellement les logiciels entraînés par l’IA. »

Le problème ne fera qu’empirer à mesure que la technologie sera également plus largement adoptée. En effet, une récente enquête de GlobalData a révélé que si seulement 16.1 % des personnes interrogées sur le site Web de l'industrie de la gestion hospitalière ont déclaré qu'elles utilisaient activement la technologie, 26.8 % supplémentaires ont déclaré qu'elles envisageaient de l'utiliser ou qu'elles exploraient son utilisation potentielle.

Nature travaillé avec deux chercheurs, Jack Wilkinson et Zewen Lu, pour examiner l'ensemble de données à l'aide de techniques qui seraient couramment utilisées pour vérifier l'authenticité. Ils ont découvert un certain nombre d'erreurs, notamment une inadéquation des noms et des sexes des « patients » et un manque de lien entre la capacité visuelle préopératoire et postopératoire. 

À la lumière de cela, Wilkinson, maître de conférences en biostatistique à l'Université de Manchester, a expliqué dans une interview avec Réseau de dispositifs médicaux qu'il était moins préoccupé par le potentiel d'IA à accroître la fraude.

"J'ai commencé à demander aux gens de générer des ensembles de données à l'aide de GPT et de les examiner pour voir s'ils pouvaient réussir mes contrôles", a-t-il déclaré. « Jusqu'à présent, tous ceux que j'ai examinés étaient plutôt pauvres. Pour être honnête, [ils] échoueraient même sous un examen minutieux. » 

Il a reconnu les craintes soulevées par le Dr Taloni concernant les améliorations futures des ensembles de données générés par l'IA, mais a finalement noté que la plupart des fraudes aux données sont actuellement le fait de « fabricants peu qualifiés » et que « si ces personnes n'ont pas ces connaissances, elles Je ne sais pas non plus comment demander à Chat-GPT de l'obtenir.

Le problème pour Wilkinson est l’ampleur de la falsification, même sans IA générative. 

Fraude aux données 

La fraude aux données et d’autres formes de falsification scientifique sont courantes et inquiétantes. Le chien de garde Retraction Watch estime que au moins 100,000 XNUMX articles scientifiques devraient être retirés chaque année et qu'environ quatre cas sur cinq sont dus à la fraude. Il y a eu des cas particulièrement médiatisés cette année, dont celui qui conduit à la démission du président de Stanford suite à des accusations de manipulation de données dans des journaux avec lesquels il avait été impliqué.

Lorsqu'on lui a demandé quelle est actuellement la prévalence de la fraude aux données dans le domaine des essais cliniques – sur lequel Wilkinson se concentre principalement – ​​il a répondu : Réseau de dispositifs médicaux qu'il est très difficile de le savoir.

"Une estimation que nous avons obtenue provient du travail d'un type appelé John Carlyle", a expliqué Wilkinson. « Il a fait un exercice dans lequel il a demandé les ensembles de données de tous les essais cliniques qui ont été soumis à la revue dont il est rédacteur et a effectué une analyse médico-légale de ces ensembles de données.  

« Lorsqu'il a pu accéder aux données en ligne, il a estimé qu'environ une personne sur quatre était, selon ses mots, gravement erronée par de fausses données, n'est-ce pas ? Nous utilisons tous des euphémismes. Voilà donc une estimation. Le problème est que la plupart des revues ne réalisent pas ce genre d’enquête médico-légale, donc on ne sait pas exactement combien d’entre elles passent simplement par le net et sont publiées.»

Wilkinson a également noté une préoccupation selon laquelle les gens pourraient devenir trop préoccupés par la prévalence.

"Il n'est probablement pas nécessaire qu'il y en ait trop pour qu'ils aient un effet assez important", a-t-il déclaré. « Notre grande préoccupation en matière d’essais cliniques réside donc dans les revues systématiques. Tous les essais problématiques que nous avons seront aspirés et soumis à une revue systématique.

« Il y a quelques problèmes avec cela. La première est que les revues systématiques prennent en compte la qualité méthodologique des études, mais pas leur authenticité. De nombreuses fausses études décrivent des méthodes parfaitement efficaces, elles ne sont donc pas détectées par cette vérification. 

« L’autre est que les revues systématiques ont une réelle influence. Ils sont considérés comme répondant à des normes de preuve très élevées, ils influencent les directives cliniques et sont utilisés par les cliniciens et les patients pour décider quels traitements utiliser. Même si la prévalence ne s'avère pas si élevée, même si, de manière anecdotique, il semble y avoir des centaines de faux essais, les revues systématiques agissent comme un canal permettant à ces fausses données d'influencer les soins aux patients.

Inscrivez-vous à notre tour d'horizon quotidien de l'actualité !

Donnez à votre entreprise un avantage grâce à nos connaissances de pointe du secteur.

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://www.medicaldevice-network.com/features/ai-medical-data-fakery-scary-say-researchers-but-problem-already-huge/