Des chercheurs de l’Université de Stanford ont découvert que les intelligences artificielles (IA) les plus avancées peuvent raisonner à partir de données ou d’images qui ne leur ont jamais été soumises. Un phénomène inquiétant surtout dans le domaine médical, baptisé « l’effet mirage ».

Partager

 
 

 

 

Des chercheurs de l’Université de Stanford ont découvert que les intelligences artificielles (IA) les plus avancées peuvent raisonner à partir de données ou d’images qui ne leur ont jamais été soumises. Un phénomène inquiétant surtout dans le domaine médical, baptisé « l’effet mirage ».

Les hallucinations, défaut déjà identifié des IA.  

De façon schématique, une intelligence artificielle fonctionne par probabilité. Par exemple, si la base de données sur laquelle l’IA s’est entraînée contient davantage de liens entre le mot chat en lien avec le mot souris, alors, il est probable que la suite de la phrase : « Le chat mange des » soit « souris », plus que « croquettes », « poisson » ou « canari ». Souris est le mot le plus probable.

En découle le principal défaut identifié des IA génératives : « les hallucinations ».   

Une IA répond de façon assurée à vos questions. Elle veut forcément proposer une réponse. Elle ne sait pas dire « Je ne connais pas l’information ». Elle présente alors la réponse la plus probable, parfois en inventant des informations, des liens sources, ou des références plausibles, etc.

Même s’il y a eu beaucoup de progrès, tous les modèles souffrent de ce travers. Et pour certains experts, ce travers ne pourra pas être corrigé.

Ce qui n’empêche pas l’IA d’être performante. Mais ne fait pas de l’IA un système fiable.

L’effet Mirage : Quand l’IA construit un cadre de raisonnement totalement fictif.

Dans une étude récente, des chercheurs de l’université de Stanford ont fait une autre découverte. Les modèles de pointe, construisent certains de leurs raisonnements sur des données qu’ils ont inventées. Ils raisonnent et aboutissent à des conclusions en « inventant » les éléments sur lesquels reposent leur raisonnement.

Ainsi, dans un cadre médical, des IA dédiées ont diagnostiqué des mélanomes, infarctus ou accidents vasculaires cérébraux (AVC) alors qu’ils n’avaient aucun élément pour étayer ces analyses. Les radios, IRM ou bilans médicaux ne leurs ont pas été soumis.

Comment expliquer ce diagnostic ?

Les modèles d’IA auraient utilisé leur mémoire et la quantité de données sur lesquels ils ont été entrainé afin de prédire la réponse la plus probable.

Mais lorsque l’on signale à l’IA qu’elle n’a pas les éléments visuels pour élaborer son diagnostic, elle en prend alors conscience et son diagnostic devient moins précis.

Des erreurs difficiles à identifier.

Ces erreurs de diagnostics par l’IA posent question.

L’IA est souvent intégrée dans des logiciels métiers, renforçant un effet de boite noire, invisibilisant la décision. Par ailleurs, l’assurance avec laquelle les modèles produisent leur raisonnement médical, le formalisme et la cohérence des éléments transmis rendent la détection de l’erreur quasi impossible à la lecture du texte par des professionnels de santé.

Des risques pour la santé des patients

Or l’IA est particulièrement sollicitée dans le domaine médical, que ce soit pour analyser les comptes rendus d’examens, les bilans, les radios ou les IRM. Les analyses biaisées fournies par une IA mal contrôlée pourraient avoir des conséquences graves pour les patients (opération chirurgicales, traitements lourds, etc.).

Lorsqu’une IA annonce un cancer ou une tumeur, en a-t-elle eu la preuve ou est-ce uniquement « la réponse la plus probable » ?

Pour aller plus loin :

Sources :