Ce robot du MIT peut prédire avec précision votre course à l’aide de rayons X. Les scientifiques n’ont aucune idée de son fonctionnement.

L’intelligence artificielle a un problème de racisme. cherchez pas plus loin les bots qui continuent les diatribes racistesou alors Une technologie de reconnaissance faciale qui refuse de voir les Noirsou alors des robots RH discriminatoires qui n’embauchent pas de personnes de couleur. C’est un problème dangereux qui afflige le monde des réseaux de neurones et de l’apprentissage automatique, non seulement renforçant les préjugés existants et la pensée raciste, mais aggravant les effets du comportement raciste sur diverses communautés partout dans le monde.

Et combiné avec l’existant le racisme dans le monde médicalCela pourrait être une recette pour un désastre.

c’est très inquiétant nouveau travail publié Lancette La semaine dernière, une équipe de chercheurs du MIT et de la Harvard Medical School a créé une intelligence artificielle capable d’identifier avec précision la race autodéclarée d’un patient sur la base uniquement d’images médicales telles que les rayons X. Comme si cela ne suffisait pas, les chercheurs à l’origine du modèle Je ne sais pas comment vous avez obtenu les résultats.

L’équipe a découvert que le modèle était capable d’identifier avec précision la race avec une précision d’environ 90 % ; C’est un exploit presque impossible pour un médecin humain regardant les mêmes images.

Marzyeh Ghassemi, professeur adjoint au département de génie électrique et d’informatique du MIT et co-auteur de l’article, a déclaré à The Daily Beast dans un e-mail que le projet avait été créé à l’origine dans le but de découvrir pourquoi un modèle d’IA est plus probable. . avec femmes et minorités sous-diagnostiquées. “Nous voulions déterminer dans quelle mesure ce biais pouvait être supprimé des modèles, ce qui nous a amenés à nous demander quelle quantité d’informations sur la race autodéclarée des patients pouvait être détectée à partir de ces images”, a-t-il déclaré.

Pour ce faire, ils ont créé un modèle d’apprentissage en profondeur formé pour visualiser les rayons X, les tomodensitogrammes et les mammographies de patients qui ont déclaré leur race comme asiatique, noire ou blanche. Bien que les images ne fassent aucune mention de la race des patients, l’équipe a découvert que le modèle était capable d’identifier avec précision la race avec une précision d’environ 90 %, un exploit presque impossible à accomplir pour un médecin humain en regardant les mêmes images.

Bien sûr, cela soulève une série de grandes questions éthiques poilues avec des conséquences désastreuses. Premièrement, une recherche comme celle-ci peut fournir des munitions aux soi-disant réalistes raciaux et autres théoriciens du complot pseudoscientifiques qui soutiennent qu’il existe une différence naturelle et médicale entre les différents groupes raciaux. BS complet et absolu.

Il y a aussi le fait qu’un modèle comme celui-ci pourrait être incroyablement nocif s’il est appliqué à grande échelle aux hôpitaux et à d’autres applications. L’industrie médicale continue de se débattre avec un passé incroyablement brutal. racisme médical et les fautes professionnelles qui en résultent. Cela a façonné de manière irréversible la manière dont les communautés de couleur interagissent (ou non) avec le système de santé. Si une IA est introduite qui peut d’une manière ou d’une autre détecter la race d’une personne sur la base d’une simple radiographie, cela pourrait aggraver la relation déjà tendue.

Pourtant, à leur crédit, ce n’est pas l’intention des auteurs de cette étude. En fait, ils essaient de renforcer les épouvantails pour aider à protéger les communautés touchées de manière disproportionnée par des pratiques comme le racisme médical – en particulier en ce qui concerne les hôpitaux et les prestataires médicaux qui utilisent des réseaux de neurones.

“Nous avons décidé de publier cet article car il attire l’attention sur l’importance d’évaluer, de surveiller et de réglementer l’IA médicale”, a déclaré Leo Anthony Celi, chercheur principal au MIT et co-auteur de l’article, au Daily Beast. “La FDA n’exige pas de rapport sur les performances du modèle par sous-groupes dans des contextes non médicaux, et l’IA commerciale ne rapporte généralement pas les performances des sous-groupes.”

Cependant, il y a toujours un éléphant géant qui apprend en profondeur dans la pièce : les chercheurs n’ont toujours aucune idée de la façon dont l’IA détecte la race malade à partir d’une radiographie. La nature opaque du modèle est alarmante – mais pas rare en matière d’intelligence artificielle. En fait, les scientifiques ont eu du mal à comprendre certains d’entre eux. algorithmes d’apprentissage automatique les plus avancés dans le monde – et le modèle du MIT ne fait pas exception. Cependant, cela est encore accentué par les conséquences désastreuses sur la façon dont il peut être utilisé et transformé en arme pour nuire aux personnes de couleur.

Au coeur du mystère discrimination des agentsest un terme qui décrit un problème fondamental avec les grands modèles d’IA qui peuvent être involontairement entraînés pour identifier la race à l’aide d’un proxy autre que la race d’une personne. Dans le passé, par exemple, nous avons vu algorithmes de prêt immobilier Black et Brown rejettent de manière disproportionnée les candidats utilisant des codes postaux. Parce que l’Amérique est si séparée, le code postal sera très fortement associé à la race.

Fait troublant, alors que les auteurs de l’étude ont examiné des proxys spécifiques que le modèle pourrait utiliser pour détecter la race des patients, comme la densité osseuse, ils ne l’ont pas trouvé utilisé.

“Il n’y avait pas de corrélations statistiques évidentes dont les gens pourraient bénéficier”, a déclaré Brett Karlan, chercheur en sciences cognitives, éthique et intelligence artificielle à l’Université de Pittsburgh, qui n’a pas participé à l’étude, au Daily Beast. “C’était juste une caractéristique du maillage opaque lui-même, et c’est vraiment effrayant.”

Selon Karlan, la raison pour laquelle c’est effrayant est simple : nous méritons de savoir comment l’IA obtient des résultats, en particulier lorsqu’elle est utilisée pour gérer notre santé physique. Sans cette divulgation, nous ne saurions pas si cela nous expose à un risque de préjudice par un comportement raciste, sexiste et d’autres préjugés. “Vous voulez savoir si un algorithme qui recommande un résultat de diagnostic spécifique pour vous ou qui reçoit un type spécifique de traitement médical vous traite comme un membre d’une catégorie raciale”, a déclaré Karlan. “Vous pouvez demander à votre médecin pourquoi vous recevez un traitement particulier, mais vous ne pourrez peut-être pas demander à votre réseau neuronal.”

Bien que la raison pour laquelle l’IA peut tirer des conclusions reste un gros point d’interrogation, les chercheurs à l’origine de l’article pensent que les patients peuvent avoir de la mélanine, le pigment qui donne aux personnes noires et brunes leur couleur de peau.

Vous voulez savoir si un algorithme qui recommande un résultat de diagnostic spécifique pour vous ou reçoit un type spécifique de traitement médical vous considère comme un membre d’une catégorie raciale.

Brett Karlan, Université de Pittsburgh

“Nous émettons l’hypothèse que les niveaux de mélanine dans la peau humaine changent très légèrement les modèles dans toutes les parties du spectre de fréquences pendant l’imagerie médicale”, a déclaré Ghassemi. Mentionné. “Cette hypothèse ne peut être validée que si les tons de peau des patients correspondent aux radiographies pulmonaires auxquelles nous n’avons pas eu accès pour cette étude.”

Il a ajouté que des dispositifs médicaux similaires sont connus pour être mal calibrés pour les peaux plus foncées, et que leur travail “pourrait être considéré comme un résultat supplémentaire dans cette direction”. Il pourrait donc simplement s’agir d’un cas d’intelligence artificielle capturant les différences très subtiles entre les images radiographiques qui sont indiscernables à l’œil humain. En d’autres termes, ils viennent de créer un détecteur de mélanine glorifié. Si tel est le cas, il s’agit d’un proxy que nous pouvons citer comme raison derrière les résultats frappants. Pourtant, des recherches supplémentaires sont nécessaires avant de pouvoir tirer des conclusions définitives – si des conclusions sont tirées.

Pour l’instant, l’équipe prévoit d’annoncer des résultats similaires. une autre étude lorsqu’ils ont découvert qu’une IA pouvait identifier la race des patients sur la base de notes cliniques extraites d’eux. “Tout comme dans l’exemple d’imagerie, nous avons constaté que les experts humains n’étaient pas en mesure de prédire avec précision la race des patients à partir des mêmes notes cliniques ajustées”, a déclaré Ghassemi.

Comme pour l’IA en imagerie médicale, il est clair que la discrimination par substitution peut et continuera d’être un problème omniprésent en médecine. Et contrairement à une radiographie, c’est quelque chose que nous ne voyons pas toujours aussi facilement.

Leave a Reply

Your email address will not be published.