C’est le manque d’humilité que je perçois ici qui me trouble.

C’est le manque d’humilité que je perçois ici qui me trouble.

Il s’agit essentiellement de choisir toute la littérature médicale dont les résultats sont entrés dans Watson pour aider à élaborer ses recommandations. En lisant l’article de STAT, en tant que clinicien et scientifique moi-même, je n’ai pas pu m’empêcher de m’émerveiller qu’IBM ignore parfaitement qu’il s’agit d’un système auto-renforcé, dans lequel les médecins d’une institution auraient tendance à recommander la littérature même qui soutiennent les recommandations de traitement qu’ils préfèrent.

Et, MSKCC étant MSKCC (c’est-à-dire un peu arrogant), les médecins “formant” Watson ne voient pas le biais comme un problème :

Les médecins du Memorial Sloan Kettering ont reconnu leur influence sur Watson. “Nous n’hésitons pas du tout à insérer notre biais, car je pense que notre biais est basé sur la meilleure chose après les essais prospectifs randomisés, qui a une grande expérience”, a déclaré le Dr Andrew Seidman, l’un des chefs de dossier de l’hôpital. entraîneurs de Watson. “C’est donc un parti pris très irréprochable.”

J’ai ri aux éclats à cette citation, aussi. Avoir une « vaste expérience » sans avoir d’essais cliniques sur lesquels baser les traitements peut tout aussi facilement conduire à la poursuite de traitements qui ne fonctionnent pas ou s’accrocher à des croyances qui ne sont jamais contestées par des preuves. Je ne dis pas qu’avoir de l’expérience est une mauvaise chose. Loin de là ! Cependant, si cette expérience n’est pas chauffée par l’humilité, de mauvaises choses peuvent arriver. C’est le manque d’humilité que je perçois ici qui me trouble. Il y a aussi des médecins du cancer formidables ailleurs dans le monde, vous savez :

Au Danemark, les oncologues d’un hôpital ont déclaré avoir complètement abandonné le projet après avoir constaté que les médecins locaux étaient d’accord avec Watson dans seulement 33 % des cas environ.

“Nous avons eu une discussion avec [IBM] sur le fait qu’ils avaient une vision très limitée de la littérature internationale, en gros, mettant trop l’accent sur les études américaines, et trop peu sur les grands, internationaux, européens et d’autres parties du monde.-études mondiales », a déclaré le Dr Leif Jensen, qui dirige le centre du Rigshospitalet à Copenhague qui contient le département d’oncologie.

Et :

Parfois, les recommandations données par Watson divergent fortement de ce que diraient les médecins pour des raisons qui n’ont rien à voir avec la science, comme l’assurance médicale. Dans une affiche présentée à la Conférence mondiale sur le cancer du sein 2017 en Corée du Sud, les chercheurs ont rapporté que le traitement était le plus souvent recommandé par Watson pour les patientes connues d’un cancer du sein n’ tout simplement pas couvert par le système d’assurance national.

Rien de tout cela n’est surprenant, étant donné que Watson est formé par des médecins américains dans un centre de cancérologie américain très prestigieux.

Ensuite, il y a un problème plutôt basique mais fondamental avec Watson, et c’est l’entrée des données des patients. Les hôpitaux souhaitant utiliser Watson doivent trouver un moyen d’interfacer leurs dossiers de santé électroniques avec Watson ou d’embaucher des personnes pour saisir manuellement les données des patients dans le système. En effet, les représentants d’IBM ont admis qu’enseigner à une machine à lire des dossiers médicaux est “beaucoup plus difficile qu’on ne le prend”. (En fait, cela me rappelle plutôt Donald Trump disant : « Qui savait que les soins de santé pouvaient être si compliqués ? » en réponse à la difficulté que les républicains avaient de trouver un remplaçant pour la loi sur les soins abordables.) : En gros, sait peut-être quelque chose. à propos de ça. Quiconque a déjà essayé de transformer des informations sur les soins de santé à partir d’un dossier médical, électronique ou papier, en un formulaire dans une base de données pouvant être utilisée pour effectuer des études rétrospectives ou prospectives sait à quel point c’est difficile. Heck, juste de mes cinq années d’expérience de travail sur une initiative de qualité collaborative à l’échelle de l’État dans le cancer du sein, je sais à quel point c’est difficile, et ce que nous faisons dans notre CQI était loin d’être aussi complexe que ce qu’IBM a essayé de faire avec Watson. Par exemple, nous examinions un seul cancer (sein) et un sous-ensemble d’un État (25 établissements dans le Michigan), et nous n’essayions pas de tirer de nouvelles connaissances, mais plutôt d’examiner les aspects des soins où la science et les recommandations sont claires et nous avons pu comparer ce que développent nos institutions membres aux meilleures lignes directrices fondées sur des données probantes.

Que peut réellement faire Watson ?

IBM représente Watson comme étant capable de rechercher des modèles et de dériver des recommandations de traitement que les médecins humains pourraient autrement ne pas être en mesure de proposer en raison de nos lacunes humaines dans la lecture et l’évaluation de la volumineuse littérature médicale, mais ce que Watson peut réellement faire est vraiment plutôt modeste . Cela ne veut pas dire que ce n’est pas précieux et qu’il ne s’améliorera pas avec le temps, mais le problème est qu’il ne s’approche pas du battage médiatique. J’ai mentionné qu’il n’y a pas encore eu d’études attribuées par des paires sur Watson dans la littérature médicale, mais cela ne signifie pas qu’il n’y a pas encore de données. Lors de la réunion de l’American Society of Clinical Oncology (ASCO) cette année, trois résumés ont été présentés, rapportant les résultats d’études utilisant Watson dans les soins contre le cancer :

La deuxième étude a comparé les recommandations de Watson à celles faites par les oncologues de l’hôpital international de Bumrungrad à Bangkok, en Thaïlande – cette fois sur plusieurs types de cancer. Son taux de concordance était de 83 %.

La troisième étude de concordance a comparé les décisions de Watson pour le cancer du côlon à haut risque à un conseil des tumeurs du Gachon University Gil Medical Center à Incheon, en Corée du Sud. Son taux de concordance en termes de décisions concernant le cancer du côlon était de 73 %, mais il n’était que de 43 % pour le cancer gastrique.

La société a expliqué que cela était dû aux différences dans les directives de traitement de la maladie en Corée du Sud, par rapport à l’endroit où elle avait été formée au Memorial Sloan Kettering.

C’est une bouillie très hachée après de telles revendications grandioses pour la technologie. Bien sûr, c’est une très bonne chose que Watson soit d’accord avec les directives fondées sur des preuves à un pourcentage élevé du temps. Ce n’est pas si grand que sa concordance avec les recommandations si faibles pour le cancer gastrique soit, mais c’est ce manque de concordance qui montre la faiblesse d’un système si dominé par les oncologues et les chirurgiens du cancer américains. La raison pour laquelle les recommandations de traitement en Asie diffèrent si nettement de celles des États-Unis est due aux différences de prévalence (qui est beaucoup plus élevée en Asie) et même de biologie.

Bien sûr, il est important que Watson puisse reproduire les recommandations de traitement fondées sur des preuves pour les cancers courants, mais vous n’avez pas besoin d’un ordinateur pour le faire, et encore moins d’une IA. Là où Watson a été enthousiasmé par IBM, c’était pour sa capacité supposée à “sortir des sentiers battus” (si vous voulez bien excuser le terme) et à proposer des recommandations auxquelles les humains n’auraient pas pensé et qui entraîneraient de meilleurs résultats pour les patients atteints de cancer. Même ces résultats modestes sont médiatisés sous la forme de gros titres embarrassants. Par exemple, l’ASCO, vantant les résultats des trois études présentées lors de sa réunion annuelle et d’autres résultats, un écrit “Comment Watson pour l’oncologie fait progresser les soins personnalisés aux patients”. Cela ressemblait à un communiqué de presse d’IBM. Un autre article proclamait que “Watson d’IBM est vraiment doué pour créer des suganorm acheter plans de traitement du cancer”. C’est bien. Il en va de même pour presque tous les oncologues, et on peut même soutenir que Watson est aussi bon qu’un oncologue typique.

L’expérience MD Anderson

Le M.D. Anderson Cancer Center a été, avec le MSKCC, l’un des premiers à adopter Watson. Son expérience avec le projet est une autre mise en garde qui montre ce qui peut arriver lorsqu’un scepticisme insuffisant est appliqué à un projet et comment un projet comme Watson peut se transformer en un gâchis massif. Cela a été révélé lorsque le partenariat entre M.D. Anderson et IBM s’est effondré plus tôt cette année :

Selon un audit fulgurant de l’University of Texas System, le centre de cancérologie a grossièrement mal géré son programme sensationnel avec IBM, qui a débuté en 2012. Le programme visait à apprendre à Watson comment traiter les patients cancéreux et les faire correspondre à des essais cliniques. Watson a initialement atteint ses objectifs et impressionné les médecins du centre, mais le projet a explosé alors que les responsables de MD Anderson ont snobé leurs propres experts en informatique, ont mal géré environ 62 millions de dollars de financement et n’ont pas suivi les procédures de base pour superviser les contrats et les factures, terminer l’audit.

IBM a retiré son soutien au projet en septembre de l’année dernière. Il est actuellement interdit d’utiliser Watson sur des patients là-bas, et le type de partenariat de MD Anderson avec IBM est en question. MD Anderson sollicite maintenant des offres d’autres entrepreneurs qui pourraient prendre la place d’IBM.

Comme Matt Herper l’a noté chez Forbes :

Habituellement, les entreprises paient des centres de recherche pour faire des recherches sur leurs produits ; dans ce cas, MD Anderson a payé le privilège, même s’il aurait apparemment également possédé le produit. Il s’agissait d’un “arrangement commercial très inhabituel”, explique Vinay Prasad, oncologue à l’Université des sciences de l’Oregon Health.

Selon le rapport d’audit, Chin a contourné les procédures normales pour payer l’entreprise dépensée. Le rapport note “un modèle cohérent de frais de PwC établi juste en dessous du seuil d’approbation du conseil d’administration de MD Anderson”, et son annexe semble indiquer que cela peut également s’être produit avec les paiements à IBM. * Elle n’a pas non plus obtenu l’approbation du service des technologies de l’information. .

Oui, c’était si mauvais.

Hype et hubris dans l’IA : Au-delà d’IBM

Il est très clair que l’IA joue un rôle de plus en plus important en médecine. La quantité massive de données génomiques appliquées à la « médecine personnalisée », ou, comme on l’appelle maintenant plus sait, à la « médecine de précision », l’exige essentiellement parce qu’aucun humain ne peut passer au crible les téraoctets et les pétaoctets de données génomiques sans aide pour trouver des modèles pouvant être utilisés en traitement. Ce qui me pose problème, c’est le battage médiatique, et IBM est clairement reconnu coupable d’avoir massivement fait du battage médiatique sur son produit Watson avant qu’il ne soit prêt pour les heures de grande écoute, ne reconnaissant pas à quel point il serait difficile de former Watson pour aligner le battage médiatique de l’entreprise avec la réalité scientifique.

Une façon d’y penser est de considérer comment fonctionne l’apprentissage automatique, comment l’IA est formée pour reconnaître des modèles, tirer des conclusions et faire des recommandations. En d’autres termes, comment une machine peut-elle aller au-delà des données et des recommandations gérées par l’homme ? C’est devenu difficile :

C’est relativement simple lorsqu’il s’agit de former le système pour identifier les tumeurs malignes dans les rayons X. Mais pour des énigmes potentiellement révolutionnaires qui vont bien au-delà de ce que les humains font déjà, comme la détection des relations entre les variations génétiques et la maladie, Watson a un problème de poule et d’œuf : comment s’entraîne-t-il sur des données qu’aucun expert n’a déjà passé au crible et correctement organisé ? ? “Si vous enseignez une voiture autonome, n’importe qui peut étiqueter un arbre ou un panneau afin que le système puisse apprendre à le reconnaître”, explique Thomas Fuchs, pathologiste informatique au Memorial Sloan-Kettering, un centre de cancérologie à New York. “Mais dans un domaine spécialisé de la médecine, vous pourriez avoir besoin d’experts formés depuis des décennies pour étiqueter correctement les informations que vous transmettez à l’ordinateur.”

C’est le biais introduit en s’appuyant sur les médecins du MSKCC. C’est un biais qui est bien pire qu’il ne devrait l’être en raison de la façon dont IBM s’appuie sur une institution et un groupe relativement restreint de médecins pour former Watson, mais, en toute honnêteté, c’est un biais inévitable à ce stade du développement d’une IA. Le problème, comme c’est trop souvent le cas, c’est l’arrogance. IBM semble avoir largement sous-estimé le défi d’aller au-delà de l’ensemble de données de formation (comme on l’appelle souvent dans des études comme celle-ci), pour lequel les réponses sont connues à l’avance à l’analyse de l’ordinateur, à l’ensemble de données de validation (pour lequel la réponse n’est pas connue en avance).

Rien de tout cela ne veut dire que l’IA n’apportera pas à terme une contribution majeure au traitement du cancer et d’autres maladies. Au contraire, c’est juste pour dire que nous n’en sommes pas encore là. De plus, IBM n’est plus le seul acteur de ce jeu, comme on l’a noté :

Depuis “Jeopardy!” de Watson ! Démonstration en 2011, des centaines d’entreprises ont commencé à développer des produits de soins de santé utilisant l’intelligence artificielle. Il s’agit notamment d’innombrables startups, mais IBM fait également face à une concurrence féroce de titans de l’industrie tels qu’Amazon, Microsoft, Google et la division Optum de UnitedHealth Group.

DeepMind de Google, par exemple, a récemment montré ses propres prouesses en matière de jeu, en utilisant son programme AlphaGo pour vaincre un champion du monde de Go, un jeu de société chinois vieux de 3 000 ans.

DeepMind travaille avec des hôpitaux de Londres, où il apprend à détecter les maladies oculaires et à accélérer le processus de ciblage des traitements des cancers de la tête et du cou, bien qu’il ait rencontré des problèmes de confidentialité.

Pendant ce temps, Amazon a lancé un laboratoire de soins de santé, où il explore les possibilités d’extraire des données à partir de dossiers de santé électroniques et de créer éventuellement un assistant médical virtuel.

Un rapport récent de la société financière Jefferies indique qu’IBM perd rapidement du terrain face à ses concurrents. “IBM semble dépassé dans la guerre des talents en IA et verra probablement une concurrence croissante”, a conclu la société.

Et :

Mais les technologies “d’informatique cognitive” sous l’égide de Watson ne sont plus aussi uniques qu’elles l’étaient autrefois. “Dans la communauté de la science des données, le sens est que tout ce que Watson peut faire, vous pouvez probablement l’obtenir en tant que logiciel gratuit quelque part, ou éventuellement vous construire avec vos propres connaissances”, a déclaré Claudia Perlich à Gizmodo, professeur et scientifique des données qui a travaillé chez IBM Watson Research. Centre de 2004 à 2010 (en même temps que Watson était en cours de construction), avant de devenir le scientifique en chef de Dstillery, une entreprise de marketing efficace sur les données (un domaine dans lequel IBM est également impliqué). Elle pense qu’un bon expert en science des données peut créer des plaques-formes de type Watson “avec notamment moins d’engagement financier”.

Rien de tout cela ne veut dire qu’IBM est seul dans son orgueil. Ce n’est pas. Cet orgueil est partagé par de nombreuses entreprises technologiques, en particulier celles qui travaillent sur l’informatique et l’IA. Par exemple, l’année dernière, Microsoft a été carrément (et correctement) moqué pour son affirmation selon laquelle il allait “résoudre le cancer” en une décennie sur la base de cette idée :

L’entreprise a intégré une unité de “calcul biologique” dont le mais ultime est de transformer les cellules en ordinateurs vivants. En tant que tels, ils pourraient être programmés et reprogrammés pour traiter n’importe quelle maladie, comme le cancer.

Et :

“Le domaine de la biologie et le domaine de l’informatique peuvent s’appliquer à la craie et au fromage”, a déclaré Chris Bishop, responsable du laboratoire Microsoft Research basé à Cambridge, à Fast Company. “Mais les processus complexes qui se produisent dans les cellules présentent certaines similitudes avec ceux qui se produisent dans un ordinateur de bureau standard.”

En tant que tels, ces processus complexes peuvent également être compris par un ordinateur de bureau. Et ces mêmes ordinateurs pourraient être utilisés pour comprendre le comportement des cellules et les traiter.

Oui, il y a une ressemblance entre le cancer et l’informatique de la même manière que compter sur ses doigts ressemble à un superordinateur. L’orgueil affiché était incroyable. Ma réaction était identique à celle de Derek Lowe, mais plus encore. En effet, il a parfaitement caractérisé l’attitude de nombreuses entreprises technologiques travaillant sur le cancer comme un “Mon Dieu, les gars, dois-je tout faire moi-même ?” attitude. Oui, ceux d’entre nous qui font de la recherche sur le cancer et qui s’occupent de patients atteints de cancer ont tendance à devenir un peu… irritables… quand quelqu’un entre en scène et proclame aux gros titres à bout de souffle qu’il va résoudre le cancer en une décennie parce qu’il a une idée qui vous, stupides biologistes du cancer, n’y avez jamais pensé : la cellule n’est qu’un ordinateur, et le cancer est comme un virus informatique .