;
Koko, une plateforme de santé mentale en ligne, a fourni à environ 4 000 utilisateurs des conseils créés par l’IA sans les en informer au préalable. Rob Morris, co-fondateur de l’application de santé mentale Koko, a expliqué comment ils ont utilisé une approche « co-pilote », avec des humains supervisant l’IA au besoin. Ils l’ont fait dans environ 30 000 publications.
La plate-forme a constaté que les messages composés par l’IA obtenaient des scores nettement supérieurs à ceux écrits par des humains, tandis que les temps de réponse baissaient de 50 % à moins d’une minute.
Malgré son succès auprès des utilisateurs, le test a été arrêté car il semblait inauthentique.
Les chatbots IA comme ChatGPT peuvent faire beaucoup de choses. Ils peuvent répondre aux tweets, écrire de la science-fiction, planifier le Noël de la famille et agir en tant qu’avocats devant les tribunaux. Mais un chatbot peut-il fournir un soutien sûr et efficace en matière de santé mentale ? Une entreprise appelée Koko a entrepris de découvrir l’utilisation de l’IA pour aider à renforcer la santé mentale d’environ 4 000 de ses utilisateurs en octobre.
« Franchement, ce sera l’avenir. Imaginons que nous interagissons avec des humains et nous ne saurons pas s’il y a eu une IA impliquée. Comment cela affecte-t-il la communication interhumaine ? J’ai mes propres problèmes de santé mentale, donc je veux vraiment que tout soit bien fait », a déclaré le co-fondateur de Koko, Rob Morris.
Koko est un service de santé mentale entre pairs qui permet aux gens de demander conseil et soutien à d’autres utilisateurs. Sur son site internet, il est cité : « Koko vous met en relation avec de vraies personnes qui vous comprennent vraiment. Pas des thérapeutes, pas des conseillers, juste des gens comme vous.
Dans une brève expérience, la société a permis aux utilisateurs de générer des réponses automatiques à l’aide du « Koko Bot » – alimenté par le GPT-3 d’OpenAI – qui pouvaient être modifiées, envoyées ou rejetées. Selon Morris, les 30 000 messages assistés par l’IA envoyés pendant le test ont reçu une réponse extrêmement positive, mais la société a mis fin à l’expérience après quelques jours car « elle semblait plutôt stérile ».
« En interagissant avec GPT-3, vous pouvez commencer à collecter des indices. Tout est très bien écrit, mais c’est une sorte de formule, et vous pouvez le lire et reconnaître que tout est purement écrit par des robots et qu’aucune nuance humaine n’a été ajoutée », a déclaré Morris. « Il y a quelque chose d’authentique qui se perd quand on a cet outil comme outil d’aide à l’écriture, surtout dans ce type de contexte. Sur notre plate-forme, les messages semblaient mieux à certains égards quand j’avais l’impression qu’ils étaient plus écrits par des humains.
Morris a publié un fil Twitter sur le test, laissant entendre que les utilisateurs ne comprenaient pas qu’une IA était impliquée dans leurs soins. Il a tweeté que « une fois que les gens ont compris que les messages étaient co-créés par une machine, cela n’a pas fonctionné ». Le tweet a provoqué un tollé sur Twitter à propos de l’éthique de recherche de Koko, car ses commentaires suggéraient un manque fondamental de consentement éclairé pendant au moins une phase de l’expérience.
Soumis par Rob Morris&# xD ;

 ;
Les messages rédigés par l’IA (et supervisés par des humains) ont reçu des notes significativement plus élevées que ceux rédigés par les humains eux-mêmes (p < 0,001). Les temps de réponse ont chuté de 50 % à moins d'une minute. Et pourtant, nous avons retiré cela de notre plateforme assez rapidement. Pourquoi? Une fois que les gens ont découvert que les messages étaient co-créés par une machine, cela n'a pas fonctionné. L'empathie simulée semble étrange, vide.
Les machines n’ont pas eu l’expérience humaine, alors quand elles disent « ça a l’air dur » ou « je comprends », cela semble inauthentique. Et ils ne font aucun effort réel (du moins aucun que les humains puissent apprécier !). Ils ne prennent pas le temps de penser à vous. Une réponse de chatbot générée en 3 secondes, aussi élégante soit-elle, semble en quelque sorte bon marché.
Pensez à la différence entre recevoir une carte électronique et une carte physique de quelqu’un. Bien que les mots soient les mêmes dans les deux cas, nous pouvons apprécier l’effort d’aller au magasin, de choisir une carte, de l’envoyer, etc.
Les machines peuvent-elles surmonter cela ? Probablement. Surtout s’ils construisent une relation avec l’utilisateur au fil du temps. (Woebot a publié des données suggérant que son bot peut créer des liens avec ses utilisateurs. Kokobot le fait probablement aussi dans certains cas.)
J’ai eu de longues conversations avec chatGPT où je lui ai demandé de me flatter, d’agir comme s’il tenait à moi. Plus tard, quand il a admis qu’il ne se souciait pas vraiment de moi parce que, eh bien, c’est un modèle linguistique, je me suis senti un peu mal.
Peut-être sommes-nous si désespérés d’être entendus, d’avoir quelque chose qui nous intéresse vraiment sans être distraits en regardant un téléphone, en faisant défiler nos e-mails ou Twitter. Peut-être que nous y aspirons si profondément que nous nous convaincrons que les machines se soucient vraiment de nous.
Les implications ici sont mal comprises. Les gens finiraient-ils par se tourner vers les machines pour un soutien émotionnel plutôt que vers les amis et la famille ?
Comment profiter des machines empathiques sans sacrifier les relations humaines existantes ? Comme le prévient Sherry Turkle, il est possible que la machine « commence comme une solution et finisse comme un usurpateur ».
Il est également possible que la véritable empathie soit quelque chose que nous, les humains, pouvons appeler nôtre. C’est peut-être la seule chose que nous faisons que l’IA ne pourra jamais remplacer.
Sur Twitter, il a présenté une vidéo de deux minutes pour montrer le fonctionnement du système :
Peu de temps après avoir publié le fil sur Twitter, Morris a reçu de nombreuses réponses critiquant l’expérience comme contraire à l’éthique, citant des préoccupations concernant un manque de consentement éclairé et demandant si un comité d’examen institutionnel (IRB) avait approuvé l’expérience. Dans une réponse tweetée, Morris a déclaré que l’expérience « serait exemptée » des exigences de consentement éclairé car il ne prévoyait pas de publier les résultats :
« Ce serait exonéré [ndlr. exigences de consentement éclairé]. Le modèle a été utilisé pour suggérer des réponses aux prestataires d’aide, qui pouvaient choisir de l’utiliser ou non. Nous n’utilisons aucune donnée personnelle, toutes les données sont anonymes, il n’y a pas de plan de publication. Mais le MGH IRB est génial… Je ne pourrais même pas utiliser d’encre rouge sur nos brochures d’étude si je me souviens bien… »

 ;
A quoi un utilisateur a répondu :
« En tant qu’ancien membre et président de l’IRB, vous avez mené des recherches sur des sujets humains dans une population vulnérable sans l’approbation ou la dérogation de l’IRB (VOUS ne pouvez pas décider). Peut-être que le processus MGH IRB est si lent parce qu’il traite de choses comme celle-ci. Conseils non sollicités : faites appel à un avocat. »

 ;
Face aux réactions sur Twitter, il a tenu à apporter des précisions dans son sujet :

 ;

 ;
Quelques précisions importantes sur mon récent fil de tweet :
Nous ne faisons pas correspondre les gens pour discuter avec GPT-3 à votre insu. (Avec le recul, j’aurais peut-être formulé mon premier tweet pour mieux refléter cela). Nous offrons à nos sympathiques collègues l’utilisation du GPT-3 pour les aider à élaborer leurs réponses. Nous voulions voir si cela les rendrait plus efficaces. Les gens du service ne parlaient pas directement à l’IA.
Cette fonctionnalité était facultative. Tout le monde était au courant de la fonctionnalité lorsqu’elle était en ligne depuis quelques jours.

 ;
