« La recherche publique doit jouer un rôle de vigie sur l'utilisation des robots sociaux »

Qu’est ce qui a conduit le COMETS à travailler sur cette question de « l’attachement » aux robots sociaux ?

Christine Noiville : Ces dernières années, beaucoup de choses ont été dites et écrites, beaucoup de recommandations éthiques formulées à propos des chatbots, agents conversationnels et autres robots programmés avec des techniques d’intelligence artificielle qui, embarqués dans les téléphones, montres ou ordinateurs, font désormais partie intégrante de notre environnement. On a souligné leurs apports mais aussi leurs effets pervers réels ou potentiels, en termes de diffusion de fake news, de propagation de messages racistes, sexistes ou complotistes, de droits d’auteur. Encore récemment, l’action en justice dont Scarlett Johanson a menacé Open AI à propos de la dernière version de ChatGPT qui imitait la voix de l’actrice montre la multiplicité des questions juridiques et éthiques que soulève le déploiement de ces outils.

Toutes ces réflexions ont toutefois trop souvent négligé un phénomène qui accompagne l’usage croissant de certains de ces robots, à savoir l’attachement aux robots dits « sociaux ». Alerté par un de ses membres, une informaticienne qui mène ses recherches en robotique, le COMETS a souhaité se saisir de ce sujet qui lui semble devoir être davantage pensé par le monde de la recherche publique.

Qu’est-ce qu’un robot dit « social » ?

C. N. : Il est question de ces robots de compagnie dits « relationnels » ou « émotionnels » comme Replika, Azuma, SimSensei Kiosk et bien d’autres, qui sont conçus pour faire office de compagnon, d’ami, de coach de santé ou de bien-être, ou pour remplacer un proche défunt (deadbots). Ils ont souvent une apparence humanoïde, du reste la plupart du temps féminine, ce qui tend à renforcer les stéréotypes de genre (la femme est douce ; elle sait être à l’écoute et se mettre « au service » d’autrui… !). Et surtout, non seulement ils sont capables de dialoguer et d’interagir avec leur utilisateur sur le modèle des humains (la voix, les intonations, la gestuelle, les expressions faciales) mais à l’aide de capteurs audio ou de caméras, ils savent aussi détecter ses émotions (vous êtes triste ? Vous avez l’air angoissé(e) !) et en simuler eux-mêmes (en pleurant avec l’utilisateur, en riant avec lui, en le félicitant, etc.). L’utilisateur tend alors à attribuer à la machine des qualités humaines, à la considérer intelligente, bienveillante, empathique, et à développer l’illusion que se noue un lien intime entre elle et lui. Bref, à s’y attacher.

Le COMETS est conscient des bénéfices qui peuvent parfois en découler – on pense par exemple à certains agents conversationnels ou robots comme la peluche Paro qui peuvent tenir compagnie aux personnes âgées. Mais il est préoccupé par certains impacts individuels et collectifs que peuvent avoir la tendance à s’attacher à son robot social.

Quels sont les risques ?

C. N. : Pour l’instant, ils sont peu documentés scientifiquement et par ailleurs peu visibles, en dehors de cas largement médiatisés mais très particuliers comme le mariage de jeunes gens avec « leur » robot, ou le suicide d’un jeune homme suite à ses échanges avec son ami agent conversationnel… Mais étant donné l’utilisation croissante des agents conversationnels de type relationnel et émotionnel, on se prépare sans doute à un phénomène souterrain qui tend potentiellement à impacter nos modes de vie, voire les liens que nous entretenons avec les humains.

La considération et l’attachement à des objets et machines qui font naître en nous des émotions n’a certes rien de nouveau. Pensons aux poupées, aux « doudous » et même à certaines machines - locomotive, métier à tisser, aspirateur ! – qui, une fois “apprivoisées” (c’est-à-dire une fois compris par son utilisateur ses apports et ses limites) font partie non seulement de l’équipe de travail mais parfois aussi de l’environnement quasi-affectif de cette dernière, au point qu’un prénom leur est parfois attribué (souvent féminin du reste…).

Mais ce qui est plus nouveau avec les robots sociaux, c’est que tout est fait par leurs concepteurs pour que l’utilisateur leur attribue des capacités d’empathie et nourrisse l’illusion qu’un lien affectif particulier se noue entre eux et la machine. C’est là que se situent les risques. En termes d’emprise, d’addiction, de désocialisation, et surtout de manipulation. On est ici dans un phénomène différent de l’addiction aux jeux vidéo, plus sournois, lié au fait que la machine parle, répond, dialogue et capte les émotions, ce qui change tout. Comme l’évoque l’auteur Alain Damasio, ces robots sociaux sont des créations faites pour être des « créatures », ce qui pose la question des rapports que cela va engendrer, avec l’outil mais aussi avec les autres humains...  Il faut aussi pointer le potentiel addictogène et désocialisant d’un monde virtuel où on vous rassure, vous félicite, où les « vrais » amis bienveillants sont des applis, où l’on peut faire « revivre » les morts ! Sans parler des risques de manipulations, d’autant plus grands que la plupart des robots sociaux sont développés par des entreprises qui visent à renforcer l’attachement pour conforter leurs parts de marché et pour mieux exploiter les émotions des utilisateurs à des fins commerciales.

En quoi la recherche publique est-elle concernée ?

C. N. : Des recommandations ont déjà été formulées par divers chercheurs et comités d’éthique en direction des fabricants, des pouvoirs publics, des utilisateurs d’agents conversationnels. (On pense notamment aux travaux de Raja Chatila1 et Laurence Devillers2 ). Tous insistent entre autres sur la nécessité de développer une information et même une éducation à l’utilisation des robots sociaux, d’une façon qui soit éclairée et libératrice.

Le COMETS adhère à ces recommandations mais il appelle aussi les chercheurs à la vigilance – plus spécifiquement les chercheurs en informatique et robotique, leurs sociétés savantes et les organismes de recherche. La recherche publique est en effet doublement concernée.

D’une part, au CNRS, à l’INRIA, au CEA, à l’université, un certain nombre de travaux cherchent à mieux comprendre la composante « socio-émotionnelle » dans ce qu’on appelle l’interaction humain-agent, de façon à améliorer encore et toujours l’engagement des utilisateurs de robots. Or si l’objectif est louable, la plupart de ces travaux contribuent en réalité à conforter le risque dont s’inquiète le COMETS (projection de qualités humaines sur le robot, attachement à la machine, etc.), sans s’interroger suffisamment sur les finalités et les effets. Mettre au point des robots sociaux expérimentaux - qui vont alimenter les développements de la recherche privée - mimant le plus possible l’humain, jusqu’à ses hésitations dans le langage, l’expression des émotions… est-ce vraiment utile ? Les chercheurs doivent davantage s’interroger sur ce type de questions.

D’autre part, la recherche publique a un rôle de premier plan à jouer, un rôle de vigie qui consiste à suivre et mesurer les conséquences à long terme de l’utilisation des robots sociaux qui sont actuellement sur le marché. Maintenant que ces derniers sont utilisés à grande échelle, il s’agit d’en mesurer l’incidence sur la cognition, le psychisme, le comportement des utilisateurs, leur rapport à autrui et au monde ; et donc de construire un socle de savoirs indépendants nécessaires pour faire face aux enjeux liés à l’usage de ces machines et pour assurer que leur utilisation est aussi responsable et libre que possible.

Quelles sont vos recommandations ?

C. N. : Il faut d’abord que, via des formations et une familiarisation avec la littérature internationale qui commence à être consacrée à ces questions, les communautés scientifiques concernées (notamment informaticiens et roboticiens) s’interrogent collectivement. Par exemple sur les finalités des recherches qu’elles engagent, sur les choix de conception et sur leurs applications – quels sont par exemple les avantages et les inconvénients à donner aux robots une forme humanoïde, à lui faire simuler le plus précisément possible le langage et le comportement humain, à capter et à simuler les émotions ? Par ailleurs, maintenant que l’usage de robots sociaux est croissant, il est important que la recherche publique mène des études scientifiques de long terme et à grande échelle sur les risques redoutés. Ces recherches doivent être interdisciplinaires et associer aux travaux en informatique, en robotique, en sciences du comportement, du traitement du langage, etc., des recherches en psychologie, neurosciences, linguistique, sociologie, droit, éthique, philosophie, anthropologie. C’est nécessaire pour disposer de données indépendantes et suffisamment solides pour éclairer d’éventuelles décisions de régulation. Pour alimenter ces recherches, le COMETS recommande qu’un observatoire collecte à grande échelle et à long terme les données relatives à l’utilisation de robots sociaux, la manière dont les utilisateurs se les approprient, les impacts sur leurs états émotionnels et leurs décisions.

Lire l'avis « Le phénomène d'attachement aux robots dits " sociaux". pour une vigilance de la recherche scientifique » dans son intégralité 

• 1Professeur d‘intelligence artificielle, de robotique et d'éthique à Sorbonne Université et membre du Comité national pilote d'éthique du numérique.
• 2Professeure en informatique appliquée aux sciences sociales à Sorbonne Université et membre de la Commission de réflexion sur l’Éthique de la recherche en sciences et technologies du numérique d’Allistene.