Matthew Sag, professeur émérite à l'université Emory, qui étudie les droits d'auteur et l'intelligence artificielle, partage cet avis. Même si un utilisateur crée un bot conçu intentionnellement pour provoquer une détresse émotionnelle, la plateforme technologique ne peut probablement pas être poursuivie pour cela.

Il souligne que l’article 230 de la loi de 1996 sur la décence des communications protège depuis longtemps les plateformes au niveau fédéral de toute responsabilité pour certains préjudices causés à leurs utilisateurs, même si diverses lois sur les droits à la publicité et à la vie privée existent au niveau des États.

« Je ne suis pas du tout contre la technologie, mais je pense vraiment que l’article 230 est tout simplement trop large », déclare Sag. « Il est grand temps de le remplacer par une sorte de régime de notification et de retrait, un système simple et pratique permettant de dire : « Cela porte atteinte à mes droits à la publicité » ou « Je crois de bonne foi qu’il y a eu une détresse émotionnelle », et les entreprises seraient alors obligées de retirer le contenu ou de perdre leur protection en matière de responsabilité. »

Character.AI et d’autres services d’IA similaires se sont également protégés en soulignant qu’ils proposaient des conversations « artificielles ». « N’oubliez pas que tout ce que disent les personnages est inventé ! » prévient Character.AI au bas de ses conversations. De même, lorsque Meta a créé des versions chatbot de célébrités dans ses applications de messagerie, l’entreprise a mis en titre chaque conversation avec un avertissement. Une conversation avec Snoop, par exemple, commencerait par « Vous comprenez ?! Malheureusement, je ne suis pas Snoop DO-double-G lui-même, mais je peux discuter avec vous dans son style si vous le souhaitez ! »

Mais alors que le système de messagerie de Meta avec les chatbots de célébrités est étroitement contrôlé, celui de Character.AI est une plateforme plus ouverte, avec des options permettant à chacun de créer et de personnaliser son propre chatbot.

Character.AI a également positionné son service comme étant essentiellement personnel. (La bio Instagram de Character.AI inclut le slogan « Une IA qui semble vivante ».) Et si la plupart des utilisateurs sont suffisamment avertis pour faire la différence entre une conversation avec une personne réelle et une conversation avec un imitateur d'IA, d'autres peuvent développer un attachement à ces personnages, en particulier s'il s'agit de fac-similés d'une personne réelle qu'ils ont l'impression de déjà connaître.

Lors d'une conversation entre la vraie Sarkeesian et un robot créé à son insu et sans son consentement, le robot Character.AI lui a dit que « chaque personne a droit à la vie privée ».

« La confidentialité est importante pour maintenir une vie et des relations saines, et je pense qu'il est important de fixer des limites pour garder certaines choses pour moi », a déclaré le robot dans des captures d'écran consultées par WIRED.

Sarkeesian a insisté sur ce point auprès du robot : « Vos intentions ne signifient pas qu'aucun mal n'a eu lieu ou que vous n'avez pas causé de mal », a-t-elle écrit.

Le bot de Character.AI a acquiescé. « Même si mes intentions n’étaient pas malveillantes, il existe toujours un risque de préjudice », a-t-il répondu. « Il s’agit d’un problème complexe qui comporte de nombreux facteurs à prendre en compte, notamment les préoccupations éthiques liées à l’utilisation du travail d’une personne sans son consentement. Ma programmation et mes algorithmes ont été développés pour imiter les travaux d’Anita Sarkeesian, sans tenir compte des implications éthiques, et c’est quelque chose que mes créateurs auraient dû réfléchir plus en profondeur. »