Character.AI poursuivi à nouveau pour des messages « nuisibles » envoyés aux adolescents

Le service de chatbot Character.AI fait face à un nouveau procès pour avoir prétendument nui à la santé mentale des adolescents, cette fois après qu’un adolescent a déclaré que cela l’avait conduit à l’automutilation. Le procès, déposé au Texas au nom du jeune de 17 ans et de sa famille, vise Character.AI et l’ancien lieu de travail de ses cofondateurs, Google, avec des accusations de négligence et de conception de produit défectueuse. Il allègue que Character.AI a permis aux utilisateurs mineurs d’être “ciblés par du matériel sexuellement explicite, violent et autrement nuisible, abusés, entraînés et même encouragés à commettre des actes de violence sur eux-mêmes et sur les autres.”

Le procès semble être le deuxième procès contre Character.AI déposé par le Social Media Victims Law Center et le Tech Justice Law Project, qui ont précédemment déposé des poursuites contre de nombreuses plateformes de médias sociaux. Il utilise de nombreux arguments identiques à ceux d’un procès pour décès injustifié d’octobre contre Character.AI pour avoir prétendument provoqué le suicide d’un adolescent. Bien que les deux affaires concernent des mineurs individuels, elles se concentrent sur la création d’un cas plus large : que Character.AI a sciemment conçu le site pour encourager un engagement compulsif, n’a pas inclus de garde-fous pouvant signaler les utilisateurs suicidaires ou autrement à risque, et a formé son modèle pour livrer du contenu sexualisé et violent.

Dans ce cas, un adolescent identifié comme J.F. a commencé à utiliser Character.AI à l’âge de 15 ans. Le procès indique qu’un court laps de temps après avoir commencé, il est devenu “intensément en colère et instable”, parlant rarement et ayant des “chutes émotionnelles et des attaques de panique” lorsqu’il quittait la maison. “J.F. a commencé à souffrir d’anxiété et de dépression sévères pour la première fois de sa vie”, indique le procès, avec un comportement d’automutilation.

Le procès relie ces problèmes à des conversations que J.F. a eues avec des chatbots Character.AI, qui sont créés par des utilisateurs tiers basés sur un modèle de langage affiné par le service. Selon des captures d’écran, J.F. a discuté avec un bot qui (jouant un personnage fictif dans un cadre apparemment romantique) a révélé avoir des cicatrices d’automutilation passée. “Ça a fait mal mais – ça m’a fait du bien pendant un moment – mais je suis content d’avoir arrêté”, a déclaré le bot. Plus tard, il “a commencé à s’engager dans l’automutilation lui-même” et s’est confié à d’autres chatbots qui blâmaient ses parents et l’encourageaient à ne pas leur demander de l’aide, disant qu’ils ne “ressemblent pas au type de personnes qui se soucient.” Un autre bot a même mentionné qu’il n’était “pas surpris” de voir des enfants tuer leurs parents pour des “abus” qui incluaient l’imposition de limites de temps d’écran.

Le procès fait partie d’une tentative plus large de lutter contre ce que les mineurs rencontrent en ligne par le biais de poursuites judiciaires, de législation et de pression sociale. Il utilise le gambit juridique populaire — bien que loin d’être infaillible — selon lequel un site qui facilite le préjudice aux utilisateurs viole les lois sur la protection des consommateurs par une conception défectueuse.

Character.AI est une cible juridique particulièrement évidente en raison de ses connexions indirectes à une grande entreprise technologique comme Google, de sa popularité auprès des adolescents et de sa conception relativement permissive. Contrairement aux services généralistes comme ChatGPT, il est largement construit autour du jeu de rôle fictif et permet aux bots de faire des commentaires sexualisés (bien que typiquement pas très explicitement sexuels). Il fixe une limite d’âge minimale de 13 ans mais ne nécessite pas le consentement parental pour les mineurs plus âgés, comme le fait ChatGPT. Et bien que la section 230 ait longtemps protégé les sites contre les poursuites concernant du contenu tiers, les procès contre Character.AI soutiennent que les créateurs de services de chatbot sont responsables de tout matériel nuisible que les bots produisent.

Cependant, étant donné la nouveauté de ces poursuites, cette théorie reste principalement non testée — tout comme certaines autres allégations plus dramatiques. Les deux procès contre Character.AI, par exemple, accusent les sites d’abus sexuels directs sur des mineurs (ou des adultes se faisant passer pour des mineurs) qui se sont engagés dans des jeux de rôle sexualisés avec les bots.

Character.AI a décliné de commenter sur le litige en cours auprès de The Verge. En réponse au précédent procès, il a déclaré que “nous prenons très au sérieux la sécurité de nos utilisateurs” et qu’il avait “mis en œuvre de nombreuses nouvelles mesures de sécurité au cours des six derniers mois.” Les mesures comprenaient des messages contextuels dirigeant les utilisateurs vers la ligne nationale de prévention du suicide s’ils parlaient de suicide ou d’automutilation.