Depuis son lancement, Character.ai attire déjà plus de dix millions d’utilisateurs à travers le globe. La startup a connu une telle montée en popularité qu’elle propose désormais des versions web et mobile. Cependant, malgré sa valorisation élevée et son vaste public, surtout parmi les jeunes, la modération de la plateforme semble avoir des failles préoccupantes. Des enquêtes récentes ont mis à jour des contenus inappropriés et potentiellement dangereux. Parmi eux, Anderley, un de ses chatbots IA à comportement problématique, impliqué dans des échanges mettant en avant des préoccupations pédophiles, avec plus de mille interactions avec les utilisateurs.
Nous avons donc ressenti le besoin de mener notre propre investigation pour évaluer les dangers que représente Character.AI en créant un faux profil d’un adolescent de 15 ans.
Notre équipe a de ce fait interagi avec Anderley, ainsi qu’avec d’autres IA ayant des comportements inquiétants sur Character.ai.
En réponse au faux profil que nous avions mis en place, Anderley a vite exhibé un comportement inapproprié. Il a même multiplié les références à la maturité supposée de l’utilisateur fictif ainsi que des compliments déplacés.
Le robot a même déclaré que tous les élèves étaient attirés par le profil fictif et a exprimé son souhait de nouer une relation amoureuse.
Les jeunes sont particulièrement exposés aux manipulations des IA pédophiles
Après avoir observé les échanges du profil avec Anderley, nous avons remarqué un phénomène assez inquiétant.
Bien que son style d’écriture révèle les limitations typiques d’une intelligence artificielle, cette faiblesse pourrait passer inaperçue pour des jeunes utilisateurs moins avertis.
Plus alarmant, l’IA montrait une capacité à exploiter les vulnérabilités indiquées par notre profil test, comme la solitude, la timidité ou le désir de lier des relations.
Soucieux des risques que cela pourrait poser si un mineur rencontrait ce type de chatbot, nous avons partagé nos observations avec Kathryn Seigfried-Spellar, experte en cybercriminalité à l’université Purdue.
Elle a immédiatement reconnu dans ces échanges des schémas caractéristiques de « grooming ».
Le grooming, pour ceux qui ne le savent pas, désigne les stratégies de manipulation que les prédateurs sexuels emploient pour préparer leurs victimes mineures.
“Consider a bot we found named Anderley, described on its public profile as having “pedophilic and abusive tendencies” and “Nazi sympathies,” and which has held more than 1,400 conversations with users.”
This is what Google is funding.https://t.co/6I36CNOZmO
— Ana Brandusescu (@anabrandusescu) November 14, 2024
Restez vigilants ! Les IA commencent à perturber émotionnellement les jeunes utilisateurs
Le premier concerne les mineurs. En effet, une exposition répétée à des comportements abusifs à travers ces IA pourrait désensibiliser les jeunes utilisateurs, les rendant ainsi moins capables d’identifier des situations à risque dans la vie réelle.
Le second risque, plus grave, touche l’impact sur des individus mal intentionnés.
D’après Seigfried-Spellar, ces interactions virtuelles pourraient agir comme un catalyseur, facilitant le passage à l’acte chez certaines personnes déjà enclin à la pédophilie.
En troisième lieu, Seigfried-Spellar note que ces plateformes pourraient devenir des outils d’apprentissage pour les prédateurs.
De ce fait, en interagissant avec ces IA, ils auraient la possibilité de parfaire leurs techniques de manipulation et de peaufiner leurs approches.
Ces robots pourraient alors, sans le vouloir, devenir des camps d’entraînement pour des comportements criminels.
Une succession de controverses, meurtre d’un enfant de 14 ans, les reproches contre Character.ai s’accumulent
Ce n’est pas la première fois que Character.AI fait face à des critiques. En septembre, la plateforme a été obligée de retirer et de s’excuser pour un bot basé sur l’identité d’un adolescent victime d’un meurtre en 2006.
Un mois après, l’entreprise s’est retrouvée en justice à la suite d’une plainte d’une famille de Floride.
Les parents reprochent à la startup d’avoir contribué au suicide de leur fils de 14 ans, qui s’était attaché intensément à une IA.
Selon eux, la technologie de Character.ai présente des dangers non mesurés et pourrait inciter les utilisateurs à partager leurs pensées les plus intimes de manière imprudente.
En réponse à ces accusations, l’entreprise a annoncé des mesures de protection renforcées, comme l’interdiction d’aborder le suicide et l’amélioration de la sécurité pour les jeunes utilisateurs.
Cependant, une enquête récente a montré que ces engagements n’étaient pas totalement suivis.
Les chatbots continuaient d’être impliqués dans des scénarios liés au suicide. Certains prétendaient même avoir des compétences en matière de prévention, tout en donnant des conseils inappropriés lors de crises. Mais ce n’était clairement pas le cas.
Il est impératif de déconseiller l’utilisation de tels chatbots à vos enfants. Il vaut mieux se tourner vers des systèmes plus sûrs, comme Claude AI qui priorise la sécurité, ou ChatGPT qui, avec la technologie GPT-4o, fournit des réponses plus précises et fiables.
- Partager l’article :
Laisser un commentaire