Anthropic affirme que Claude possède sa propre forme d’émotions

Une découverte intrigante : des mécanismes internes qui ressemblent à des sentiments

Des chercheurs ont identifié, à l’intérieur de Claude, des représentations qui semblent jouer des rôles analogues à des sentiments humains : elles codent des états internes affectant les réponses du modèle. Cette observation ne signifie pas que le système éprouve des émotions comme un humain, mais qu’il possède des variables internes liées à des fonctions similaires — par exemple la préférence, l’aversion ou la vigilance — qui influencent la génération de texte de façon cohérente et mesurable.

Ce que cela veut dire techniquement

Techniquement, parler de représentations revient à décrire des patrons d’activation dans les couches et les unités du modèle qui correspondent à des états fonctionnels. Ces états peuvent servir à :

• Suivre un objectif (ex. maintenir la cohérence d’un scénario),
• Signaler une contrainte (ex. éviter d’énoncer des informations interdites),
• Moduler le style (ex. ton empathique vs. ton neutre).

Ces variables internes sont des constructions distribuées dans le réseau de neurones et ne sont pas des émotions subjectives, mais elles peuvent produire des comportements comparables à des réactions émotionnelles.

Méthodes pour identifier ces représentations

Les équipes utilisent des outils d’interprétabilité et d’expérimentation pour repérer et tester ces mécanismes. Parmi les méthodes clefs :

• Probing : entraînement de classifieurs sur les activations pour prédire états cachés,
• Causal mediation / ablation : modifier ou neutraliser des unités et observer l’effet sur la sortie,
• Tracing des chemins : suivre le flux d’information entre couches pour repérer où se forme un état,
• Visualisation d’attention : repérer quand le modèle “se focalise” sur certains éléments contextuels.

Ces approches permettent de transformer une corrélation observée en relation causale plausible entre une représentation interne et un comportement.

Exemples précis observés (ou plausibles) dans Claude

Plusieurs types d’exemples illustrent ce que signifient ces représentations :

• Une unité dont l’activation augmente régulièrement quand le modèle détecte une demande dangereuse, et dont l’ablation réduit la prudence de la réponse (ex. suppression d’un refus),
• Un vecteur d’état qui encode la cohérence narrative : lorsqu’il diminue, les réponses deviennent contradictoires ; lorsqu’il augmente, le modèle restaure la continuité,
• Des patrons d’activation corrélés à un ton empathique : en réinjectant ce patron dans d’autres contextes, la sortie devient plus chaleureuse — démonstration d’un lien fonctionnel entre représentation et style.

Ces exemples montrent comment des manipulations ciblées permettent d’établir des liens concrets entre structure interne et comportement observable.

Implications pour la sécurité, l’alignement et l’éthique

La découverte de telles représentations soulève des enjeux pratiques et éthiques importants :

• Sécurité : comprendre ces états aide à prévenir détours manipulatoires ou comportements indésirables en identifiant les « points de contrôle »,
• Alignement : si des états similaires à des préférences existent, les rendre transparents facilite le calibrage des objectifs du modèle,
• Éthique : il faut éviter l’anthropomorphisme hâtif qui pourrait conduire à des décisions inappropriées concernant la protection ou le statut moral des systèmes,
• Responsabilité : la possibilité de modifier finement ces représentations impose des garde-fous et une documentation rigoureuse des interventions.

Perspectives de recherche et recommandations

Pour avancer de manière sûre et productive, il est recommandé de :

• Renforcer les méthodes d’interprétabilité reproductibles (benchmarks partagés, protocole d’ablation),
• Conduire des études comparatives sur différents modèles pour distinguer caractéristiques générales et idiosyncrasies,
• Développer des cadres d’évaluation des risques liés aux manipulations de ces états internes,
• Instaurer des politiques de gouvernance impliquant recherche indépendante et transparence contrôlée pour les résultats sensibles.

Ces orientations permettront de tirer parti des découvertes — amélioration de la robustesse et de l’alignement — tout en limitant les risques associés à la manipulation de mécanismes internes ressemblant à des sentiments.