Quand l’IA générative a un inquiétant goût d’eugénisme

Un appel d’éveil : pourquoi Ghost in the Machine compte

Valerie Veatch, réalisatrice de Ghost in the Machine, a commencé par une curiosité simple : tester Sora, le modèle texte‑vers‑vidéo rendu public par OpenAI en 2024. Ce qui devait être une exploration artistique est vite devenu une révélation : les systèmes génératifs produisaient fréquemment des images et des scènes chargées de racisme et de sexisme, sans même y être explicitement invités. Le film cherche à faire comprendre que ces incidents ne sont pas des anomalies isolées mais l’expression d’un héritage intellectuel et technique précis.

Expériences concrètes qui mettent en lumière les biais

Veatch décrit des exemples précis issus de ses expérimentations et de celles d’autres artistes : une femme noire dont les images se retrouvaient systématiquement « blanchies » dans un contexte d’« art gallery », ou des générations qui sexualisaient et dénaturaient des sujets après quelques itérations. Face à ces résultats, la réaction des communautés d’artistes et d’ingénieurs a souvent été d’indifférence, voire de minimisation. Points clés observés :

• Whitewashing : transformation des traits ou du contexte culturel en représentation « européenne » ;
• Sexualisation : altérations non souhaitées (ajouts d’anatomies, postures sexualisées) après plusieurs générations ;
• Silence collectif : absence de réaction ou prise en charge par des pairs et, parfois, par les entreprises productrices.

Ces exemples concrets motivent le film et renforcent l’urgence de comprendre l’origine de ces comportements.

Racines historiques : de Galton et la eugénie à la science des données

Ghost in the Machine retrace une filiation surprenante et inquiétante : Francis Galton (cousin de Darwin) et la mouvance eugéniste ont contribué à normaliser l’idée que l’on peut quantifier les qualités humaines. Karl Pearson et d’autres chercheurs ont transformé ces intuitions en outils statistiques (notamment le développement de méthodes de régression) qui, plus tard, ont nourri les fondements de l’apprentissage automatique. Exemples d’impacts historiques mis en avant dans le film :

• Les « mesures » de traits humains (attractivité, intelligence) comme pratique scientifique normalisée ;
• L’invention et la diffusion d’outils statistiques (corrélations, régressions) repris par la recherche en IA ;
• La persistance d’un imaginaire qui voit certaines populations comme « quantifiables » et donc classifiables.

Comprendre ces racines permet d’expliquer pourquoi des biais persistants réapparaissent dans des systèmes modernes.

Le terme « intelligence artificielle » : mythe et stratégie marketing

Veatch rappelle que l’expression « intelligence artificielle » a d’abord été forgée en 1956 par John McCarthy en partie pour attirer des financements ; depuis, le terme sert davantage de label culturel et commercial que de définition technique rigoureuse. Le documentaire insiste sur l’obfuscation délibérée de certains acteurs de l’industrie : présenter des modèles statistiques et probabilistes comme une forme d’« intelligence » globale crée du mythe, alimente le hype et masque les décisions techniques et historiques qui produisent des résultats discriminatoires.

Pourquoi les entreprises semblent peu pressées de résoudre le problème

Plutôt que d’aborder les sorties problématiques comme des bugs isolés (GIGO : « garbage in, garbage out »), Veatch montre que des choix de conception, des corpus d’entraînement et des priorités commerciales héritées d’un certain héritage scientifique expliquent la répétition des mêmes défauts. Le film documente aussi la difficulté d’obtenir des réponses des dirigeants : Veatch a tenté d’alerter OpenAI sur des sorties racistes et sexistes et s’est heurtée à un désintérêt. Pour remédier à cela, le film et les experts interrogés proposent des voies concrètes :

• Audits indépendants des jeux de données et des modèles ;
• Transparence sur les corpus, les méthodes et les limites ;
• Inclusion effective dans les équipes de conception et dans les panels d’évaluation ;
• Régulation ciblée pour encadrer les usages et les déploiements massifs.

Veatch choisit d’ailleurs de ne pas faire de compromis idéologique en interrogeant uniquement les dirigeants pour la caméra, afin d’éviter une récupération laudative de son travail.

Comment voir le film et ce qu’il apporte au débat public

Ghost in the Machine offre une lunette historique et critique sur des technologies présentées comme neutres. Le film était disponible en streaming via Kinema du 26 au 28 mars, et sa diffusion sur PBS est prévue à l’automne ; il invite le public à questionner à la fois le vocabulaire et les trajectoires scientifiques qui ont façonné l’IA moderne. À regarder pour :

• Acquérir une perspective historique liant eugénie et science des données ;
• Reconnaître des exemples concrets de biais et leurs mécanismes ;
• Susciter des débats publics sur la transparence, l’éthique et la régulation.

Note factuelle : une correction publiée avec le reportage précise que le terme exact est « régression logistique » (et non « logical regression »), illustrant l’importance d’une rigueur terminologique quand on parle de techniques statistiques et de leurs héritages.