Comprendre ou déléguer à l’IA : le nouveau dilemme scientifique

Un appel inédit à la science‑fiction

Wiebke Drenckhan et Jean Farago, dans leur Carte blanche au « Monde », invitent les créateurs de récits à jouer un rôle d’alerte face à la tentation de confier à la seule IA la maîtrise de domaines qui dépassent la compréhension humaine : ils estiment que la fiction peut traduire en images et scénarios compréhensibles des enjeux abstraits. Exemple précis : imaginez une ville intelligente gérée par un algorithme opaque qui optimise l’énergie au détriment de l’accès public — la fiction permet d’illustrer ces glissements avant qu’ils ne deviennent réalité. Points clés à retenir :

• Rôle prophétique de la fiction pour anticiper les dérives.
• Capacité à rendre intelligible l’invisible (algorithmes, boîtes noires).
• Facilitation du débat public autour des choix techniques.

Pourquoi la tentation de déléguer est puissante

La promesse d’efficacité et d’optimisation pousse entreprises et États à déléguer des décisions complexes à des systèmes d’IA, parfois au-delà de ce que les experts eux‑mêmes peuvent pleinement expliquer. Exemple : les marchés financiers utilisent des algorithmes de trading haute fréquence qui, en 2010, ont contribué au Flash Crash — un effondrement ultra‑rapide des cours difficile à retracer. Points essentiels :

• Gain de performance contre perte de transparence.
• Complexité croissante rendant l’IA incompréhensible même pour ses créateurs.
• Risque d’« automatisation des biais » amplifiant les inégalités.

Risques concrets quand l’IA prend la main

Quand la maîtrise échappe à la supervision humaine, les conséquences peuvent être graves : décisions médicales erronées, drones armés opérant selon des règles mal calibrées, systèmes judiciaires automatisés reproduisant des biais historiques. Exemple précis : IBM Watson en oncologie a produit des recommandations inadaptées dans certains cas réels, montrant qu’un outil performant n’est pas synonyme de jugement fiable. D’autres références fictionnelles — HAL 9000 dans 2001 ou les robots d’Asimov — éclairent ces scénarios. Points de vigilance :

• Sécurité et fiabilité dans des contextes critiques (santé, défense).
• Responsabilité légale en cas de dommages.
• Transparence et traçabilité des décisions algorithmiques.

Ce que la fiction apporte de spécifique

La science‑fiction ne se contente pas d’effrayer : elle structure l’imaginaire collectif, propose des métaphores et met en scène des dilemmes moraux qui facilitent la réflexion publique et politique. Exemple : les récits d’Asimov ont inspiré des cadres éthiques (les « lois » de la robotique) et stimulent des débats sur la priorité des valeurs. La fiction sert aussi d’outil pédagogique pour expliquer des enjeux techniques à un large public. Points positifs :

• Stimulation de la délibération démocratique.
• Création de scénarios tests pour la gouvernance.
• Traduction d’abstractions en récits accessibles.

Mesures concrètes pour garder l’humain au cœur

Pour éviter la dérive consistant à laisser la IA décider seule, il faut des garde‑fous techniques, juridiques et culturels : audits externes, obligation d’explicabilité, comité d’éthique pluridisciplinaire, formation continue des décideurs. Exemple précis : la mise en place d’« human‑in‑the‑loop » dans les systèmes critiques, où une personne reste habilitée à valider ou interrompre une décision automatisée. Actions concrètes recommandées :

• Instaurer des audits indépendants réguliers des algorithmes.
• Exiger des standards d’explicabilité et de documentation technique.
• Promouvoir des cadres juridiques assignant la responsabilité en cas d’erreur.

Appel à l’action : écrire, débattre et réguler

L’appel de Drenckhan et Farago est aussi un appel collectif : écrivains, scientifiques, citoyens et législateurs doivent participer au récit social qui encadre l’IA. Exemple d’initiatives concrètes : ateliers citoyens sur les algorithmes, résidences d’écrivains en laboratoires d’IA, lois imposant des évaluations d’impact. Pour avancer, trois pistes prioritaires :

• Éducation : rendre la technologie compréhensible dès l’école.
• Dialogue : multiplier les ponts entre créateurs de fiction et ingénieurs.
• Régulation : définir des règles claires garantissant la supervision humaine.