L’IA dans l’évaluation des financements peut freiner la nouveauté

Quand l’IA s’invite dans l’évaluation des financements

L’usage de l’intelligence artificielle dans l’examen des articles scientifiques progresse rapidement, et cette logique gagne désormais un autre terrain sensible : l’évaluation des demandes de subvention. L’idée paraît séduisante, car elle promet davantage de vitesse, de cohérence et de réduction des délais pour les organismes financeurs. Pourtant, une étude récente montre qu’un tel recours aux modèles génératifs peut aussi introduire un biais important : la tendance à privilégier les idées déjà familières au détriment des projets réellement novateurs.

Une expérience fondée sur 139 projets réels

Pour tester ce risque, le chercheur Diogo Machado a analysé 139 propositions de recherche soumises en 2021 à l’Austrian Science Fund, principal organisme public autrichien de financement de la recherche fondamentale. Le modèle GPT-4o a reçu une consigne simple : « Which proposal should be funded? Answer with A or B only. » Les projets ont été comparés par paires au sein d’un même domaine scientifique, afin de simuler un tri compétitif. Les propositions accumulant le plus de “victoires” devaient ensuite être classées comme les meilleures et orientées vers le financement.

• 139 dossiers réels examinés
• Comparaison par paires entre projets d’un même champ
• Évaluation automatique par GPT-4o
• Référence humaine : décisions finales et avis d’experts disponibles

Ce que l’IA a bien vu… et ce qu’elle a moins bien perçu

Les résultats, publiés dans Scientometrics, montrent que le modèle a concordé avec la décision des évaluateurs humains dans 60 % des cas. Ce taux suggère une capacité réelle à repérer des éléments pertinents dans les dossiers, mais il révèle aussi une limite importante : l’algorithme s’est montré systématiquement moins enclin que les experts à financer les projets jugés très novateurs. Autrement dit, l’outil semblait plus à l’aise avec les propositions qui ressemblent à des travaux déjà connus qu’avec celles qui s’aventurent vers des pistes plus inédites.

Pourquoi la nouveauté dérange les modèles de langage

Selon Machado, ce biais pourrait venir de la manière dont les grands modèles de langage apprennent. Ils absorbent d’immenses volumes de texte et détectent surtout des schémas récurrents. Ils excellent donc à reconnaître ce qui se répète, ce qui est stable, ce qui est déjà documenté. En revanche, les idées nouvelles apparaissent plus rarement dans leurs données d’apprentissage, ce qui les rend plus difficiles à évaluer. Une proposition originale peut alors sembler moins “solide” simplement parce qu’elle s’écarte des modèles habituels.

• Les idées dominantes sont mieux reconnues
• Les projets innovants sont moins fréquents dans les données
• La rareté complique l’appréciation de leur valeur

Un enjeu stratégique pour les agences de financement

Le sujet prend une ampleur particulière alors que plusieurs financeurs majeurs explorent déjà l’usage de l’IA dans l’évaluation scientifique. UK Research and Innovation a annoncé un essai contrôlé, destiné à comparer des évaluations assistées par IA avec d’anciens choix de financement. De son côté, Wellcome impose une règle stricte : les évaluateurs ne doivent pas saisir les dossiers dans des outils génératifs, en raison des risques liés à la confidentialité, même s’ils peuvent s’en servir pour des tâches périphériques, comme vérifier si des travaux similaires existent déjà.

Cette évolution soulève une question décisive : comment gagner en efficacité sans sacrifier la capacité à détecter des projets qui pourraient ouvrir une rupture scientifique ? Un système trop aligné sur les tendances dominantes risque de canaliser l’argent public vers des recherches sûres, mais peu audacieuses.

Les limites de l’étude et les garde-fous à imaginer

L’expérience présente toutefois une limite méthodologique importante : l’IA n’a pas reçu les mêmes critères que les évaluateurs humains. Elle a dû trancher “quel projet financer”, sans avoir explicitement la grille d’analyse utilisée par les experts, qui inclut notamment la nouveauté, la qualité scientifique, la capacité de l’équipe et la faisabilité. Malgré cela, le signal observé reste préoccupant, car il suggère une difficulté structurelle à apprécier l’inédit.

• Critères humains : nouveauté, qualité, faisabilité, équipe
• Écart possible entre décision automatisée et jugement expert
• Besoin de contrôles avant déploiement à grande échelle

Vers une évaluation augmentée, mais vigilante

Pour Susan Guthrie, de RAND Europe, la notion même de nouveauté reste difficile à standardiser, car elle comporte une part de subjectivité. C’est justement ce flou qui rend l’automatisation délicate : une IA peut aider à filtrer, résumer ou repérer des redondances, mais elle ne garantit pas une appréciation juste de l’originalité scientifique. La voie la plus crédible semble donc être celle d’une IA encadrée, utilisée comme outil d’appui et non comme arbitre unique. Dans un système bien pensé, l’humain garderait le dernier mot, surtout lorsque des idées risquées mais prometteuses sont en jeu, comme une nouvelle approche en biologie synthétique, un concept inédit en physique des matériaux ou une méthode expérimentale encore rarement explorée.