Une nouvelle ère pour la sécurité de l’IA
Google a récemment lancé un programme de récompenses innovant visant à déceler des bugs dans ses produits d’IA. L’objectif de ce programme est de lutter contre ce que l’on appelle les « actions incontrôlées » des bots d’IA, qui peuvent potentiellement causer des dommages ou exploiter des failles de sécurité dans les systèmes. Des actions telles que déverrouiller une porte via Google Home ou exfiltrer des données par un biais d’injection de prompt sont des exemples concrets des anomalies recherchées.
Définition des bugs de l’IA
Le nouveau programme de Google définit clairement ce qui constitue un bug d’IA. Ces problèmes incluent des cas où un modèle de langage ou un système d’IA générative est utilisé pour provoquer des nuisances ou tirer parti d’une faille de sécurité. Des modifications non sollicitées des comptes ou des données, comme un défaut exposé qui pourrait ouvrir des volets roulants ou éteindre des lumières via un événement de calendrier piégé, figurent parmi les cas les plus préoccupants.
Un appel aux chercheurs
Depuis le lancement du programme, les chasseurs de bugs ont déjà gagné plus de 430 000 dollars au cours des deux dernières années. Google incite les chercheurs à identifier les voies potentielles d’abus des fonctionnalités d’IA dans ses produits, soulignant l’importance d’une sécurité proactive. La récompense principale se situe à 20 000 dollars pour la détection d’actions irrégulières.
Problèmes notables et signalement
Il est important de noter que simplement provoquer des hallucinations avec le modèle Gemini ne suffira pas à obtenir une récompense. Google a indiqué que les rapports sur des problèmes tels que la génération de discours haineux ou de contenu enfreignant des droits d’auteur doivent être soumis via le canal de feedback du produit afin que les équipes de sécurité de l’IA puissent diagnostiquer ces comportements et mettre en œuvre des formations de sécurité à long terme.
CodeMender : un allié pour la sécurité
En parallèle avec son programme de récompenses, Google a annoncé un nouvel agent d’IA nommé CodeMender. Celui-ci est conçu pour réparer le code vulnérable, ayant déjà permis de corriger 72 failles de sécurité dans des projets open-source, après validation par un chercheur humain. Il constitue un outil précieux pour renforcer la sécurité des applications.
Structure des récompenses et impact
Le programme de récompenses vise avant tout les produits phares de Google, tels que Search, les applications Gemini, et les outils Workspace comme Gmail et Drive. Des multiplicateurs pour la qualité des rapports et un bonus de nouveauté peuvent porter la récompense totale jusqu’à 30 000 dollars. En revanche, les bugs identifiés dans d’autres produits de Google, comme Jules ou NotebookLM, sont moins rémunérateurs.
En savoir plus sur L'ABESTIT
Subscribe to get the latest posts sent to your email.
