IA générative : le mythe du « plus c’est grand, mieux c’est » s’écroule
La quête incessante de modèles d’IA de plus en plus volumineux touche à ses limites : l’industrie réévalue ses méthodes pour maintenir son efficacité.
Depuis l’apparition de ChatGPT, la dimension des modèles est devenue un sujet central pour l’IA. Par conséquent, OpenAI et d’autres acteurs de l’IA générative ont intensifié leurs efforts pour développer des modèles plus performants.
Orion, le futur modèle d’OpenAI, pourrait ne pas satisfaire les attentes élevées. Annoncé par The Verge pour décembre 2024, puis démenti par Sam Altman, Orion ne devrait pas constituer un saut spectaculaire. Contrairement à la progression notable entre GPT-3 et GPT-4, ce modèle ne garantit pas d’améliorations significatives, surtout pour des tâches complexes telles que la génération de code. Cela soulève des questions sur les célèbres « lois d’échelle » qui ont orienté le développement des modèles.
Les limites des lois d’échelle
Les lois d’échelle stipulent que plus un modèle est volumineux, plus sa performance est élevée. Cependant, Orion semble contredire cette assertion. Tadao Nagasaki, dirigeant d’OpenAI au Japon, a récemment mis en avant ces lois pour illustrer la progression continue des modèles. À présent, même certains chercheurs d’OpenAI reconnaissent que cette croissance exponentielle n’apporte pas les résultats escomptés.
Des ressources textuelles de moins en moins accessibles
Les sociétés d’IA générative semblent avoir épuisé les ressources textuelles de qualité existantes. Cela complique leur mission de perfectionnement continu de leurs modèles. L’entraînement de modèles colossaux requiert de grandes quantités de données, mais les sources commencent à s’épuiser. Cette raréfaction entraîne des choix difficiles et accroît la dépense énergétique ainsi que les coûts associés. La stratégie du « toujours plus gros » paraît de moins en moins viable à long terme.
Face à ces restrictions, les entreprises explorent d’autres alternatives. OpenAI, par exemple, expérimente avec de nouvelles approches pour améliorer ses modèles. Des chercheurs de Google et de l’université de Berkeley ont examiné des techniques d’optimisation pendant l’inférence, lorsque l’IA interagit avec les utilisateurs. OpenAI a ainsi perfectionné GPT-4o en s’appuyant sur ces études. Cela démontre une volonté de privilégier l’efficacité plutôt que la simple taille.
Les sparse autoencoders
OpenAI a recours aux sparse autoencoders pour détecter les éléments essentiels dans ses modèles. Cette méthode permet de diminuer l’utilisation des ressources tout en conservant la performance. L’objectif est d’optimiser les réponses sans s’appuyer sur des modèles très volumineux. Toutefois, cette approche nécessite encore de nombreux réglages et des investigations continues pour relever le défi de l’efficacité.
NVIDIA et sa puissance de calcul
Cette transformation soulève des interrogations quant au rôle de NVIDIA dans le secteur de l’IA. Le fabricant de GPU a prospéré en raison de la demande en capacité de calcul. Mais si les modèles cessent d’évoluer, la demande pourrait atteindre un plateau. Cela pourrait décevoir certains investisseurs qui anticipent une croissance illimitée des besoins en puissance de calcul. L’industrie pourrait être contrainte de s’adapter rapidement à cette nouvelle réalité.
La compétition pour la taille semblerait atteindre un plafond et oblige l’industrie à se réinventer. L’époque du « plus c’est grand, mieux c’est » pourrait toucher à sa fin. Les entreprises doivent s’orienter vers des optimisations astucieuses pour demeurer compétitives. L’avenir de l’IA générative dépendra de leur aptitude à innover au-delà de la simple élévation de la taille des modèles.
- Partager l’article :