Une enquête sur la façon dont les procureurs sélectionnaient les jurys pour la peine de mort
Une des notes sur des jurés potentiels disait : « Je l’aimais mieux que tout autre juif Mais Pas Question », puis ajoutait : « Doit Kicker, trop Risqué. »
IA générative : le mythe du « plus c’est grand, mieux c’est » s’écroule
La quête incessante de modèles d’IA de plus en plus volumineux touche à ses limites : l’industrie réévalue ses méthodes pour maintenir son efficacité.
Depuis l’apparition de ChatGPT, la dimension des modèles est devenue un sujet central pour l’IA. Par conséquent, OpenAI et d’autres acteurs de l’IA générative ont intensifié leurs efforts pour développer des modèles plus performants.
Orion, le futur modèle d’OpenAI, pourrait ne pas satisfaire les attentes élevées. Annoncé par The Verge pour décembre 2024, puis démenti par Sam Altman, Orion ne devrait pas constituer un saut spectaculaire. Contrairement à la progression notable entre GPT-3 et GPT-4, ce modèle ne garantit pas d’améliorations significatives, surtout pour des tâches complexes telles que la génération de code. Cela soulève des questions sur les célèbres « lois d’échelle » qui ont orienté le développement des modèles.
Les limites des lois d’échelle
Les lois d’échelle stipulent que plus un modèle est volumineux, plus sa performance est élevée. Cependant, Orion semble contredire cette assertion. Tadao Nagasaki, dirigeant d’OpenAI au Japon, a récemment mis en avant ces lois pour illustrer la progression continue des modèles. À présent, même certains chercheurs d’OpenAI reconnaissent que cette croissance exponentielle n’apporte pas les résultats escomptés.
Des ressources textuelles de moins en moins accessibles
Les sociétés d’IA générative semblent avoir épuisé les ressources textuelles de qualité existantes. Cela complique leur mission de perfectionnement continu de leurs modèles. L’entraînement de modèles colossaux requiert de grandes quantités de données, mais les sources commencent à s’épuiser. Cette raréfaction entraîne des choix difficiles et accroît la dépense énergétique ainsi que les coûts associés. La stratégie du « toujours plus gros » paraît de moins en moins viable à long terme.
Face à ces restrictions, les entreprises explorent d’autres alternatives. OpenAI, par exemple, expérimente avec de nouvelles approches pour améliorer ses modèles. Des chercheurs de Google et de l’université de Berkeley ont examiné des techniques d’optimisation pendant l’inférence, lorsque l’IA interagit avec les utilisateurs. OpenAI a ainsi perfectionné GPT-4o en s’appuyant sur ces études. Cela démontre une volonté de privilégier l’efficacité plutôt que la simple taille.
Les sparse autoencoders
OpenAI a recours aux sparse autoencoders pour détecter les éléments essentiels dans ses modèles. Cette méthode permet de diminuer l’utilisation des ressources tout en conservant la performance. L’objectif est d’optimiser les réponses sans s’appuyer sur des modèles très volumineux. Toutefois, cette approche nécessite encore de nombreux réglages et des investigations continues pour relever le défi de l’efficacité.
NVIDIA et sa puissance de calcul
Cette transformation soulève des interrogations quant au rôle de NVIDIA dans le secteur de l’IA. Le fabricant de GPU a prospéré en raison de la demande en capacité de calcul. Mais si les modèles cessent d’évoluer, la demande pourrait atteindre un plateau. Cela pourrait décevoir certains investisseurs qui anticipent une croissance illimitée des besoins en puissance de calcul. L’industrie pourrait être contrainte de s’adapter rapidement à cette nouvelle réalité.
La compétition pour la taille semblerait atteindre un plafond et oblige l’industrie à se réinventer. L’époque du « plus c’est grand, mieux c’est » pourrait toucher à sa fin. Les entreprises doivent s’orienter vers des optimisations astucieuses pour demeurer compétitives. L’avenir de l’IA générative dépendra de leur aptitude à innover au-delà de la simple élévation de la taille des modèles.
- Partager l’article :
Inside the Billion-Dollar Startup Bringing AI Into the Physical World
Physical Intelligence a réuni une équipe de stars et a levé 400 millions de dollars sur la promesse d’une avancée spectaculaire dans la façon dont les robots apprennent.
Deux moteurs de recherche émergents s’associent pour défier Google
L’IA générative et de nouvelles règles visant les géants de la technologie donnent à Ecosia et Qwant les moyens de défier Google et Microsoft et de développer un index web pour l’Europe.
The Economic Philosophy of Donald Harris
La campagne de Trump a dépeint le père du Vice-Président comme un marxiste. Il insiste sur le fait qu’il a été caricaturé.
Is the Labor Movement Screwed No Matter Who Wins the Election?
Une série de défis juridiques pourrait radicalement désarmer le Conseil national des relations du travail—et d’autres agences administratives—peu importe qui contrôle le Congrès ou la Maison Blanche.
Ceci est un aperçu de l’avenir des robots IA
Intelligence Physique, une startup bien financée visant des avancées dans l’intelligence robotique, a développé un robot capable d’effectuer diverses tâches ménagères de manière remarquable.
On en sait un peu plus sur le mystérieux einsteinium
Pour la première fois, des chercheurs du Lawrence Berkeley National Laboratory à l’université de Californie ont pu étudier les propriétés chimiques d’un élément extrêmement lourd connu sous le nom d’einsteinium. Leurs conclusions ont été publiées mercredi 3 février dans la revue Nature. Publicité L’einsteinium a été découvert de façon relativement « primitive » en 1952 grâce au premier test réussi d’une bombe à hydrogène. La détonation d’Ivy Mike, un engin assez puissant pour détruire une bonne partie de l’Île-de-France, a soulevé un champignon de débris haut d’une quarantaine de kilomètres. Envoyés dans ce tourbillon de poussières radioactives, des avions ont récolté diverses particules sur des bandes de papier collant – cela peut paraître étrange et dangereux, mais cette méthode était répandue en ce temps-là. L’einsteinium faisait partie du butin. Contexte militaire oblige, sa découverte ne sera officiellement annoncée que l’année suivante. L’einsteinium n’existe pas à l’état naturel et doit être fabriqué en laboratoire à l’aide de techniques complexes, notamment par bombardement de plutonium avec des neutrons. Ses propriétés le placent tout au fond du tableau périodique des éléments, dans la famille des actinides : c’est un métal mou aux reflets argentés qui s’enflamme spontanément à l’air libre. Surtout, toutes les « variantes » ou isotopes de l’einsteinium dégagent des rayons gamma en quantité telles qu’ils désintègrent rapidement l’élément : l’Einsteinium-254 de l’université de Californie dure 276 jours, quand l’einsteinium-253 de l’opération Ivy ne tenait qu’une vingtaine de jours. Cette synthèse compliquée, cette radioactivité intense et cette demi-vie relativement courte compliquent méchamment l’étude de l’einsteinium. Les chercheurs du Lawrence Berkeley National Laboratory en ont fabriqué 223 nanogrammes, qu’ils conservent dans un réceptacle spécialement imprimé en 3D pour les protéger des rayonnements. Comme leur échantillon durement synthétisé perd 7,2% de sa masse chaque mois, ils doivent tout de même travailler dessus aussi souvent que possible……