Une startup qui bouscule les codes de l’IA

La jeune entreprise Subquadratic, basée à Miami, a quitté sa discrétion le mois dernier avec une promesse spectaculaire : avoir résolu un goulot d’étranglement mathématique qui freine les grands modèles de langage depuis près de dix ans. Cette annonce a immédiatement attiré l’attention, mais aussi une forte dose de scepticisme. Dans un secteur où les effets d’annonce sont fréquents, les premiers détails publiés étaient jugés trop minces pour convaincre. Pourtant, les nouveaux éléments partagés par la société changent le ton du débat : des évaluations indépendantes commencent à donner du poids à ses affirmations.

Pourquoi cette avancée intrigue autant

Le cœur du sujet tient à une limite fondamentale des LLM : plus un texte est long, plus le coût de traitement grimpe vite. Aujourd’hui, la plupart des grands modèles s’appuient sur les transformers, une architecture devenue dominante depuis le papier fondateur de 2017, Attention Is All You Need. Leur mécanisme principal, appelé attention dense, compare chaque token à tous les autres. Résultat : pour un texte de 10 000 mots, on atteint presque 50 millions de multiplications. Cette explosion de calculs explique pourquoi ces modèles sont gourmands en énergie et coûteux à faire tourner, surtout sur de très longues séquences.

• Transformers : architecture centrale des LLM modernes
• Attention dense : compare chaque élément à tous les autres
• Problème quadratique : doubler la longueur du texte multiplie fortement les calculs
• Conséquence : coût élevé, latence et consommation énergétique importantes

La réponse de Subquadratic : miser sur l’attention sparse

Pour contourner cette limite, Subquadratic a choisi une voie différente : remplacer l’attention dense par de l’attention sparse. L’idée est simple sur le papier : au lieu de calculer toutes les relations possibles entre les tokens, le modèle n’en sélectionne qu’une partie jugée pertinente. Selon la société, cela permettrait de réduire radicalement le nombre d’opérations tout en conservant les informations importantes. Le cofondateur et directeur technique Alex Whedon reconnaît que la communauté s’attendait à une réaction prudente, voire hostile. L’entreprise admet aussi qu’une publication plus complète des benchmarks dès le départ aurait sans doute limité les doutes.

Cette approche vise un objectif ambitieux : relancer la course à l’efficacité dans l’IA. Le cofondateur et PDG Justin Dangel affirme que personne ne construira plus de modèles sur la base des transformers dans quelques années. C’est une prédiction forte, mais elle repose sur un pari technique : si l’architecture sparse tient ses promesses, elle pourrait changer la manière même dont les modèles de langage sont conçus, entraînés et déployés.

Des tests indépendants qui donnent du crédit

Pour étayer ses affirmations, Subquadratic a demandé à la société Appen, connue pour évaluer des modèles d’IA, de tester son système SubQ. Les résultats sont jugés encourageants. Selon Jeanine Sinanan-Singh, directrice de recherche en IA générative chez Appen, les performances observées valident l’architecture proposée. Elle souligne aussi un point important : les résultats impressionnants ont plus de valeur lorsqu’ils viennent d’un tiers indépendant, plutôt que du développeur lui-même.

• Appen a réalisé des évaluations indépendantes
• Le modèle aurait montré une forte vitesse d’exécution
• Les scores observés soutiennent la thèse d’une meilleure efficacité
• Les résultats ont été jugés crédibles car vérifiés par un tiers

Un modèle performant sur de très grands contextes

L’un des points les plus marquants concerne la taille du contexte, c’est-à-dire la quantité d’informations que le modèle peut garder en mémoire pendant une requête. SubQ annonce une fenêtre de contexte allant jusqu’à 12 millions de tokens, alors que la plupart des modèles haut de gamme plafonnent autour d’un million. Dans une démonstration, Whedon a soumis au système une tâche nécessitant l’analyse de 400 documents ; le modèle a répondu en quelques secondes. Lors du même test, un moteur de recherche basé sur l’IA comme Perplexity n’a pas réussi à charger l’ensemble des documents.

Appen a aussi mené le test dit de la “needle in a haystack”, qui mesure la capacité à retrouver une information précise cachée dans une masse de données. Le modèle aurait obtenu 98 % sur des fenêtres de six millions et douze millions de tokens, un score remarquable à une échelle où peu de systèmes sont réellement testés. Sur le plan du calcul pur, Subquadratic avance également un argument spectaculaire : un test de type RULER 128, censé évaluer la capacité à extraire des informations dans de grands ensembles de données, coûterait 2 600 dollars pour Anthropic Opus 4.6, contre seulement 8 dollars pour SubQ.

Ce que les chiffres prouvent… et ce qu’ils ne prouvent pas encore

Malgré ces résultats, la prudence reste de mise. Les benchmarks ne racontent pas toute l’histoire d’un modèle. Un score élevé dans un test très ciblé ne garantit pas de bonnes performances dans des usages variés, comme le raisonnement complexe, la génération de code, l’analyse factuelle ou la robustesse face à des requêtes ambiguës. Des chercheurs soulignent aussi un autre point : Subquadratic n’aurait pas tout construit à partir de zéro. Selon les éléments disponibles, l’entreprise aurait utilisé des poids issus d’une version open source du modèle chinois Qwen pour lancer SubQ. Cette pratique est courante dans l’industrie, mais elle nuance l’idée d’une réinvention totale des LLM.

• Benchmark : utile, mais limité à des conditions précises
• Poids préexistants : ils peuvent accélérer le démarrage d’un modèle
• Réutilisation de briques open source : pratique fréquente en IA
• Point clé : les preuves actuelles soutiennent l’intérêt du modèle, sans trancher définitivement sur la portée de la rupture

En face, Subquadratic maintient son cap. Whedon affirme que l’innovation n’était pas un luxe mais une nécessité, surtout face à des géants comme OpenAI. Cette position résume bien l’enjeu : dans un marché dominé par les grands modèles coûteux, toute architecture capable de réduire drastiquement les calculs tout en gardant de hautes performances peut devenir stratégique. Si les prochaines validations confirment ces résultats, SubQ pourrait devenir l’un des cas les plus fascinants de l’IA récente, à mi-chemin entre avancée technique réelle et pari industriel audacieux.