DeepSeek lance modèle attention réduite, baisse coûts API de moitié

Introduction au modèle V3.2-exp de DeepSeek

DeepSeek a récemment dévoilé son nouveau modèle expérimental, le V3.2-exp, promettant des coûts d’inférence beaucoup plus bas lors des opérations à long contexte. Annoncé sur Hugging Face, ce modèle s’accompagne également d’un article académique publié sur GitHub. Ce développement ouvre la voie à des améliorations potentiellement significatives dans le domaine du traitement du langage naturel.

Une innovation clé : DeepSeek Sparse Attention

Le modèle V3.2-exp innove principalement grâce à un système sophistiqué connu sous le nom de DeepSeek Sparse Attention. Cette technologie repose sur plusieurs modules, notamment :

• Indexer Lightning : Ce module priorise des extraits spécifiques du contexte.
• Système de sélection de tokens à grain fin : Il choisit des tokens précis parmi les extraits sélectionnés pour être chargés dans la fenêtre d’attention limitée du modèle.

Ces deux composants permettent au modèle de fonctionner efficacement sur de longues portions de texte tout en maintenant des charges serveur relativement faibles.

Les avantages des opérations à long contexte

Les premiers tests de DeepSeek ont mis en lumière les bénéfices significatifs du système lors des opérations à long contexte. Il a été constaté que le coût d’un simple appel API pourrait être réduit de moitié. Bien que des tests supplémentaires soient nécessaires pour valider ces résultats, la disponibilité ouverte et gratuite du modèle sur Hugging Face facilite l’évaluation de ces allégations par des tiers.

Contexte de l’innovation en matière de coûts d’inférence

Le modèle de DeepSeek fait partie d’une série de percées récentes visant à réduire les coûts d’inférence, qui se réfèrent aux frais d’exploitation des modèles d’IA pré-entraînés. En se concentrant sur une architecture de transformateur plus efficace, les chercheurs ont découvert des moyens significatifs d’optimiser le fonctionnement de ces systèmes complexes.

DeepSeek : un acteur inattendu de l’IA

Situé en Chine, DeepSeek se démarque dans le paysage de l’IA, surtout dans un contexte où la recherche en IA est perçue comme une bataille nationaliste entre les États-Unis et la Chine. La société a déjà frappé les esprits en début d’année avec son modèle R1, qui a été entraîné à un coût nettement inférieur à celui de ses concurrents américains. Cependant, malgré cet engouement initial, le modèle n’a pas provoqué la révolution attendue dans l’entraînement de l’IA, et DeepSeek a pris du recul depuis.

Vers un avenir prometteur avec l’attention sparse

Bien que la nouvelle approche d’attention sparse ne semble pas susciter l’enthousiasme du modèle R1, elle pourrait néanmoins offrir d’importants enseignements aux fournisseurs américains pour maintenir les coûts d’inférence à un niveau raisonnable. En adoptant ces techniques, l’industrie de l’IA pourrait bénéficier de stratégies innovantes pour développer des modèles plus efficaces et économiquement viables.