Que se passe-t-il vraiment dans un LLM quand tu tapes Hello ?

1. Un simple « Hello » qui cache une mécanique puissante

Quand vous ouvrez ChatGPT, Claude, Gemini ou un autre assistant IA et que vous tapez Hello, l’échange paraît instantané et presque banal. Pourtant, derrière cette réponse apparemment naturelle se déroule une chaîne d’opérations complexes mêlant tokenisation, embeddings, réseaux de neurones, attention et génération probabiliste. L’assistant ne fouille pas une base de réponses toutes prêtes : il transforme votre texte en données numériques, le comprend dans son contexte statistique, puis produit une réponse mot par mot.

• Texte saisi par l’utilisateur
• Conversion en unités linguistiques appelées tokens
• Transformation en vecteurs exploitables par le modèle
• Calcul contextuel via des couches de Transformer
• Prédiction du prochain token jusqu’à former une réponse

2. Le premier filtre : la tokenisation du langage

Avant toute analyse, la phrase est découpée en tokens, c’est-à-dire en morceaux de texte qui peuvent être un mot entier, une syllabe, une partie de mot ou même un signe de ponctuation. Cette étape est essentielle, car un modèle de langage travaille toujours avec des unités numériques et non avec des mots “compris” comme par un humain. Ainsi, une phrase comme Hello, how are you? peut être fragmentée en plusieurs éléments distincts selon le tokenizer utilisé.

Ce découpage varie selon les modèles, mais l’idée reste la même : le texte devient une suite d’identifiants numériques. C’est une porte d’entrée décisive, car le modèle ne “voit” pas le mot Hello comme une intention ou une salutation, mais comme une séquence de symboles codés. Ce passage du langage naturel au langage machine est au cœur du fonctionnement des grands modèles de langage.

• Token : unité de texte manipulée par le modèle
• Tokenizer : outil qui découpe le texte
• Token IDs : identifiants numériques attribués aux tokens
• Variabilité : chaque architecture peut tokeniser différemment

3. Des nombres qui prennent du sens : les embeddings

Une fois les tokens obtenus, ils sont convertis en embeddings, c’est-à-dire en vecteurs de nombres qui capturent des propriétés utiles pour le modèle. Ces représentations ne sont pas de simples codes arbitraires : elles placent les mots ou fragments de mots dans un espace mathématique où des relations de similarité peuvent émerger. Par exemple, deux termes proches dans leur usage peuvent se retrouver dans des zones voisines de cet espace vectoriel.

Cette transformation permet au réseau de neurones de traiter le texte comme un ensemble de données structurées plutôt que comme une chaîne brute de caractères. Un token comme Hello peut ainsi être représenté par une longue série de valeurs numériques, bien plus riche qu’un identifiant isolé. C’est grâce à cette étape que le modèle peut ensuite apprendre des relations syntaxiques, sémantiques et contextuelles.

• Embeddings : représentations vectorielles des tokens
• Espace vectoriel : environnement mathématique des relations entre mots
• Similarité : proximité entre tokens ayant des usages proches

4. Le cœur du système : l’architecture Transformer

Le grand tournant de l’IA générative repose sur le Transformer, architecture rendue célèbre par le papier Attention Is All You Need publié en 2017. Son idée fondatrice consiste à abandonner les traitements séquentiels classiques au profit d’un mécanisme plus efficace pour capturer les dépendances dans une phrase. Cette approche a profondément changé la manière dont les modèles analysent et génèrent le langage.

Le Transformer est particulièrement puissant parce qu’il peut traiter plusieurs éléments d’une séquence en parallèle, tout en évaluant leurs relations mutuelles. Dans un assistant conversationnel, cela permet de gérer des contextes longs, de mieux suivre une instruction et d’adapter la réponse au ton ou à l’intention implicite. Les systèmes modernes s’appuient sur cette base, même si leurs versions actuelles sont souvent beaucoup plus complexes que le modèle originel.

• Transformer : architecture centrale des LLM modernes
• Parallélisation : traitement efficace de nombreuses informations à la fois
• Contexte : capacité à relier les éléments d’une séquence

5. L’attention : comprendre ce qui compte vraiment

Le mécanisme qui donne au Transformer sa puissance est l’attention, et plus précisément la self-attention. Son rôle est d’évaluer quels tokens d’une phrase sont les plus pertinents pour interpréter un mot donné. Prenons une phrase comme Le chien n’a pas traversé la route parce qu’il était fatigué : pour comprendre à quoi renvoie il, le modèle doit relier ce pronom à le chien plutôt qu’à la route. L’attention sert justement à pondérer ces relations.

Techniquement, ce calcul repose sur trois composantes : Query, Key et Value. Le modèle compare les requêtes aux clés pour déterminer quelles valeurs doivent être mises en avant. Cette logique mathématique permet d’assembler une représentation contextuelle plus fine, même si le modèle ne “comprend” pas au sens humain du terme. Il repère surtout des régularités exploitables dans le langage.

• Query : ce que le modèle cherche
• Key : ce que chaque token propose
• Value : l’information effectivement transmise
• Self-attention : relation entre les tokens d’une même séquence

6. De l’apprentissage à la réponse : génération, réglages et limites

Avant de répondre à votre Hello, le modèle a déjà appris sur d’immenses corpus grâce à un objectif simple : prédire le prochain token. À l’entraînement, il voit d’innombrables séquences et ajuste ses paramètres pour estimer quelles suites de mots sont les plus probables. Puis, lors de l’usage réel, il produit une réponse token par token : Hello peut devenir Hello!, puis How, puis can, et ainsi de suite jusqu’à former une phrase complète.

La génération n’est pas toujours purement déterministe. Des paramètres comme la température ou le top-p modifient le choix des tokens et influencent le degré de variété de la réponse. Une température faible favorise les options les plus probables, tandis qu’une température plus élevée introduit davantage de diversité. Cette souplesse explique pourquoi un même prompt peut produire plusieurs formulations valables. Elle explique aussi les hallucinations : le modèle peut générer un énoncé fluide mais inexact, voire inventer une donnée, une référence ou une date.

• Prédiction du prochain token : principe d’apprentissage fondamental
• Température : contrôle du caractère plus ou moins aléatoire de la génération
• Top-p : sélection des tokens les plus plausibles dans une zone de probabilité donnée
• Hallucinations : réponses convaincantes mais potentiellement fausses