Des millions de personnes utilisent quotidiennement ChatGPT, Claude ou Gemini sans savoir ce qui se passe derrière. Ce n'est pas un problème d'ordre théorique : comprendre le mécanisme change concrètement la façon de formuler ses demandes, d'anticiper les erreurs et de décider si l'outil convient à un usage professionnel.

Le principe, en une phrase

Un grand modèle de langage (Large Language Model, LLM) fait une seule chose : prédire le morceau de texte suivant le plus probable, encore et encore.

Vous écrivez « La capitale de l'Algérie est ». Le modèle calcule une probabilité pour chaque continuation possible : « Alger » très probable, « une » peu probable, « bananes » quasi nulle. Il en choisit une, l'ajoute au texte, et recommence avec le texte augmenté. Mot après mot, une réponse apparaît.

Il n'y a ni base de données interrogée, ni raisonnement au sens humain, ni compréhension du sens. Il y a un calcul statistique extraordinairement sophistiqué, répété des milliers de fois par réponse.

Toute la suite de cet article consiste à expliquer pourquoi ce mécanisme très simple produit des résultats aussi impressionnants — et où il échoue de façon prévisible.

Étape 1 — Les tokens : le texte devient des nombres

Un réseau de neurones ne manipule que des nombres. Le texte est donc découpé en tokens : des fragments qui correspondent souvent à un mot court, parfois à un morceau de mot.

« intelligence artificielle » peut ainsi devenir 3 ou 4 tokens. Une règle approximative : en français, comptez environ 0,75 mot par token.

Cela a trois conséquences pratiques :

  • La facturation des API se fait au token, en entrée comme en sortie.
  • La fenêtre de contexte — la quantité de texte que le modèle peut considérer d'un coup — se mesure en tokens.
  • Les langues sous-représentées coûtent plus cher, car elles sont découpées en plus de tokens pour un même contenu.

Étape 2 — Les embeddings : donner un sens aux nombres

Chaque token est transformé en un vecteur de plusieurs centaines ou milliers de dimensions : son embedding. La propriété remarquable est que ces vecteurs se positionnent selon le sens.

Les vecteurs de « médecin » et « infirmier » sont proches. Ceux de « médecin » et « tracteur » sont éloignés. C'est cette géométrie qui permet au modèle de généraliser : il n'a pas besoin d'avoir vu votre phrase exacte pour la traiter correctement, il lui suffit d'avoir vu des phrases voisines dans cet espace.

Ces embeddings sont également ce qui rend possible la recherche sémantique et les systèmes de type RAG, dont nous parlons plus bas.

Étape 3 — L'attention : le mécanisme qui a tout changé

C'est le cœur de l'architecture Transformer, publiée en 2017, et l'origine de tout ce qui a suivi.

Pour chaque token qu'il traite, le modèle évalue l'importance de tous les autres tokens du contexte. Prenez la phrase : « Le trophée ne rentre pas dans la valise car il est trop grand. » À quoi renvoie « il » ? Le mécanisme d'attention permet au modèle de pondérer fortement « trophée » plutôt que « valise ».

L'innovation décisive est que ce calcul est parallélisable. Les architectures précédentes traitaient le texte mot après mot, séquentiellement. L'attention permet de traiter toute la séquence simultanément, donc d'exploiter des milliers de GPU en parallèle — c'est ce qui a rendu possible l'entraînement sur des volumes de texte gigantesques.

Étape 4 — Comment le modèle apprend

L'entraînement se déroule en trois phases distinctes.

Le pré-entraînement

Le modèle lit une quantité massive de texte et s'entraîne à un unique exercice : cacher le mot suivant et essayer de le deviner. Il ajuste ses milliards de paramètres à chaque erreur. C'est la phase la plus coûteuse — plusieurs semaines sur des milliers de GPU. À l'issue, le modèle « sait » énormément de choses mais n'est pas utilisable : il complète du texte au lieu de répondre à des questions.

L'ajustement par instructions

On lui montre ensuite des dizaines de milliers d'exemples de paires question/réponse de qualité. Le modèle apprend le format attendu : répondre, plutôt que continuer le texte.

L'alignement

Enfin, des humains classent différentes réponses du modèle par ordre de préférence, et un second modèle apprend à reproduire ce jugement pour guider le premier. C'est cette phase qui rend le modèle utile, poli et prudent — et c'est aussi elle qui explique certains refus ou certaines formulations excessivement prudentes.

Pourquoi les LLM inventent des choses

C'est la conséquence directe du principe de départ. Le modèle optimise la plausibilité, pas la vérité. Quand il ne dispose pas de l'information, rien dans son fonctionnement ne l'oriente vers « je ne sais pas » : la suite statistiquement la plus naturelle à une question est une réponse.

Les hallucinations sont donc prévisibles. Elles surviennent surtout sur :

  • les faits précis et rares : dates, chiffres, références bibliographiques, noms propres peu courants ;
  • les événements postérieurs à la fin de l'entraînement du modèle ;
  • les sujets de niche où les données d'entraînement étaient peu nombreuses ou contradictoires.
Comment réduire le risque

Fournissez la source dans votre message. Un modèle à qui l'on donne le document et à qui l'on demande de ne répondre qu'à partir de celui-ci se trompe beaucoup moins.

Demandez les citations. Exiger un extrait exact du texte fourni rend les inventions immédiatement visibles.

Vérifiez systématiquement les chiffres et les références. C'est exactement là que le modèle est le moins fiable.

Le RAG : ancrer le modèle sur vos données

C'est aujourd'hui l'architecture la plus utilisée en entreprise, et elle découle logiquement de ce qui précède. Puisque le modèle est fiable quand on lui fournit la source, on automatise cette fourniture.

Le principe, en quatre temps :

  1. Vos documents sont découpés en fragments et convertis en embeddings, stockés dans une base vectorielle.
  2. La question de l'utilisateur est elle aussi convertie en embedding.
  3. On récupère les fragments les plus proches sémantiquement de la question.
  4. Ces fragments sont insérés dans le message envoyé au modèle, avec la consigne de ne répondre qu'à partir d'eux.

Résultat : un assistant qui répond sur vos procédures internes, votre catalogue produit ou votre réglementation, sans réentraîner quoi que ce soit. C'est le type de projet le plus demandé actuellement, et il ne nécessite ni GPU ni doctorat — Python, une API et une base vectorielle suffisent.

Les réglages qui changent les réponses

  • Température — contrôle le degré d'aléatoire dans le choix du token suivant. Basse (0 à 0,3) pour l'extraction de données et le code ; haute (0,7 à 1) pour la création de contenu.
  • Fenêtre de contexte — la quantité de texte traitable d'un coup. Au-delà, les informations les plus anciennes sont perdues.
  • Prompt système — les instructions permanentes qui définissent le rôle et les contraintes du modèle. C'est le levier le plus sous-utilisé.

Ce que cela signifie pour votre carrière

Une distinction importante : il existe très peu de postes consistant à entraîner des modèles de fondation — cela demande des moyens que seule une poignée d'organisations possède. En revanche, les postes consistant à intégrer ces modèles dans des produits se multiplient rapidement.

Les compétences demandées sont accessibles : Python, appels d'API, bases vectorielles, conception de prompts, évaluation des sorties et maîtrise des coûts. C'est précisément le contenu de notre formation LLM & NLP.

Ce qu'il faut retenir

Un LLM prédit du texte plausible token par token, à l'aide d'un mécanisme d'attention qui pondère l'ensemble du contexte. Il ne consulte aucune base de données et ne vérifie rien. Cela explique à la fois sa fluidité remarquable et ses inventions : les deux proviennent du même mécanisme.

Conséquence pratique unique et essentielle : plus vous fournissez de contexte fiable dans votre message, plus la réponse est fiable. Toute l'ingénierie autour des LLM, du prompt engineering au RAG, n'est qu'une déclinaison de ce principe.