Comprenez comment les modèles analysent et génèrent du texte grâce aux tokens, embeddings, Transformers et Large Language Models.
Pour une intelligence artificielle, un texte n'est pas directement composé de mots et de phrases. Il doit d'abord être transformé en nombres afin de pouvoir être traité par un modèle informatique.
Cette transformation repose notamment sur les tokens, les embeddings et une architecture appelée Transformer. Ensemble, ces éléments permettent aux modèles d'analyser un texte, d'en identifier certaines relations et d'en générer la suite.
La première étape est la tokenisation. Elle consiste à découper un texte en petites unités appelées tokens. Un token peut correspondre à un mot entier, à une partie de mot, à un signe de ponctuation ou, selon la méthode utilisée, à quelques caractères.
Un mot courant peut former un seul token, tandis qu'un mot plus rare ou plus long peut être divisé en plusieurs parties. Ce découpage permet au modèle de traiter un vocabulaire très large sans devoir enregistrer séparément tous les mots possibles.
Chaque token est ensuite associé à un identifiant numérique. Le modèle ne reçoit donc pas directement une phrase, mais une suite de nombres qui respecte l'ordre du texte.
Un identifiant numérique ne suffit pas à représenter la signification d'un token. Le modèle le transforme donc en un embedding, c'est-à-dire une série de valeurs numériques qui décrit certaines de ses caractéristiques.
Les tokens utilisés dans des contextes similaires obtiennent généralement des représentations proches. Le modèle peut ainsi apprendre que certains mots entretiennent une relation, sans recevoir une définition écrite pour chacun d'eux.
Dans les modèles récents, cette représentation dépend aussi du contexte. Le même mot peut recevoir une représentation différente selon les mots qui l'entourent. Cela permet notamment de distinguer plusieurs significations possibles.
Les unités dans lesquelles le texte est découpé. Elles peuvent représenter des mots, des parties de mots, des caractères ou des signes de ponctuation.
Les représentations numériques des tokens. Elles permettent au modèle de manipuler leurs relations et leur contexte.
L'ensemble des tokens que le modèle peut prendre en compte pour analyser une demande ou produire une réponse.
Les valeurs internes apprises pendant l'entraînement. Elles déterminent la manière dont le modèle transforme et relie les informations.
Le Transformer est une architecture de réseau de neurones présentée en 2017. Elle est aujourd'hui au coeur de nombreux modèles de langage.
Son mécanisme principal est appelé attention. Il permet au modèle d'évaluer les relations entre les différents tokens d'une séquence. Pour interpréter un mot, le modèle peut ainsi accorder davantage d'importance à certains éléments placés avant ou après celui-ci.
Cette méthode aide le modèle à traiter des relations éloignées dans une phrase ou un document. Elle permet également de réaliser une grande partie des calculs en parallèle, ce qui facilite l'entraînement sur de très grandes quantités de texte.
Un Large Language Model, ou LLM, est un grand réseau de neurones généralement fondé sur l'architecture Transformer. Il est entraîné sur une quantité importante de textes afin d'apprendre les régularités du langage.
Pendant son entraînement, le modèle doit souvent prédire un token manquant ou le prochain token d'une séquence. Lorsqu'il se trompe, ses paramètres sont ajustés. En répétant cette opération sur un très grand nombre d'exemples, il apprend progressivement des relations entre les mots, les formulations, les sujets et les structures des textes.
Le terme « large » peut faire référence à la quantité de données utilisée, au nombre de paramètres du modèle et aux ressources nécessaires à son entraînement.
Lorsqu'un utilisateur envoie une instruction, le modèle la découpe en tokens et les transforme en représentations numériques. Le Transformer analyse ensuite leurs relations dans la limite de sa fenêtre de contexte.
Pour produire une réponse, le modèle calcule la probabilité de plusieurs tokens possibles et en sélectionne un. Ce nouveau token est ajouté à la séquence, puis le calcul recommence pour choisir le suivant.
Le texte est donc généré progressivement, token après token. Le modèle ne rédige pas toute la réponse à l'avance et ne recherche pas nécessairement une phrase existante dans une base de données. Il construit une suite jugée probable à partir de son entraînement et du contexte fourni.
Le texte est d'abord découpé en tokens. Les embeddings transforment ces tokens en représentations numériques. Le Transformer analyse leurs relations grâce au mécanisme d'attention. Le LLM utilise ensuite ces informations pour prédire et générer les tokens suivants.
Un modèle de langage apprend à produire des suites de tokens plausibles. Cela ne garantit pas que ses réponses soient exactes. Il peut générer une information fausse, reproduire des biais présents dans ses données ou mal interpréter une demande ambiguë.
La qualité d'une réponse dépend notamment du modèle, de ses données d'entraînement, du contexte disponible et de l'instruction reçue. Les informations importantes doivent donc être vérifiées auprès de sources fiables.