Token

Un token est l'unité de base que manipule un modèle de langage. Plutôt que de lire le texte caractère par caractère ou mot par mot, un LLM le découpe en fragments appelés tokens. Un token correspond souvent à un mot court, à une partie de mot, ou encore à un signe de ponctuation.

Comment ça fonctionne

Avant tout traitement, votre texte passe par une étape de découpage appelée tokenisation. Le mot « bonjour » peut former un seul token, tandis qu'un mot rare ou complexe sera scindé en plusieurs morceaux. En français, on retient souvent une estimation approximative : une centaine de mots représente environ 130 à 150 tokens, mais cela varie selon le texte.

Le modèle ne génère pas non plus des phrases d'un bloc : il produit un token après l'autre, en prédisant à chaque fois le plus probable compte tenu de votre prompt.

Pourquoi c'est important

Les tokens sont l'unité de mesure de l'IA. La taille de la fenêtre de contexte s'exprime en tokens, et la plupart des offres facturent l'usage au nombre de tokens consommés, en entrée comme en sortie. Comprendre cette notion aide à estimer un coût et à anticiper les limites d'une longue conversation.

Exemple

Si vous collez un rapport de vingt pages dans une conversation, ce texte peut représenter plusieurs milliers de tokens. Additionnés à l'historique et à la réponse attendue, ces tokens peuvent rapidement remplir la fenêtre de contexte.

Savoir raisonner en tokens est utile dès que l'on conçoit une application avec Claude. Le cours Claude 101 vous aide à acquérir ces réflexes de base pour mieux dialoguer avec un modèle d'IA.