DOSSIER SPÉCIAL INFOSIA-GEM : L'ENQUÊTE DE L'INSPECTEUR COLUMBO SUR LES "TOKENS"
LE MOT DE LA RÉDACTION D'INFOSIA-GEM
Vous l'aurez compris, le token est bien plus qu'un simple découpage technique. C'est :
- Le carburant de l'IA : Sans ce découpage en unités numériques, l'IA ne pourrait pas calculer les probabilités qui lui permettent de formuler une réponse.
- La monnaie de la Silicon Valley : C'est l'unité de facturation de l'ère de l'IA. Chaque mot que vous lisez ou écrivez dans une interface d'IA a un coût en tokens. Le business model du futur est là.
- Une limitation technique : La limite de tokens (la "fenêtre de contexte") est le principal goulot d'étranglement qui empêche l'IA de traiter un livre entier en une seule fois.
Ce tableau résume parfaitement comment un processus apparemment simple cache une machinerie complexe et des enjeux financiers colossaux. La prochaine fois que vous écrirez à une IA, pensez aux tokens : ils sont en train de compter.
LE PITCH
L'inspecteur Columbo est chargé d'élucider un mystère : "Comment une intelligence artificielle fait-elle pour lire et écrire des textes aussi vite ?". Il interroge un expert en IA.
Étape de l'enquête (La méthode Columbo)
Ce que Columbo comprend (La version "faussement naïve")
La réalité technique de l'IA (La révélation)
1. La première impression(Columbo arrive en grattant sa tête)
"Ah, excusez-moi, monsieur l'expert. J'ai un peu de mal avec cette histoire. Quand je tape une phrase, l'ordinateur, il voit toute la phrase d'un coup, non ? Comme une photo."
Le Token n'est pas un mot entier.L'IA ne "lit" pas un texte comme nous. Elle le découpe en petits morceaux. Ces morceaux, ce sont les tokens. Un token n'est souvent qu'une partie de mot.
2. La question "bête"(Columbo sort son carnet)
"Non, mais attendez. Si je dis : 'Le chien aboie'. Pour moi, c'est 3 mots. Pourquoi l'ordinateur, il coupe tout ça en petits bouts ? C'est pas plus simple de garder les mots ?"
L'Optimisation Mathématique.Pour que la machine apprenne, elle doit traduire le texte en nombres. Le token est l'unité minimale de sens que la machine peut associer à un code numérique (un ID). Cela permet de gérer n'importe quel mot, même inconnu.
3. L'analogie trompeuse(Columbo s'arrête sur le seuil)
"Ah ! Je crois que je commence à comprendre. C'est un peu comme un puzzle, non ? Chaque mot, c'est une pièce, et on les assemble pour faire une phrase."
Le "Baguage" Numérique.Pas exactement. C'est plutôt comme si on cassait une phrase en petits morceaux (les tokens) et qu'on remplaçait chaque morceau par un code barre unique (le numéro de token). L'IA calcule la probabilité de voir tel code barre après tel autre.
4. La fausse excuse(Columbo s'excuse presque)
"Je ne voudrais pas abuser de votre temps, mais j'ai un petit doute. Dans la phrase 'Le chien aboie', un token, c'est combien de lettres, à peu près ? C'est toujours pareil ?"
La Taille Variable.Un token ne fait pas une taille fixe.- Un mot très courant (comme "Le") peut être un seul token.- Un mot rare ou complexe (comme "inconstitutionnellement") peut être découpé en 4 ou 5 tokens.En anglais, la règle générale est que 1 token = environ 4 caractères ou 0,75 mot.
5. La révélation finale(Columbo se retourne, l'air sérieux)
"Une dernière chose... Cette histoire de tokens, ça a l'air compliqué pour pas grand-chose. Mais, dites-moi... C'est avec ces tokens qu'on compte la facture à la fin, n'est-ce pas ?"
Le nerf de la guerre économique.Exactement, Inspecteur.- Quand vous utilisez une IA (comme ChatGPT ou Gemini), vous ne payez pas à la requête, mais au nombre de tokens traités (ceux que vous envoyez + ceux que l'IA génère).- La "mémoire" de l'IA est aussi limitée par un nombre maximum de tokens.
"JToute la vérité, rien que la vérité, celle qu dérange..."
INFOSIA-GEM