Définition Token

Un token est la plus petite unité de texte qu’un modèle d’IA découpe et traite, comme un mot entier, une partie de mot, une ponctuation ou un espace. C’est aussi l’unité utilisée pour compter la mémoire et souvent le coût d’une requête IA.

Exemple simple : « bonjour » peut être 1 token, mais un mot plus long peut être découpé en plusieurs tokens.