Token

Un token es la unidad básica con la que opera un modelo de lenguaje: un fragmento de texto, normalmente más corto que una palabra. En inglés, una palabra equivale de media a poco más de un token; el español, por su conjugación y acentos, puede ser "más caro" y la misma frase puede ocupar más tokens. Los tokens son la moneda del mundo de la IA: en ellos se mide la ventana de contexto, los límites de uso y los precios de API (coste por millón de tokens de entrada y salida). Cuando una herramienta dice que el texto es demasiado largo, se refiere precisamente al número de tokens, no de caracteres.