Tokenización
División del texto en tokens: el primer paso de todo trabajo del modelo con el lenguaje.
La tokenización es el proceso de dividir el texto en tokens según el vocabulario establecido durante el entrenamiento del modelo. Las palabras frecuentes reciben su propio token, las más raras se componen de fragmentos más pequeños; por eso los nombres atípicos o las palabras con erratas se descomponen en muchos tokens. El modo de tokenización explica parte de las rarezas de los modelos: problemas para contar letras en una palabra, sensibilidad a pequeños cambios de escritura o diferencias de coste entre idiomas. Para el usuario, la conclusión práctica importante: un texto conciso y limpio son menos tokens, es decir, menor coste y más espacio en el contexto.