Latencia

La latencia es el retraso entre el envío de una consulta y la reacción del modelo; en la práctica, se suele medir el tiempo hasta el primer token de respuesta. Para una conversación de voz fluida o el autocompletado de código, importan las fracciones de segundo; al generar un informe, la latencia tiene menos relevancia. La latencia depende del tamaño del modelo, la carga de los servidores, la longitud del prompt y el modo de trabajo (los modelos de razonamiento "piensan" notablemente más tiempo). Los desarrolladores suelen hacer malabarismos con modelos: uno rápido para reacciones inmediatas, otro potente para tareas donde el usuario puede esperar.