Inference

La inferencia es la fase en la que se usa el modelo entrenado: recibe tu consulta y genera una respuesta, token a token. Esto distingue el trabajo diario del modelo del entrenamiento, que ocurrió una vez, antes, con datos enormes. Los costes de funcionamiento de los servicios de IA son principalmente costes de inferencia; por eso los proveedores los optimizan con cuantización, mejor hardware y arquitecturas tipo MoE. Cuando un chat "escribe" una respuesta en vivo, observas la inferencia en tiempo real, normalmente en variante streaming.