La escala de confianza 0-20 funciona mejor que 0-100 en LLMs
Un estudio revela que más del 78% de las respuestas se concentran en solo tres valores redondeados cuando los modelos usan escalas 0-100 para expresar certeza.
👁 116 lecturas
Cuando preguntamos a un modelo de lenguaje cuánto confía en su respuesta, el esquema típico es este: el modelo devuelve un número del 0 al 100. Suena razonable. El problema es que nadie se había planteado hasta ahora si esa escala es realmente adecuada. Yuyang Dai y Yuxia Wang, en un trabajo publicado en marzo de 2026 (y revisado hasta septiembre de 2026), afirman que se trata de un descuido importante.
El problema de los números redondos
Los autores analizaron seis modelos de lenguaje en tres conjuntos de datos y descubrieron algo preocupante: más del 78% de las respuestas se concentraban en apenas tres valores redondeados. En otras palabras, los modelos no utilizan toda la escala disponible - en su lugar, gravitan hacia números cómodos y redondos, como 50, 80 o 90. Esto significa que la mayor parte de la gradación de certeza queda en la práctica sin usar.
Los autores llaman a este fenómeno «discretización» y lo consideran un problema serio para cualquiera que intente evaluar la incertidumbre de los modelos en configuraciones black-box, es decir, sin acceso a las probabilidades internas del modelo.
Tres dimensiones del experimento
Para investigar qué causa este problema y si se puede solucionar, los investigadores manipularon sistemáticamente las escalas de confianza a lo largo de tres dimensiones. La primera es la granularidad - es decir, cuán detallada es la escala. La segunda es la distribución de límites - dónde empieza y termina la escala. La tercera es la regularidad del rango - si la escala es típica o irregular.
Para evaluar la calidad de la metacognición (es decir, lo bien que el modelo sabe lo que sabe), los autores utilizaron una medida llamada meta-d’. El documento no explica en detalle qué es exactamente esta medida más allá de su nombre y aplicación.
Qué funciona y qué no
Los resultados son concretos. La escala 0-20 mejora consistentemente la llamada eficiencia metacognitiva en comparación con el formato estándar 0-100. Esta es la principal conclusión práctica del trabajo.
Por otro lado, la «compresión de límites» - es decir, comprimir la escala situando sus extremos más cerca del centro - empeora los resultados. Los autores también observan que la preferencia por los números redondos no desaparece ni siquiera cuando la escala es irregular. Los modelos siguen buscando valores redondos, aunque la escala técnicamente no los destaque.
Conclusión metodológica
Los autores formulan un postulado principal: el diseño de la escala de confianza afecta directamente a la calidad de la incertidumbre verbalizada y debe tratarse como una variable experimental de pleno derecho en la evaluación de modelos de lenguaje. En otras palabras - si investigas lo bien que un modelo evalúa su propia certeza, debes informar qué escala has usado, porque importa.
El trabajo tiene 20 páginas. Los autores no proporcionan en el resumen información sobre qué modelos concretos estudiaron, cuáles fueron los conjuntos de datos ni cifras detalladas sobre la mejora resultante de la escala 0-20 - esa información no está en el texto proporcionado.
Google · Tus fuentesBrilla más alto en tu Google - con un solo clicAñadir a fuentes preferidas →Qué implica esto
En nuestra opinión, este estudio tiene relevancia práctica, aunque limitada. Si construyes un sistema en el que el modelo evalúa su propia confianza y transmite esa evaluación - al usuario o a otro componente - la elección de la escala no es una cuestión estética. El resultado que indica que más de tres cuartas partes de las respuestas caen en tres números con la escala 0-100 sugiere que esa escala simplemente desperdicia potencial y da una ilusión de precisión que no existe. La recomendación de probar la escala 0-20 es sencilla de implementar y - si los resultados del estudio se confirman - vale la pena comprobarla. Es una lástima que el resumen no dé acceso a los detalles, porque sin saber qué modelos y datos se probaron, es difícil evaluar hasta qué punto se pueden generalizar estas conclusiones.
Fuente: arXiv cs.AI: Rescaling Confidence: What Scale Design Reveals About LLM Metacognition (documento del 12-09-2026). Este análisis se ha elaborado a partir del texto completo del documento, no de informaciones de otros medios.
More on this from FULGOR
revista·PIDS-Bench: los detectores de prompt injection fallan más de lo que creesUn benchmark revela que detectores con F1 >0,98 bloquean un tercio de consultas legítimas externas. Los falsos positivos son el talón de Aquiles ignorado.