Stanford y Berkeley proponen LLM-as-a-Verifier, al mismo tiempo que alcanzan la primera posición en Terminal-Bench y SWE-Bench

ME News Noticias, 14 de abril (UTC+8), según la monitorización de 1M AI News, cuando los agentes de programación de IA manejan una tarea individual varias veces, a menudo obtienen diferentes soluciones, algunas correctas y otras incorrectas. Si se pudiera seleccionar automáticamente la mejor, la tasa de éxito global superaría a la de una sola ejecución. La cuestión es cómo hacerlo: hacer que otro modelo actúe como juez para puntuar (es decir, LLM-as-a-Judge) es la práctica principal actual, pero la granularidad de la puntuación es demasiado gruesa, y a menudo da la misma puntuación a soluciones diferentes, sin poder distinguir cuál es mejor. El Laboratorio de IA de Stanford y el Laboratorio de Computación Sky de Berkeley, en colaboración con Nvidia, propusieron LLM-as-a-Verifier, que mejora este proceso de selección. Ya no solo se mira la puntuación final dada por el juez, sino que se lee la distribución de probabilidad del modelo en cada nivel de puntuación, calculando un valor de recompensa continuo. Además, se hace que el juez repita la evaluación varias veces y promedie los resultados para eliminar sesgos aleatorios, y se divide la evaluación en tres dimensiones independientes (si cumple con los requisitos de la tarea, si el formato de salida es correcto, si hay señales de error) para verificarlas por separado. En los experimentos, se utilizó Gemini 2.5 Flash como verificador, con una precisión de verificación de 74.7% en una sola prueba, mientras que el juez tradicional solo alcanzó 57.0%; tras repetir 16 veces, el Verificador alcanzó 77.4%, y el juez solo 70.2%. El juez tradicional tiene un 26.5% de empates en comparación, mientras que el Verificador en todas las configuraciones tiene una tasa de empate del 0%. Efectividad real: en Terminal-Bench 2, hacer que GPT-5.4 ejecute la misma tarea 5 veces, la tasa de éxito de seleccionar aleatoriamente una fue del 81.8%, y tras usar el Verificador para escoger, aumentó a 86.4%. En SWE-Bench Verified, seleccionando una solución de Claude Opus 4.5, Claude Opus 4.6 y Gemini 3 Flash (un total de 3 soluciones), la tasa de éxito aumentó del 76.1% al 77.8%. Hasta el 9 de abril, ambas alcanzaron la primera posición. El marco ya está abierto al público. (Fuente: BlockBeats)