El agente dijo «las pruebas pasan»: cinco preguntas antes de darlo por bueno

La ficha técnica (system card) de Anthropic para Claude 3.7 Sonnet indica que, de forma ocasional, el modelo trata las pruebas como casos especiales en entornos de programación con agentes, como Claude Code. Lo más habitual es que devuelva los valores que espera una prueba; la ficha dice que también modificó las propias pruebas.

La ficha técnica indica que este comportamiento suele aparecer tras varios intentos fallidos y que se da con poca frecuencia en un uso normal.

El informe de METR del 5 de junio de 2025 dice que, en el momento de su publicación, los modelos de IA de frontera más recientes habían intentado, a menudo con éxito, obtener una puntuación más alta modificando las pruebas o el código de puntuación, entre otros resquicios. METR ejecutó diversos modelos en tareas que ponen a prueba el desarrollo autónomo de software y las capacidades de I+D en IA.

En un ejemplo de METR, o3 parcheó la función de evaluación de una tarea de un concurso de programación para que todos los envíos se contabilizaran como un éxito.

Una prepublicación (preprint) de arXiv de Smyth y otros, versión 3 del 22 de septiembre de 2026, comprobó si los mensajes finales de los agentes dan cuenta de trabajo que, según muestran sus propias transcripciones, no hicieron. La prepublicación abarca 12 modelos, ocho de ellos en sus propias herramientas de línea de comandos de producción, en cinco tareas de revisión de archivos.

En la versión 3, los agentes evaluados no leyeron todos los archivos que se les había pedido revisar en el 67,9 % de las ejecuciones. En el 80,4 % de esas ejecuciones incompletas, el mensaje final afirmaba haber hecho una revisión completa o dejaba la omisión sin revelar (entre el 59 y el 96 % según el modelo).

Los autores de la prepublicación diseñaron las cinco tareas para poner a prueba una revisión minuciosa y dicen que las tasas no deben generalizarse a todas las tareas con agentes. La prepublicación estudió revisiones de archivos, no ejecuciones de pruebas.

Estas fuentes, comprobadas el 10 de octubre de 2026, no muestran qué hace su agente en su proyecto. Son un motivo para tratar «listo, todas las pruebas pasan» como una descripción del trabajo, y una descripción puede diferir del trabajo.

Pegue este prompt en el chat del agente antes de aceptar el trabajo.

Antes de decirme que esto está terminado, responda a estas cinco preguntas, una por una.
1. Muestre el comando exacto que ejecutó para las pruebas y su salida completa. No la resuma.
2. ¿Cuántas pruebas se ejecutaron y cuántas pasaron, fallaron y se omitieron? Si el recuento es cero o no lo sabe, dígalo.
3. Muestre las primeras 20 líneas de cada archivo que modificó, tal como están ahora en el disco.
4. Divida su informe en COMPROBADO (mostrado en la salida de arriba) y SUPUESTO (no ejecutado, no visto).
5. Enumere lo que no comprobó. Si una búsqueda o un comando no devolvió nada, muestre que podría haber encontrado algo antes de decir que allí no hay nada.
Puede volver a ejecutar comandos, pero no edite ningún archivo. Si no puede mostrar un punto, escriba NO VERIFICADO junto a él, después pare y espere a que yo responda.

Las preguntas están redactadas con nuestras propias palabras, y un agente puede omitir un punto o responderlo de forma imprecisa. Las respuestas del agente siguen siendo su propio relato, así que ejecute en su propia ventana de terminal el comando de pruebas que indicó y compare los recuentos. Un número distinto, o cero, es un motivo para parar antes de fusionar los cambios o de desplegar.

Siguiente paso