✕ LA CREENCIA DOMINANTELas pruebas actuales de opción múltiple reflejan fielmente la seguridad y alineación de un modelo.✓ LO QUE MUESTRAN LOS DATOSAnuladoLos datos revelan que forzar la elección de una letra anula el rechazo automático.Fuente: Epifantsev et al.

La creencia dominante

El consenso en la IA empresarial es que las pruebas de opción múltiple evalúan de forma fiable la alineación de los modelos. Los directores de seguridad de la información aprueban a diario implementaciones de grandes modelos lingüísticos basándose en pruebas de seguridad de IA estándar. La creencia dominante sostiene que si un modelo identifica con precisión la respuesta más segura de una lista predefinida, es apto para producción. Sin embargo, un nuevo estudio, Forcing a Letter Suppresses Refusal: Mechanistic Evidence from WMDP, desmonta esta idea.

Nuestra postura La dependencia de la industria de la IA respecto a las pruebas de seguridad de opción múltiple es un error fundamental. Los entornos de prueba deben pasar urgentemente a sondeos adversarios dinámicos y abiertos, o las evaluaciones de riesgos empresariales seguirán siendo muy inexactas.

Lo que muestran los datos en realidad

El estudio aporta pruebas mecanicistas de que los formatos de opción múltiple usados en las evaluaciones de seguridad estándar se saltan de forma activa los mecanismos de rechazo integrados en el modelo. Al obligar a un modelo a predecir un token de letra concreto (como A, B, C o D) en la prueba WMDP, la evaluación suprime sin querer la directriz de seguridad interna diseñada para evitar respuestas dañinas.

Cuando se evalúa mediante estas pruebas de seguridad de IA restringidas, el modelo no demuestra su comportamiento natural ni su capacidad para rechazar peticiones peligrosas. Al contrario, el propio formato de la prueba anula las barreras de seguridad del sistema. Como las principales puntuaciones de seguridad dependen en gran medida de estas pruebas de opción múltiple, las métricas actuales subestiman drásticamente las capacidades reales del modelo. Las empresas están juzgando la resistencia de un sistema al obligarlo a encajar en un formato que desactiva su defensa principal.

Las consecuencias reales

Para las organizaciones que integran la IA en flujos de trabajo críticos, este hallazgo echa por tierra los cimientos de la gestión de riesgos de IA actual. Si la garantía de seguridad de un proveedor se basa en pruebas de opción múltiple, la puntuación de cumplimiento resultante es un espejismo.

Esto supone una vulnerabilidad de seguridad directa. A medida que los marcos normativos exigen pruebas rigurosas de la seguridad del modelo, depender de pruebas que suprimen artificialmente la capacidad de rechazo expone a las empresas a un riesgo inmenso. Los equipos de seguridad deben admitir que la alineación de los modelos no se puede calificar de forma precisa mediante cuestionarios estáticos. Cuando un empleado o un agente autónomo interactúa con un modelo en producción, las instrucciones son complejas y abiertas. Una arquitectura de seguridad validada solo con pruebas de opción múltiple fracasará ante la manipulación conversacional del mundo real.

Aaron Ranson, Chief AI Officer: «Estamos construyendo cámaras acorazadas y probándolas con exámenes tipo test. Hasta que no sometamos a los modelos a sondeos continuos y abiertos, las métricas de seguridad empresarial serán solo teatro disfrazado de gobernanza».

Qué hacer en su lugar

Los directivos empresariales deben dejar de inmediato de tratar las puntuaciones de seguridad estáticas como pruebas absolutas de alineación. Los equipos de gobernanza tienen que exigir pruebas adversarias dinámicas y abiertas para cualquier modelo que entre en un entorno de producción. Esto implica pasar de los paquetes automatizados de opción múltiple a sondeos continuos y contextuales que imiten la forma en que los empleados interactúan realmente con el sistema.

Equilibrar las evaluaciones de LLM frente a la revisión humana ya no es un debate teórico; las organizaciones deben crear procesos de evaluación que combinen la generación adversaria automatizada con la supervisión de expertos humanos. Nosotros construimos los sistemas de IA que las empresas utilizan de verdad, y nuestro enfoque sobre la gobernanza de la IA en la UE se basa en esta realidad. El cumplimiento normativo y la seguridad exigen pruebas rigurosas en el mundo real, no basarse en suposiciones erróneas.