Ir al contenido principal
Contacto

Decisiones de IA Modelo operativo

Humano en el bucle o agentes autónomos: ¿cuánto debe decidir un agente de IA por su cuenta?

Respuesta corta

Mantén a una persona aprobando cada acción cuando un error sale caro, es difícil de deshacer o afecta a los derechos de alguien, y deja que el agente actúe solo cuando las acciones son de poco impacto, reversibles y están bien medidas. La autonomía no es un sí o un no: es un ajuste por acción que sube paso a paso según llega la evidencia. Sea cual sea el nivel, cada acción debe quedar registrada y una persona tiene que poder parar o corregir el sistema.

Actualizado: · Thinkia

Las opciones

Humano en el bucle

El agente prepara o propone cada acción y una persona la revisa y la aprueba antes de que tenga efecto.

Agente autónomo

El agente ejecuta acciones por su cuenta dentro de unos límites, y las personas supervisan con monitorización, muestreo y excepciones.

Comparativa

Criterio Humano en el bucleAgente autónomo
Quién decide cada acción Una persona, con la propuesta del agente y la evidencia delante. El agente, con permisos acotados; las personas fijan las reglas y resuelven lo que se escala.
Volumen y tiempo de respuesta Lo limita la capacidad de quien revisa: en los picos se forman colas y la respuesta se alarga. Escala con el volumen y responde en segundos, también fuera del horario laboral.
Coste de un error La mayoría de los errores se detienen antes de llegar a un cliente o a un sistema de registro. Los errores llegan a producción y se descubren después: importan la reversibilidad y el alcance del daño.
Principal riesgo humano Sesgo de automatización y cansancio: quien revisa acaba aprobando por defecto y el control se queda en un sello. Pérdida de contexto: nadie mira con atención hasta que un incidente obliga a hacerlo.
Trazabilidad Cada decisión tiene una persona que la aprobó, así que la responsabilidad es fácil de demostrar. Exige registros completos de entradas, planes, llamadas a herramientas y resultados para reconstruir qué pasó y por qué.
Señal para mejorar Cada aprobación, corrección o rechazo es feedback etiquetado para mejorar prompts, herramientas y evaluaciones. El feedback llega de revisiones por muestreo, excepciones y métricas de resultado; es más débil si no se diseña.
Encaje con usos de alto riesgo Cerca de lo que el AI Act pide a los sistemas de alto riesgo: personas capaces de entender, corregir y detener la salida. Solo es posible si se mantiene una supervisión efectiva: monitorización, capacidad de intervenir y forma de parar el sistema.
Decisiones sobre personas Una revisión humana real ayuda a cumplir el art. 22 del RGPD sobre decisiones con efectos jurídicos o similares. El RGPD restringe las decisiones solo automatizadas con efectos jurídicos o significativos similares: revisa excepciones y garantías.

Elige Humano en el bucle cuando…

  • La acción es difícil o imposible de deshacer: pagos, cambios de contrato, borrados, mensajes que salen a clientes.
  • La decisión afecta a los derechos de una persona o a su acceso a un servicio: crédito, seguros, empleo o prestaciones públicas.
  • El caso de uso puede ser de alto riesgo según el AI Act o entra en el art. 22 del RGPD.
  • El agente es nuevo, el conjunto de evaluación es pequeño o el proceso tiene muchas excepciones sin documentar.
  • Necesitas feedback etiquetado para mejorar el agente antes de ampliar su alcance.

Elige Agente autónomo cuando…

  • Las acciones son de poco impacto y reversibles: redactar, etiquetar, enrutar o completar registros.
  • El volumen o el tiempo de respuesta hacen inviable revisar cada caso, y la cola anularía el beneficio.
  • El agente tiene historial en un conjunto de evaluación fijo y en modo sombra, con una tasa de error que el negocio acepta.
  • Los permisos, los límites de gasto y la marcha atrás los impone el sistema, no solo el prompt.

Cuándo combinarlas

La mayoría de los agentes en producción usan las dos cosas, y se decide por acción, no por agente. Un patrón práctico es la autonomía por niveles: el agente actúa solo en pasos reversibles y de bajo riesgo, pide aprobación por encima de un umbral de importe, confianza o impacto, y escala todo lo que queda fuera de su política. Empieza en modo sombra, sigue con aprobación humana y pasa a autonomía en el nivel más bajo; mueve cada umbral solo cuando los datos de evaluación e incidentes lo respalden. Conserva un botón de parada y revisión humana por muestreo incluso en el nivel más alto.

Errores típicos

  • Tratar la autonomía como un único interruptor para todo el agente, en lugar de un umbral por acción y nivel de riesgo.
  • Añadir un paso de aprobación humana sin tiempo, contexto ni autoridad para decir que no, y convertir la supervisión en un trámite.
  • Dar al agente credenciales amplias y confiar en que el prompt lo mantenga dentro de los límites.
  • Subir la autonomía porque la demo salió bien, sin conjunto de evaluación, sin datos en modo sombra y sin plan de marcha atrás.
  • Registrar solo la salida final, de modo que nadie puede reconstruir qué entradas, plan y llamadas a herramientas llevaron a una acción.

Cómo lo enfoca Thinkia

Decidimos la autonomía por acción, no por agente. Con el responsable del proceso listamos cada acción que el agente puede ejecutar y la valoramos por impacto, reversibilidad y a quién afecta. De ahí sale un pequeño juego de niveles: actuar solo, actuar y avisar, pedir aprobación, no hacerlo nunca. Los agentes funcionan primero en paralelo con las personas y la autonomía crece solo al ritmo de la evidencia: resultados de evaluación, comparativas en modo sombra, retrabajo e incidentes.

En lo técnico, separamos razonamiento y ejecución. El modelo propone; una capa gobernada contrasta cada acción con la política, la ejecuta con credenciales acotadas y la registra. Synapse aporta esa capa común: SSO corporativo, un gateway con límites de uso, enrutado de modelos entre proveedores y RAG en la infraestructura del propio cliente, de modo que los pasos de aprobación, los límites y los registros son iguales para todos los agentes y no los rehace cada equipo.

Si un caso puede caer en una categoría de alto riesgo del Reglamento Europeo de IA (AI Act), mapeamos el papel de cada parte y los requisitos de supervisión humana antes de producción: quién supervisa, con qué formación y autoridad, cómo corrige o detiene el sistema y qué registros se conservan. Nuestra guía de gobierno de IA recoge niveles de riesgo, roles y una checklist práctica; es orientación operativa, no asesoramiento legal.

Productos de Thinkia implicados

Soluciones de IA relacionadas

Preguntas frecuentes

¿El AI Act obliga a que una persona apruebe cada decisión?

No. El art. 14 exige que los sistemas de alto riesgo se diseñen para que las personas puedan supervisarlos de forma efectiva: entender sus límites, ser conscientes del sesgo de automatización, interpretar la salida, decidir no usarla o invalidarla, e intervenir o detener el sistema. Cómo se hace depende del riesgo y del contexto. Contrasta tu caso con el texto del Reglamento y con asesoramiento jurídico cualificado.

¿Basta con poner a una persona en el bucle para cumplir?

Por sí solo, no. La supervisión tiene que ser efectiva: quien revisa necesita la información, la competencia, el tiempo y la autoridad para rechazar la propuesta. Una persona que aprueba todo protege poco y deja poca evidencia.

¿Cómo fijamos el umbral de autonomía?

Valora cada acción por impacto, reversibilidad y a quién afecta, y acuerda con el responsable del proceso la tasa de error que el negocio acepta en cada nivel. Mide el agente contra un conjunto de evaluación fijo y en modo sombra, y da autonomía solo donde los resultados se mantienen dentro de ese límite.

¿Qué hay que registrar de un agente autónomo?

Lo suficiente para reconstruir cualquier acción: la entrada, el contexto recuperado, el plan, cada llamada a herramienta con sus parámetros y su resultado, las versiones de modelo y prompt, y quién o qué la aprobó. Define de antemano la conservación de esos registros y quién puede acceder a ellos.

¿Se puede reducir la autonomía después de concederla?

Se debe poder. Trata la autonomía como configuración, no como una decisión de diseño fijada en el código, para bajar un umbral o devolver una acción a aprobación cuando la monitorización muestre deriva, un tipo de error nuevo o un cambio en el proceso.

Decisiones relacionadas

Sectores donde aparece esta decisión

Términos clave

Artículos de Thinkia

Fuentes

¿Tienes esta decisión encima de la mesa? Hablemos.

Habla con un experto en IA