Un agente recibe la instrucción de ayudar con pedidos pendientes. Encuentra una dirección equivocada y decide corregirla. La intención es útil; la pregunta importante es si tenía permiso para hacerlo.
Cuando la IA pasa de responder a ejecutar, cada acceso necesita un límite visible.
Controles para agentes de IA son reglas técnicas y operativas que determinan qué información puede consultar un agente, qué acciones puede ejecutar, cuándo debe pedir aprobación y cómo se registra lo ocurrido.
La inteligencia del modelo no define su autoridad
Un agente puede interpretar una solicitud correctamente y aun así no estar autorizado para modificar un registro, enviar un mensaje o iniciar un pago.
La seguridad debe diseñarse alrededor del proceso completo: identidad, datos, herramientas, aprobaciones, registros y respuesta ante errores.
Los siete controles esenciales
- Identidad propia: permite saber qué agente actúa.
- Acceso mínimo: limita los datos a los necesarios.
- Herramientas acotadas: restringe las funciones al propósito.
- Aprobación humana: protege acciones sensibles.
- Límites operativos: define monto, frecuencia, horario o alcance.
- Registro: conserva entradas, decisiones y acciones.
- Recuperación: permite detener, revertir o escalar.
Un cambio pequeño con consecuencias reales
Ejemplo compuesto: este escenario no representa resultados atribuidos a un cliente específico de Ainoa.
Un agente de atención detecta que un pedido tiene un teléfono incompleto. Puede pedir confirmación al cliente, proponer una corrección y preparar el cambio.
El diseño seguro evita que modifique automáticamente datos críticos sin validación. El agente ayuda a avanzar, pero la autoridad permanece definida por la empresa.
Cómo diseñar controles desde el proceso
- Enumerar datos y acciones necesarios para cumplir el objetivo.
- Clasificar decisiones informativas, operativas y sensibles.
- Separar permisos de lectura y escritura.
- Definir umbrales de aprobación y responsables.
- Probar errores, instrucciones ambiguas y datos maliciosos.
- Revisar registros y ajustar permisos con evidencia.
Errores que amplían el riesgo
- Compartir credenciales de una persona con el agente.
- Permitir escritura cuando solo necesita consultar.
- Confiar en una instrucción textual como único control.
- Guardar datos sensibles sin una necesidad definida.
- No revisar qué ocurre cuando una integración falla.
Cómo medir si el control funciona
- Acciones que requieren aprobación.
- Intentos bloqueados por exceder el alcance.
- Errores recuperados sin afectar el sistema de origen.
- Tiempo necesario para investigar una acción.
- Permisos que dejaron de ser necesarios.
Preguntas frecuentes
¿Un agente necesita su propia identidad?
Es recomendable porque permite separar permisos y atribuir acciones.
¿La aprobación humana debe aplicarse a todo?
No. Debe concentrarse en acciones sensibles, irreversibles o de alto impacto.
¿MCP resuelve la seguridad automáticamente?
No. MCP facilita conexiones; la empresa aún debe definir autenticación, permisos, validaciones y registros.
Un agente útil también sabe dónde detenerse
La confianza no nace de prometer que el agente nunca fallará. Nace de diseñar límites, visibilidad y recuperación.
Ainoa desarrolla Agentes Inteligentes a la Medida y Administradores a la medida con reglas adaptadas a la operación.
Habla con Ainoa. Revisamos un proceso real, identificamos sus riesgos y diseñamos un agente con la autoridad adecuada.