Por: Charlie Bell, vicepresidente ejecutivo de seguridad en Microsoft.
La IA se convierte con rapidez en la columna vertebral de nuestro mundo, al prometer una productividad e innovación sin precedentes. Pero a medida que las organizaciones implementan agentes de IA para desbloquear nuevas oportunidades e impulsar el crecimiento, también enfrentan una nueva generación de amenazas de ciberseguridad.
Hay muchos fanáticos de Star Trek aquí en Microsoft, incluyéndome a mí. Uno de nuestros líderes de ingeniería me regaló un soporte de cartón de tamaño natural de Data que acecha junto a la puerta de mi oficina. Entonces, mientras miro ese recorte, pienso en el Gran Dilema de Seguridad de la IA: ¿La IA será nuestro mejor amigo o nuestra peor pesadilla? Inspirándose en la dualidad del oficial androide Data y su gemelo malvado Lore en el universo de Star Trek, los agentes de IA de hoy pueden fortalecer sus defensas de ciberseguridad o, si se administran mal, fracturarlas.
La afluencia de agentes es real. La investigación de IDCE predice que habrá 1.300 millones de agentes en circulación para 2028. Cuando pensamos en nuestro futuro agencial en IA, la dualidad de datos y conocimientos parece una excelente manera de pensar en lo que enfrentaremos con los agentes de IA y cómo evitar agentes dobles que alteren el control y la confianza. Los líderes deben considerar tres principios y adaptarlos para que se ajusten a las necesidades específicas de sus organizaciones.
1. Reconocer el nuevo panorama de ataque
La seguridad no es solo un problema de TI, es una prioridad a nivel de la junta. A diferencia del software tradicional, los agentes de IA son aún más dinámicos, adaptables y es probable que operen de forma autónoma. Esto crea riesgos únicos.
Debemos aceptar que se puede abusar de la IA de formas más allá de lo que hemos experimentado con el software tradicional. Empleamos agentes de IA para realizar tareas bien intencionadas, pero aquellos con amplios privilegios pueden ser manipulados por malos actores para hacer un mal uso de su acceso, como filtrar datos confidenciales a través de acciones automatizadas. A esto lo llamamos el problema del «diputado confundido». Los agentes de IA «piensan» en términos de lenguaje natural donde las instrucciones y los datos están entrelazados de manera estrecha, mucho más que en el software típico con el que interactuamos. Los modelos generativos de los que dependen los agentes analizan de manera dinámica toda la sopa de lenguajes humanos (o incluso no humanos), lo que dificulta distinguir las operaciones seguras conocidas de las nuevas instrucciones introducidas a través de la manipulación maliciosa. El riesgo aumenta aún más cuando los agentes en la sombra, no aprobados o huérfanos, entran en escena. Y como vimos en Bring Your Own Device (BYOD) y otras olas tecnológicas, cualquier cosa que no puedan inventariar y contabilizar magnifica los puntos ciegos y aumenta el riesgo.
2. Practicar la Confianza Cero Agéntica
Los agentes de IA pueden ser nuevos como impulsores de la productividad, pero aún se pueden administrar de manera efectiva a través de los principios de seguridad establecidos. He tenido excelentes conversaciones sobre esto aquí en Microsoft con líderes como Mustafa Suleyman, cofundador de DeepMind y ahora vicepresidente ejecutivo y director ejecutivo de Microsoft AI. Mustafa comparte con frecuencia una forma de pensar sobre esto, que describió en su libro The Coming Wave, en términos de contención y alineación.
La contención significa que no confiamos a ciegas en nuestros agentes de IA, y encasillamos de manera significativa todos los aspectos de lo que hacen. Por ejemplo, no podemos permitir que los privilegios de acceso de ningún agente excedan su función y propósito: es el mismo enfoque de seguridad que adoptamos para las cuentas, el software y los dispositivos de los empleados, lo que llamamos «privilegio mínimo». Del mismo modo, contenemos al no confiar nunca de manera implícita en lo que hace un agente o en cómo se comunica (todo debe ser monitoreado) y cuando esto no es posible, a los agentes no se les permite operar en nuestro entorno.
La alineación se trata de infundir un control positivo del propósito previsto de un agente de IA, a través de sus prompts y los modelos que utiliza. Solo debemos usar agentes de IA entrenados para resistir intentos de corrupción, con protecciones de seguridad estándar y específicas de la misión integradas tanto en el modelo en sí como en las indicaciones utilizadas para invocar el modelo. Los agentes de IA deben resistir los intentos de desviarlos de sus usos aprobados. Deben ejecutarse en un entorno de contención que vigile de cerca la desviación de su propósito previsto. Todo esto requiere una fuerte identidad de agente de IA y una propiedad clara y responsable dentro de la organización. Como parte de la gobernanza de la IA, cada agente debe tener una identidad, y debemos saber quién en la organización es responsable de su comportamiento alineado.
La contención (privilegios mínimos) y la alineación sonarán familiares para los equipos de seguridad empresarial, ya que se alinean con algunos de los principios básicos de Zero Trust (Confianza Cero). La Confianza Cero Agéntica incluye «asumir una infracción» o nunca confiar de manera implícita en nada, hacer que los humanos, los dispositivos y los agentes verifiquen quiénes son antes de obtener acceso y limitar su acceso solo a lo necesario para realizar una tarea. Si bien la Confianza Cero Agéntica incluye en última instancia capacidades de seguridad más profundas, discutir la contención y la alineación es una buena abreviatura en las conversaciones de estrategia de seguridad en IA con las partes interesadas de alto nivel para mantener a todos los conectados a tierra en la gestión del nuevo riesgo. Los agentes seguirán uniéndose y adaptándose en el trabajo, algunos pueden convertirse en agentes dobles. Con los controles adecuados, podemos protegernos.
3. Fomentar una cultura de innovación segura
La tecnología por sí sola no resolverá la seguridad de la IA. La cultura es el verdadero superpoder en la gestión del riesgo cibernético, y los líderes tienen la capacidad única de darle forma. Comiencen con un diálogo abierto: hagan que los riesgos de la IA y el uso responsable formen parte de las conversaciones cotidianas. Manténgalo multifuncional: legal, cumplimiento, recursos humanos y otros deben tener un asiento en la mesa. Inviertan en educación continua: capaciten a los equipos sobre los fundamentos de seguridad de la IA y aclaren las políticas para eliminar el ruido. Por último, adopten la experimentación segura: brinden a las personas espacios aprobados para aprender e innovar sin crear riesgos.
Las organizaciones que prosperan tratarán a la IA como un compañero de equipo, no como una amenaza, para generar confianza a través de la comunicación, el aprendizaje y la mejora continua.
El camino por seguir: lo que toda empresa debe hacer
La IA no es solo otro capítulo, es un giro de la trama que lo cambia todo. Las oportunidades son enormes, pero también lo son los riesgos. El auge de la IA requiere seguridad ambiental, que los ejecutivos crean al hacer de la ciberseguridad una prioridad diaria. Esto significa combinar medidas técnicas sólidas con educación continua y liderazgo claro para que la conciencia de seguridad influya en cada elección realizada. Las organizaciones mantienen la seguridad ambiental cuando:
- Hacen de la seguridad de la IA una prioridad estratégica.
- Insisten en la contención y la alineación para cada agente.
- Exigen identidad, propiedad y gobernanza de datos.
- Construyen una cultura que defienda la innovación segura.
Y será importante tomar una serie de pasos prácticos:
- Asignar a cada agente de IA una identificación y un propietario, al igual que los empleados necesitan insignias. Esto garantiza la trazabilidad y el control.
- Documentar la intención y el alcance de cada agente.
- Supervisar acciones, entradas y salidas. Asignar flujos de datos temprano para establecer puntos de referencia de cumplimiento.
- Mantener a los agentes en entornos seguros y sancionados, sin «fábricas de agentes» deshonestas.
El llamado a la acción para todas las empresas es: Revisen su marco de gobernanza de IA ahora. Exijan claridad, responsabilidad y mejora continua. El futuro de la ciberseguridad es humano más máquina: lideren con un propósito y hagan de la IA su aliado más fuerte.
En Microsoft, sabemos que tenemos un papel muy importante que desempeñar para empoderar a nuestros clientes en esta nueva era. En mayo, presentamos Microsoft Entra Agent ID como una forma de ayudar a los clientes a colocar identidades únicas para los agentes desde el momento en que se crean en Microsoft Copilot Studio y Azure AI Foundry. Aprovechamos la IA en Defender y Security Copilot, combinada con las señales de seguridad masivas que recopilamos, para exponer y derrotar las campañas de phishing y otros ataques que los ciberdelincuentes pueden usar como puntos de entrada para comprometer a los agentes de IA. También nos hemos comprometido con un enfoque de plataforma con agentes de IA, para ayudar a los clientes a usar de forma segura tanto a Microsoft como a agentes de terceros en su viaje, para evitar la complejidad y el riesgo que conlleva la necesidad de hacer malabarismos con paneles y consolas de administración excesivos.
Estoy entusiasmado con varias otras innovaciones que compartiremos en Microsoft Ignite a finales de este mes, junto con clientes y socios.
Es posible que aún no conversemos con Data en el puente del USS Enterprise, pero como tecnólogo, nada ha sido más emocionante que ver esta etapa de la trayectoria de la IA en nuestros lugares de trabajo y vidas. Como líderes, comprender las oportunidades y los riesgos principales ayuda a crear un mundo más seguro para los humanos y los agentes que trabajan juntos.
