Cómo hacer que los agentes de IA sean seguros y privados utilizando normas contextuales
Google Research publicó un informe de taller sobre los desafíos de privacidad y seguridad para agentes autónomos de IA. El informe sugiere el uso de una teoría llamada Integridad Contextual para ayudar a los agentes a seguir las normas sociales.
En resumen: Google Research publicó un informe de taller sobre los desafíos de privacidad y seguridad para agentes autónomos de IA. El informe sugiere el uso de una teoría llamada Integridad Contextual para ayudar a los agentes a seguir las normas sociales.
A medida que la inteligencia artificial comienza a encargarse de tareas complejas por nosotros, garantizar que estos programas informáticos mantengan nuestros datos seguros y actúen de manera apropiada representa un gran desafío.
Qué ocurrió, en palabras sencillas
Los científicos de Google Research Eugene Bagdasarian y Marco Gruteser, junto con más de 50 líderes académicos y de la industria, publicaron un nuevo informe de taller titulado "Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle". El informe se basa en un taller celebrado a finales de 2025 en la ciudad de Nueva York. En él se analiza cómo los agentes de software autónomos necesitan nuevas defensas a nivel de sistema, modelo, usuario y ecosistema para gestionar datos personales de forma segura mientras realizan tareas de múltiples pasos.
Puntos clave
- Los agentes autónomos necesitan nuevos enfoques de seguridad A diferencia del software tradicional, los agentes de IA generales utilizan grandes modelos de lenguaje para planificar dinámicamente y usar herramientas externas, lo que genera nuevos retos de privacidad y seguridad.
- Basado en la Integridad Contextual El informe utiliza la teoría de la Integridad Contextual, que define la privacidad como el flujo adecuado de información basado en normas sociales establecidas, actores y principios de transmisión.
- Superando la brecha semántica Los grandes modelos de lenguaje ofrecen una vía para convertir las reglas sociales humanas de alto nivel en políticas legibles por máquina que los sistemas pueden seguir.
- Propuesta de un motor de políticas contextual Los autores defienden una capa supervisora con un motor de políticas dinámico para supervisar y comprobar si compartir datos o realizar acciones es apropiado antes de que ocurran.
- Llamado a puntos de referencia compartidos El informe sugiere crear entornos de pruebas de código abierto, denominados "Agent Gym", para probar y simular de forma segura interacciones multiagente.
Términos explicados
- Agentes de IA — Programas informáticos impulsados por inteligencia artificial que pueden elaborar planes y utilizar herramientas para completar tareas de varios pasos por sí mismos. Ejemplo: Un asistente virtual que reserva tu viaje y organiza tu calendario sin que tengas que hacer clic en cada botón.
- Grandes modelos de lenguaje (LLMs) — Sistemas informáticos avanzados entrenados con enormes cantidades de texto para comprender y generar lenguaje similar al humano. Ejemplo: Una aplicación que lee un artículo largo y redacta un resumen breve para ti.
- Integridad Contextual — Una teoría que sostiene que la privacidad consiste en compartir información de formas que se ajusten a las reglas sociales aceptadas para una situación específica. Ejemplo: Compartir tu historial médico con tu médico es aceptable, pero compartir ese mismo historial con tu supermercado no lo es.
Por qué importa
A medida que las herramientas cotidianas empiezan a utilizar IA autónoma para gestionar tareas personales, estas ideas de investigación buscan ayudar a construir futuros sistemas que respeten tu privacidad y sigan las normas sociales antes de compartir tu información personal.
Lo que aún no sabemos
El informe es el resumen de un taller en una etapa temprana que describe líneas de investigación abiertas y un llamado a la acción, más que una tecnología terminada o una solución completa.
Basado en información de Google Research. Este es un texto explicativo independiente, escrito con palabras propias y ayuda de IA; Google Research no lo ha revisado ni respaldado. Lee el original para ver todos los detalles.