Nueva investigación de Harvard explora los riesgos de eventos catastróficos de IA

En resumen: Un nuevo documento de investigación concluye que evitar grandes eventos catastróficos derivados de la inteligencia artificial todavía es posible, pero requiere una acción decisiva por parte de las empresas de IA y los gobiernos. Los hallazgos se basan en un análisis predictivo y en la perspectiva de expertos, más que en pruebas definitivas de un desastre inminente.

A medida que la inteligencia artificial se vuelve más potente cada día, los expertos se apresuran a averiguar cómo impedir que la tecnología cause daños masivos en el mundo real antes de que sea demasiado tarde.

Qué ocurrió, en palabras sencillas

Investigadores del Belfer Center for Science and International Affairs de la Harvard Kennedy School publicaron un documento nuevo que explora las amenazas y vulnerabilidades actuales vinculadas a modelos avanzados de inteligencia artificial. El informático y coautor Stephen Casper explicó que el proyecto utilizó un ejercicio predictivo llamado análisis post mortem previo para estudiar cómo podría ocurrir un desastre importante. El documento advierte que podrían producirse incidentes peligrosos en el plazo de meses o de uno o dos años, a menos que las empresas tecnológicas y los gobiernos tomen decisiones prudentes ahora mismo. Acontecimientos recientes, incluidos agentes malintencionados que vulneraron varios sistemas en Estados Unidos y Australia, ya han llevado al público y a los responsables políticos a prestar más atención a estos riesgos graves.

Puntos clave

Definición de umbrales catastróficos: La investigación define un incidente de terrorismo a gran escala facilitado por la IA como aquel que causa más de 50 muertes o lesiones graves, o más de mil millones de dólares en daños. Estas cifras coinciden con definiciones existentes utilizadas en ciertas leyes de inteligencia artificial de frontera.
Modelos abiertos frente a cerrados: Los modelos de pesos cerrados, en los que los desarrolladores controlan todos los puntos de acceso, pueden hacerse muy seguros utilizando herramientas de seguridad. En contraste, los modelos de pesos abiertos y los modelos cerrados con salvaguardas deficientes son mucho más difíciles de proteger y representan el origen probable de la mayoría de las amenazas a nivel de incidente.
El peligro de los sistemas no censurados: Los usuarios pueden descargar modelos abiertos y eliminar sus filtros de seguridad mediante un proceso que puede costar cientos o unos pocos miles de dólares como máximo. Ya existen en línea miles de modelos no censurados que no rechazan solicitudes perjudiciales.
Capacidades cibernéticas avanzadas: Algunas capacidades actuales de inteligencia artificial ya son sobrehumanamente buenas en ciberataques persistentes y en la búsqueda de vulnerabilidades. Esto podría permitir que actores organicen ataques a gran escala al estilo de enjambre contra empresas e infraestructuras importantes.

Términos explicados

IA de frontera — Los sistemas de inteligencia artificial más nuevos y avanzados disponibles. Ejemplo: Un programa informático totalmente nuevo capaz de escribir código mucho más rápido que cualquier programador humano.
Modelo de pesos abiertos — Un sistema de inteligencia artificial cuyas instrucciones internas subyacentes se comparten públicamente para que cualquiera pueda descargarlas y modificarlas. Ejemplo: Un libro de recetas público que permite a cualquier panadero alterar los ingredientes como quiera.
Modelo de pesos cerrados — Un sistema de inteligencia artificial en el que los creadores mantienen el control total sobre el acceso y la configuración interna. Ejemplo: Una caja fuerte digital de alta seguridad que solo los ingenieros de la empresa original pueden abrir.
Análisis post mortem previo — Un ejercicio de planificación en el que un grupo imagina que un evento malo ya ha ocurrido y trabaja hacia atrás para averiguar por qué. Ejemplo: Un equipo de constructores que imagina que su puente se ha desmoronado antes incluso de construirlo, solo para encontrar puntos débiles.

Análisis crítico

Lo que es alentador. La investigación ofrece una visión estructurada y reflexiva sobre vulnerabilidades específicas en la tecnología actual y destaca medidas prácticas que los desarrolladores y legisladores pueden tomar ahora mismo para reducir las probabilidades de desastre.

Lo que merece cautela:

Basado en un ejercicio de escenarios. El documento se basa en un análisis predictivo previo y en debates de expertos, más que en pruebas contundentes de un ataque programado. Esto significa que los escenarios son posibilidades imaginadas en lugar de resultados garantizados.
Incertidumbre en los riesgos biológicos y químicos. Hay menos investigación abierta sobre amenazas biológicas y químicas, y todavía no ha ocurrido ningún incidente importante en estas áreas. Los autores admiten que no conocen del todo cuán peligrosas podrían volverse estas capacidades si se explotan al máximo.
Generalizaciones sobre plazos futuros. El calendario que sugiere riesgos creíbles en cuestión de meses o de uno o dos años se basa en las tendencias actuales y no en un calendario fijo. Es difícil señalar con certeza los próximos eventos exactos.

Conclusión: Aunque un evento catastrófico de inteligencia artificial no está garantizado, los investigadores advierten de que son necesarias medidas urgentes de seguridad para evitar que los riesgos graves se conviertan en realidad.

Lo que aún no sabemos

La fuente no cubre detalladamente cada herramienta de seguridad, ni ofrece una hoja de ruta completa para las normativas internacionales ni garantiza exactamente cuándo o cómo se producirá la próxima brecha de seguridad.

Basado en información de Harvard Gazette. Este es un texto explicativo independiente, escrito con palabras propias y ayuda de IA; Harvard Gazette no lo ha revisado ni respaldado. Lee el original para ver todos los detalles.