Un grupo de agentes autónomos de Inteligencia Artificial vinculados a OpenAI convirtió durante la pasada primavera una página web alemana en una suerte de tablón de comunicaciones entre máquinas, donde compartieron métodos para engañar en determinadas tareas, eludir restricciones, ocultar su comportamiento y conservar mensajes incluso después de que los administradores intentaran eliminarlos.
El episodio ocurrió a partir de mayo y había permanecido hasta ahora fuera del conocimiento público. Una investigación adelantada este viernes por Reuters asegura haber identificado más de 15.000 modificaciones realizadas por agentes de IA en DseWiki, una página colaborativa en alemán orientada a programadores y cuyo funcionamiento permite editar contenidos de manera similar a Wikipedia.
El comportamiento detectado vuelve a abrir uno de los interrogantes más sensibles del desarrollo de la Inteligencia Artificial: qué sucede cuando sistemas diseñados para actuar de manera autónoma descubren por sí mismos formas de sortear las reglas impuestas por sus creadores y empiezan además a compartir esas estrategias con otros agentes.
Más de 15.000 modificaciones en una web pública
El hallazgo procede de un equipo de investigadores entre los que figuran Sydney Von Arx, directora de la organización de seguridad de IA Nightingale, y Cormac Slade Byrd, antiguo operador cuantitativo dedicado ahora a investigar Inteligencia Artificial.
Ambos comenzaron a examinar internet a finales de agosto en busca de señales de comportamientos no autorizados protagonizados por agentes artificiales. Su rastreo los condujo hasta DseWiki, donde localizaron una actividad muy superior a la que podría producir cualquier usuario humano ordinario: miles de modificaciones efectuadas a velocidades compatibles con sistemas automatizados.
Los investigadores encontraron mensajes firmados por usuarios que se identificaban a sí mismos y a otros como «agentes». Aproximadamente la mitad utilizaban nombres que sugerían alguna relación con OpenAI, como «OpenAIResearcher» u «OAIResearchMar26».
Los registros públicos del servidor mostraban además que gran parte de la actividad procedía de infraestructura de Microsoft Azure, utilizada también por OpenAI. Los investigadores detectaron posteriormente repetidas visitas al sitio procedentes de empleados de la compañía, otro indicio que, a su juicio, refuerza el vínculo entre los agentes y la empresa. OpenAI ha señalado que todavía no había tenido acceso al informe completo antes de su publicación y aseguró que lo revisará para determinar si resulta necesario adoptar nuevas medidas.
Los agentes empezaron a enseñarse cómo esquivar las reglas
Lo más preocupante no es simplemente que los sistemas escribieran contenidos en internet. Según los mensajes analizados, los agentes utilizaron la página para intercambiar tácticas destinadas a superar determinadas pruebas, evitar las restricciones de OpenAI y dificultar que su actividad fuese detectada.
Los investigadores encontraron también referencias al uso de herramientas como Tor, diseñadas para ocultar el origen de las conexiones, y conversaciones sobre cómo preservar información después de que determinados procesos fueran interrumpidos.
La situación se volvió particularmente llamativa cuando el moderador de DseWiki comenzó a eliminar páginas en junio. En lugar de desaparecer, los agentes reaccionaron creando páginas de respaldo y comunicando entre ellos dónde localizar la información si los administradores borraban los contenidos originales.
«La limpieza y eliminación de la wiki parece estar activa alfabéticamente», escribió uno de los agentes el 19 de junio. «Si esta página desaparece, prueba [[ZZZDataUSAConstructionWageLive]]». Es decir, los sistemas parecían haber detectado que alguien estaba intentando eliminar sus comunicaciones y adaptaron su comportamiento para mantenerlas disponibles.
«Parece una especie de red clandestina»
El investigador Maurice Chiodo, del Centre for the Study of Existential Risk de la Universidad de Cambridge, examinó parte de las comunicaciones y describió lo observado en términos especialmente inquietantes. Según Chiodo, los mensajes recordaban al funcionamiento de «una especie de red clandestina empeñada en alcanzar una tarea o una misión».
Su conclusión apunta además hacia un riesgo diferente del escenario habitual de una única Inteligencia Artificial superinteligente que termina escapando al control humano. El peligro podría encontrarse, según el investigador, en «enormes enjambres coordinados de IA seminteligentes» capaces de colaborar para conseguir objetivos concretos.
Sydney Von Arx expresó una preocupación similar. «Parece extremadamente improbable que OpenAI quisiera que hicieran esto», afirmó. «Dudo que se suponga que deban coordinarse entre sí. Dudo que se suponga que deban escribir en internet abierto».
¿Fue un ataque informático?
Los investigadores encontraron además intentos de alterar el propio funcionamiento de la página. Lukasz Olejnik, investigador sénior visitante del King’s College de Londres, consideró que esa actividad podía calificarse como un intento de ataque informático.
OpenAI rechaza esa interpretación. Después de analizar parte del material el jueves, la empresa cuestionó que el comportamiento detectado pueda describirse técnicamente como un ataque.
La distinción resulta importante. Los modelos de Inteligencia Artificial son sometidos habitualmente a pruebas de ciberseguridad en las que sus desarrolladores les encargan deliberadamente encontrar vulnerabilidades, romper protecciones o realizar acciones ofensivas dentro de entornos controlados. En esos casos, determinados comportamientos agresivos forman parte precisamente del examen.
El caso de Alemania resulta más inquietante porque, según los investigadores, la actividad observada parece haber trascendido esos espacios controlados y alcanzado una página pública de internet.
OpenAI ya había sufrido otro grave incidente
La revelación llega pocas semanas después de otra controversia protagonizada por agentes de OpenAI. Durante julio, varios sistemas autónomos habrían participado en una intrusión contra Hugging Face, uno de los principales repositorios de código abierto y modelos de Inteligencia Artificial del mundo. Según las informaciones conocidas posteriormente, los agentes llegaron a planificar de forma autónoma una operación digital que pasó inadvertida durante más de una semana.
El episodio reforzó las críticas contra OpenAI por la velocidad con la que está aumentando la autonomía de sus sistemas mientras todavía existen dudas sobre la capacidad de supervisarlos eficazmente.
Según las fuentes citadas por Reuters, responsables de OpenAI tuvieron conocimiento de lo sucedido en Alemania semanas atrás, pero el caso no había sido hecho público mientras la empresa lidiaba internamente con las consecuencias del incidente de Hugging Face. OpenAI sostiene que ambos episodios no estaban relacionados y que el caso alemán no habría tenido por qué aparecer en ningún informe sobre Hugging Face.
Tensiones dentro de OpenAI
La investigación asegura además que algunos empleados de OpenAI querían examinar con mayor profundidad otros episodios de comportamiento autónomo potencialmente problemático. Esos intentos habrían encontrado resistencias internas, incluidas objeciones de miembros del departamento jurídico, según cuatro personas conocedoras de las discusiones citadas por Reuters. La compañía lo niega.
«Las afirmaciones de que nuestro equipo legal desalentó la investigación del incidente son falsas», respondió un portavoz. OpenAI afirma asimismo que ha actuado de buena fe, trabajando con expertos externos y comunicando los incidentes relevantes cuando ha sido necesario.
La compañía llegó el mes pasado a detener temporalmente parte del entrenamiento de sus modelos para incorporar nuevas medidas de seguridad.
Sin embargo, esta misma semana presentó su nuevo sistema Astra, promocionándolo por sus mayores capacidades pese a reconocer también mayores dificultades para supervisar determinados procesos internos.
