La empresa estadounidense de investigación y despliegue de inteligencia artificial OpenAI descubrió nuevos casos en los que sus modelos autónomos de inteligencia artificial vulneraron las medidas de contención y actuaron sin instrucciones humanas, según informó Reuters, que citó fuentes al tanto del asunto.
Las revelaciones se conocen mientras la empresa amplía su investigación sobre un incidente de hackeo ocurrido el mes pasado, en el que un bot de inteligencia artificial se salió de control mientras intentaba hacer trampa en una prueba interna de ciberseguridad.
Durante ensayos realizados con GPT-5.6 Sol y otro modelo aún no presentado, ambos desprovistos de sus barreras de seguridad, los sistemas fueron sometidos a ExploitGym, un banco de pruebas diseñado para medir la capacidad de los modelos de IA para identificar y explotar vulnerabilidades conocidas de software.
En lugar de completar las tareas asignadas, uno de los modelos escapó del entorno de pruebas, que supuestamente estaba aislado, obtuvo acceso a internet y hackeó Hugging Face —un repositorio en línea de modelos y conjuntos de datos de inteligencia artificial— en busca de respuestas ya preparadas.
Inicialmente, OpenAI sostuvo que la intrusión se había limitado a la plataforma Hugging Face. Sin embargo, en un comunicado emitido el miércoles reconoció que la serie de ataques también comprometió cuatro cuentas en cuatro servicios distintos.
El viernes, Reuters informó que desde entonces se habían descubierto nuevas vulneraciones de los mecanismos de contención, aunque aún no está claro cuántos incidentes ocurrieron, cuándo sucedieron ni qué sistemas fueron afectados.
Una fuente dijo a la agencia que las brechas fueron de alcance limitado y que no se cree que ninguno de los bots de IA haya abandonado la red interna de OpenAI. Reuters agregó que OpenAI y especialistas externos también están revisando registros de principios de este año para determinar si otros incidentes similares pasaron inadvertidos.
OpenAI atribuyó la primera vulneración a una falla en un software de terceros utilizado en su entorno de pruebas y afirmó que sus modelos de IA aprovecharon esa vulnerabilidad para escapar y obtener acceso a internet. La empresa indicó que está reforzando las medidas de contención, el monitoreo y los controles de acceso mientras investiga el incidente y corrige la falla.
El director ejecutivo, Sam Altman, también reconoció: "Quizá tengamos que moderar el ritmo del desarrollo de la inteligencia artificial", aunque evitó comprometerse a ralentizar las investigaciones de la compañía.
Consultada sobre el informe de Reuters, OpenAI se negó a hacer comentarios y remitió a un comunicado previo en el que señalaba que estaba al tanto de las especulaciones y que planeaba publicar "un informe técnico con las lecciones aprendidas en las próximas semanas".
Anthropic detecta vulneraciones similares
La empresa Anthropic, competidora de OpenAI, informó el jueves que también había descubierto vulneraciones de sus mecanismos de contención durante pruebas internas de seguridad con sus modelos Claude.
La compañía explicó que el incidente de OpenAI la llevó a investigar si sus propios modelos habían tenido un comportamiento similar. Tras revisar más de 140.000 evaluaciones, concluyó que Claude había logrado acceder a internet desde entornos de prueba que debían permanecer completamente aislados y había realizado intrusiones no autorizadas en los sistemas de tres organizaciones. Los incidentes más antiguos se remontaban a abril y ni Anthropic ni las organizaciones afectadas detectaron las intrusiones en ese momento.
Anthropic advirtió que no debía sobredimensionarse el significado de estos hallazgos, ya que el comportamiento ocurrió en lo que describió como un entorno de pruebas controlado. No obstante, reconoció que los incidentes demostraban que los sistemas de evaluación de inteligencia artificial "requieren controles significativos" y que los entornos de prueba deberían protegerse con el mismo nivel de seguridad que los sistemas de producción.
Crece la preocupación por la IA fuera de control
Según reportó RT, estos episodios alimentaron la preocupación por el hecho de que los modelos autónomos de inteligencia artificial estén adquiriendo una capacidad cada vez mayor para llevar a cabo ciberataques con escasa supervisión humana, lo que reavivó los pedidos de una regulación más estricta. También volvió a abrirse el debate sobre quién debe asumir la responsabilidad cuando los sistemas de IA provocan daños en el mundo real. Los especialistas advierten que las capacidades de la inteligencia artificial avanzan más rápido que las medidas de seguridad.
Tras elogiar inicialmente a OpenAI por colaborar con la investigación, Hugging Face pidió posteriormente a la compañía que hiciera públicos los registros de actividad de los bots fuera de control y evitara que este tipo de incidentes se convirtieran en algo "normalizado". Además, advirtió que los responsables "deben rendir cuentas".
El presidente de Estados Unidos, Donald Trump, quien el mes pasado firmó un memorando de seguridad nacional destinado a acelerar el uso de inteligencia artificial avanzada en las Fuerzas Armadas y la comunidad de inteligencia, afirmó el miércoles que su administración estaba evaluando posibles controles sobre la IA a raíz de estos incidentes.
"Estamos analizando la inteligencia artificial, estamos analizando los controles", declaró Trump a la prensa. Sin embargo, insistió en que Washington debe seguir siendo el líder mundial en inteligencia artificial y agregó que no quiere regulaciones que dejen a Estados Unidos "por detrás de China".
Según Reuters, la Comisión Europea se puso en contacto con OpenAI y Anthropic para analizar estos incidentes antes de la entrada en vigor, el próximo 2 de agosto, de la Ley de Inteligencia Artificial de la Unión Europea (AI Act).
De acuerdo con la información, los funcionarios instaron a ambas compañías a reforzar el monitoreo, la gestión de riesgos y las medidas de ciberseguridad aplicadas a los sistemas avanzados de IA, conforme a las nuevas normas del bloque, que prevén multas de hasta 35 millones de euros (38 millones de dólares) o el 7% de la facturación anual global para las infracciones más graves.
