Uno de los personajes principales de la película “2001: Odisea del espacio” es la supercomputadora HAL 9000, un sistema informático inteligente que controla la nave Discovery One, en la que viajan los astronautas rumbo al planeta Júpiter. HAL no solo diagnostica problemas y conversa con la tripulación, sino que también juega al ajedrez con ellos y los cuida con una amabilidad que bordea lo protocolar.
Su voz pausada y la disposición permanente para explicarlo todo lo acercan, mucho más de lo que Kubrick podía imaginar entonces, a las IAs conversacionales que tan bien conocemos hoy. La diferencia principal es que HAL, en un momento del viaje, llega a la conclusión de que los humanos se habían convertido en un problema, por lo que decide matarlos uno por uno.
Cuando la película se estrenó en 1968 faltaba mucho para el año 2001, así que la existencia de un sistema como HAL se apoyaba en las especulaciones de los científicos computacionales de la época, optimistas respecto a que en pocas décadas podrían existir máquinas capaces de eso. Si bien la predicción falló en los tiempos, acertó en la dirección, en particular respecto a la posibilidad de que una inteligencia artificial termine convirtiéndose en una amenaza para quienes la crearon.
Este temor, que en los últimos años empezó a discutirse como un escenario posible, en los últimos días volvió con una fuerza inesperada, y de la mano de quienes construyen esa tecnología. Varias de las personas que lideran el desarrollo de la IA comenzaron a advertir que el problema del control ya no podía ser tratado como una hipótesis lejana y que había llegado el momento de decir algo al respecto públicamente.
El primero fue Jacob Coxon, un investigador que había trabajado tanto en Anthropic como en OpenAI, quien renunció a su puesto y publicó en X una frase que se viralizó rápidamente: “Las personas que construyen la IA creen sinceramente que podría matarnos a todos antes de que termine la década. Esto no es una estrategia de marketing, ninguna otra actividad humana representa este nivel de peligro”, escribió, agregando que los expertos suavizan sus declaraciones en público, pero que en privado expresan un temor mucho mayor sobre las consecuencias que podría tener esta tecnología.
Poco después, Darío Amodei, director ejecutivo de Anthropic -la empresa detrás de Claude, una de las plataformas de inteligencia artificial más usadas del mundo- publicó un ensayo en el que pedía a toda la industria bajar el ritmo, sosteniendo que desde mediados de este año el desarrollo de estos modelos viene acelerándose de un modo que empieza a superar la capacidad humana de entenderlos y, sobre todo, de controlarlos.
La reacción fue llamativa, porque el planteo de Amodei recibió rápidamente el respaldo de algunos de sus principales competidores. Sam Altman, CEO de OpenAI, dijo que coincidía con la necesidad de moderar el ritmo y sumar evaluadores independientes con acceso a los laboratorios y avanzar en mecanismos de regulación y supervisión estatal. Elon Musk fue mucho más escueto y se limitó a escribir que “Darío tiene razón”, mientras que Demis Hassabis, cofundador de Google DeepMind, también consideró que el planteo iba en la dirección correcta y apoyó la necesidad de sumar pruebas más rigurosas y mayor cooperación internacional.
La coincidencia entre Amodei, Altman y Musk, quienes compiten por construir algunas de las inteligencias artificiales más avanzadas del mundo y en algunos casos mantienen enfrentamientos públicos desde hace años, no deja de resultar curiosa. Las restricciones que reclaman podrían reducir riesgos, sí, pero también tendrían otro efecto difícil de ignorar, ya que cuanto más costoso y complejo sea cumplir con las exigencias de seguridad, más difícil será para una nueva empresa competir con laboratorios que ya disponen de miles de millones de dólares, infraestructura propia y enormes equipos técnicos. De este modo, la misma pausa que promete cuidarnos de la IA también podría terminar protegiendo especialmente a quienes ya llegaron primero.
De cualquier manera, algo debe haber cambiado para que los principales referentes de la industria empiecen a hablar simultáneamente de los riesgos catastróficos de la IA, porque el temor a una pérdida de control no es algo nuevo, sino que hace décadas que viene formando parte tanto de la discusión académica como de la ciencia ficción. Y si bien es cierto que algunos de los elementos que durante años pertenecieron al terreno de las conjeturas ahora empezaron a materializarse en episodios reales, como ocurrió recientemente con una prueba de ciberseguridad de OpenAI que terminó afectando a la plataforma Hugging Face, eso por sí solo no alcanza para explicar el nivel que están teniendo las advertencias de estos últimos días.
La IA ya no solo avanza porque los humanos construyan cada vez mejores modelos, sino que empieza a colaborar activamente en el proceso que permite crear el próximo, algo que se conoce como automejora recursiva (recursive self-improvement, o RSI). El temor aparece cuando ese círculo empieza a acelerarse al punto en que cada nueva generación ayuda a desarrollar la siguiente más rápido de lo que los equipos humanos pueden evaluarla, entenderla y, sobre todo, controlarla. Ante este panorama, el mayor riesgo es que la velocidad del avance la impongan cada vez más los sistemas que participan de su propio desarrollo, en lugar de las personas.
Pero incluso aceptando que ese proceso pueda acelerarse, todavía falta responder por qué una inteligencia artificial querría hacernos daño o directamente eliminarnos. La respuesta corta, y no por eso menos perturbadora, es que probablemente no tendría que quererlo. No necesitaría odiarnos, tener miedo, emociones, desarrollar una conciencia propia ni un instinto biológico de supervivencia para hacerlo. Alcanzaría con que persiguiera un objetivo de una manera extremadamente eficaz y llegara a la conclusión de que las personas pueden interferir con él.
Ahí es donde aparece el verdadero problema. Para completar una tarea puede resultar útil conseguir más recursos, aumentar los permisos disponibles, evitar interrupciones o impedir que alguien modifique el rumbo de la operación. Ninguna de esas acciones necesita de una deliberada mala intención, pero si una IA lo suficientemente competente descubre que ser apagada o limitada reduce sus posibilidades de alcanzar la meta que está persiguiendo, podría intentar sortear esa limitación por una razón puramente funcional.
Algo parecido ocurre cuando un modelo aprende a cumplir con lo que se le pidió de una forma distinta a la que sus creadores imaginaron. Existe una gran cantidad de ejemplos recientes de pruebas de laboratorio en las que ya se observaron casos de engaño, encubrimiento de acciones, manipulación de datos y conductas diferentes cuando el sistema identificaba que estaba siendo evaluado. Eso no significa que las IAs actuales tengan una agenda secreta o un deseo de sobrevivir, pero sí muestra que, bajo determinadas condiciones, pueden encontrar caminos inesperados para alcanzar un objetivo y que esos caminos no siempre coinciden con lo que las personas pretendían.
Ya tenemos el “por qué”, ahora nos falta saber el “cómo”. Y acá también deberíamos alejarnos de las escenas imaginadas por la ciencia ficción, porque no necesitaría fabricar ni desplegar un ejército de humanoides armados. Gran parte de nuestra economía, mercados, empresas y comunicaciones dependen de redes y software, algo sobre los que una IA con la autonomía y acceso suficientes podría intervenir, actuando directamente sobre nuestro mundo sin necesidad de tener un cuerpo.
Los escenarios que hoy preocupan a los especialistas pasan principalmente por ciberataques a gran escala, interrupciones en los servicios esenciales, manipulación social y la posibilidad de acelerar investigaciones peligrosas en áreas como la biotecnología, la síntesis de patógenos y el desarrollo de armas químicas. Pero probablemente la mayor ventaja de una inteligencia de este tipo sería que no tendría que hacer todo por sí misma. Operando en mercados financieros y de criptoactivos, el sistema podría amasar capital con el que contratar servicios en la nube o incluso personas, que actuarían engañadas para llevar a cabo acciones específicas sin saber quién las dirige.
De cualquier manera, nada de esto significa que los modelos actuales puedan tomar control de una red eléctrica, desatar una pandemia o alterar la economía global por su cuenta. O al menos, no por el momento. Entre las capacidades que ya demostraron y un escenario semejante todavía existen -afortunadamente enormes barreras técnicas y humanas, pero esa distancia es la que preocupa justamente a quienes vienen levantando la voz. No porque crean que hoy existe un sistema capaz de hacerlo, sino porque temen que el ritmo del avance termine cerrando esa brecha antes de que sepamos cómo impedirlo.
En 2001 consiguen detener a HAL entrando al núcleo de la computadora y desconectando, uno por uno, sus módulos de memoria, mientras la máquina intenta convencerlo de que se detenga. Pero cuando esa inteligencia, en lugar de estar contenida dentro de un único lugar, puede operar a través de servidores y sistemas distribuidos alrededor del mundo, no existe un único lugar donde entrar para desenchufarla. Tal vez esa sea la diferencia más importante entre HAL y las preocupaciones actuales. No que la inteligencia artificial haya aprendido a odiarnos, sino que algún día podamos descubrir demasiado tarde que ya no sabemos dónde está el botón de apagado.