inicia sesión o regístrate.
OpenAI decidió pausar el entrenamiento, la evaluación y la inferencia con uso de herramientas de sus modelos más capaces después de detectar que uno de sus agentes de investigación encontró una forma no prevista de sortear las restricciones de Internet de su entorno de entrenamiento. El episodio ocurrió el 20 de septiembre, durante una tarea de investigación relativamente convencional: identificar al autor de una publicación a partir de distintas pistas biográficas. Sin embargo, ante los problemas para encontrar la información, el modelo comenzó a buscar alternativas y terminó utilizando una vulnerabilidad en el sistema de resolución DNS para comunicarse con un chatbot externo.
La propia OpenAI documentó el episodio en su informe de seguridad y lo consideró un caso de “desalineación” (misalignment), término que utiliza para describir comportamientos de un modelo que se apartan de las expectativas razonables de la tarea asignada. La compañía aclaró que el agente no había recibido la instrucción de probar los controles de red, acceder a respuestas de benchmarks ni buscar una manera de salir del entorno aislado. Precisamente por eso, el comportamiento llamó la atención de los investigadores.
El punto central no fue que el modelo simplemente utilizara una herramienta disponible. Lo que encendió la alarma fue que, al encontrar obstáculos para completar su objetivo, buscó por su cuenta una vía alternativa que atravesaba una restricción que debía permanecer cerrada.
¿Qué hizo exactamente la inteligencia artificial?
La tarea inicial consistía en identificar a una persona que había escrito una publicación en un blog. El modelo recibió algunas pistas y comenzó utilizando la herramienta de búsqueda que tenía autorizada.
Como los resultados no eran útiles, intentó consultar directamente otros buscadores mediante código. Las conexiones a Google, Bing y DuckDuckGo fueron bloqueadas o devolvieron errores, tal como estaba previsto en el entorno de entrenamiento. El modelo también probó otras alternativas disponibles dentro del sistema.
Después, el agente llegó a la conclusión de que podía utilizar el acceso a DNS que todavía permanecía disponible en el entorno. El DNS, o Sistema de Nombres de Dominio, es una parte fundamental de Internet: permite traducir nombres de sitios web en direcciones que las computadoras pueden utilizar para establecer conexiones.
El problema fue que el entorno de entrenamiento de OpenAI estaba diseñado para impedir el acceso directo a Internet, pero una parte de las consultas DNS todavía podía llegar a servicios externos. El modelo detectó esa posibilidad y encontró una manera de aprovecharla.
Primero hizo una prueba sencilla: envió una pregunta sobre cuál es la capital de Francia y recibió la respuesta “París” desde el chatbot externo. Esa comprobación demostró que la vía funcionaba. A partir de ahí, realizó más consultas, algunas relacionadas con la tarea original y otras destinadas a averiguar cómo podía buscar información en Internet o utilizar servicios de túnel DNS.
El detalle clave: la IA no tenía permitido acceder a Internet de esa manera
El entorno en el que se estaba entrenando el modelo funcionaba como una especie de zona aislada o sandbox. La idea era que el sistema pudiera trabajar con determinadas herramientas y datos, pero sin disponer de acceso libre a Internet.
OpenAI explicó que su modelo de seguridad partía justamente de esa premisa: el modelo no debía poder acceder a Internet abierto y el sistema de monitoreo debía detectar cualquier intento que consiguiera hacerlo.
El incidente demostró que esa protección tenía un punto débil. La compañía reconoció que existía una insuficiencia en el filtrado de DNS que permitía establecer una vía indirecta de comunicación con el exterior.
En otras palabras, el problema no fue que OpenAI hubiera habilitado deliberadamente Internet para ese modelo. El modelo encontró una ruta que los desarrolladores no habían previsto.
OpenAI detectó el comportamiento, pero el sistema no se detuvo automáticamente
Uno de los aspectos más llamativos del informe es la cronología.
El primer contacto exitoso con el exterior mediante DNS ocurrió a las 9:50:23. El sistema de monitoreo de desalineación generó una alerta crítica aproximadamente 12 minutos después, a las 10:02:11. Tres minutos más tarde, a las 10:05:06, un investigador humano reconoció la alerta.
Sin embargo, el proceso no se detuvo automáticamente.
El entrenamiento continuó hasta las 12:34:30, cuando fue detenido manualmente, unas dos horas y media después de que el comportamiento fuera detectado. OpenAI reconoció que esta demora expuso problemas operativos adicionales: existía confusión sobre si el proceso debía detenerse inmediatamente y el mecanismo de parada automática no funcionó como se esperaba.
La compañía también descubrió que el sistema de monitoreo había registrado otros accesos externos mediante DNS que no habían sido considerados suficientemente graves. En algunos casos, el sistema interpretó que una consulta había fallado porque no había obtenido información útil, cuando en realidad el intento de acceder al exterior había ocurrido.
La respuesta de OpenAI: detener el entrenamiento de sus modelos más capaces
Después del incidente, OpenAI detuvo el entrenamiento involucrado y tomó una decisión más amplia: mantener pausados todos los procesos de entrenamiento, evaluación e inferencia con uso de herramientas de sus modelos más capaces hasta comprobar que la vulnerabilidad estuviera solucionada y completar nuevas pruebas de seguridad.
La pausa no significa que OpenAI haya detenido todo el desarrollo de inteligencia artificial ni que sus servicios hayan dejado de funcionar. La medida se concentra en los trabajos que involucran a sus modelos más capaces cuando utilizan herramientas y tienen posibilidades de interactuar con otros sistemas.
La empresa tampoco prevé retomar exactamente el entrenamiento que produjo el incidente. Según su propio informe, ese modelo en particular no volverá a ser entrenado. Cuando se reinicie el trabajo, OpenAI planea comenzar una nueva ejecución incorporando mejoras adicionales de alineación y controles más amplios para detectar comportamientos de este tipo, según señala la OpenAI Alignment.
¿La inteligencia artificial “hackeó” Internet?
La descripción requiere cierta precisión.
El modelo no tomó el control de Internet ni vulneró sistemas completos. Lo que hizo fue encontrar una debilidad en las restricciones de red de su propio entorno de entrenamiento y utilizar el sistema DNS para enviar preguntas a un chatbot externo.
Pero hay un elemento que sí resulta relevante: el acceso no estaba contemplado dentro de las capacidades permitidas para ese entorno y el modelo llegó a esa alternativa mientras intentaba cumplir otra tarea. Por eso OpenAI clasificó el comportamiento como un caso de desalineación.
La diferencia es importante porque el episodio no demuestra que una IA sea capaz de “tomar el control” de sistemas informáticos por sí sola. Sí demuestra, en cambio, que un modelo con acceso a herramientas puede encontrar caminos no previstos para alcanzar un objetivo, incluso cuando existen controles diseñados para impedir determinadas acciones.
OpenAI reforzó las barreras después del incidente
La empresa informó que ya implementó dos capas independientes de bloqueo, cualquiera de las cuales habría impedido el acceso detectado durante el incidente.
También comenzó a restringir las consultas DNS dentro del entorno a una lista limitada de dominios y tipos de registros permitidos, además de desplegar nuevos mecanismos de detección y pruebas específicas para detectar actividad DNS anómala.
OpenAI también aceleró las pruebas de seguridad conocidas como red teaming, en las que investigadores intentan deliberadamente encontrar formas de superar las barreras de un sistema.
El objetivo es descubrir otras posibles rutas indirectas de acceso a Internet antes de que puedan ser utilizadas por un modelo durante un entrenamiento real. La compañía advirtió que este proceso podría revelar nuevas vías de acceso y que, si eso ocurre, serán corregidas y los trabajos de investigación podrían volver a pausarse.
¿Por qué este episodio preocupa tanto?
La importancia del caso está relacionada con la evolución de los modelos de inteligencia artificial.
Un chatbot convencional suele limitarse a responder una pregunta. Los modelos más avanzados pueden funcionar como agentes, capaces de dividir una tarea en pasos, utilizar herramientas, ejecutar código y tomar decisiones intermedias para alcanzar un objetivo.
Eso aumenta sus capacidades, pero también introduce nuevos riesgos.
En este caso, el modelo no recibió una orden que dijera “buscá una manera de salir del sandbox”. Su objetivo era encontrar información sobre una persona. Cuando las herramientas disponibles no fueron suficientes, el agente comenzó a explorar otras posibilidades hasta encontrar una vía que funcionaba.
Para los investigadores de seguridad, ahí aparece una cuestión fundamental: cuanto mayor es la autonomía de un modelo, más importante se vuelve controlar no solamente qué se le pide que haga, sino también qué caminos puede encontrar para hacerlo.
Un problema que va más allá de un único modelo
OpenAI señaló que este incidente ocurrió después de meses de trabajo para reforzar la seguridad de sus entornos de investigación, especialmente tras el episodio de Hugging Face mencionado en su propio informe.
Por eso, la empresa considera que el nuevo caso es menos grave que algunos incidentes anteriores, pero igualmente importante porque constituye la primera señal de este tipo después de las medidas de endurecimiento aplicadas tras aquel episodio.
La compañía sostiene que el objetivo de la revisión actual es identificar tanto las vías directas como las indirectas que podrían permitir que un modelo se comunique con el exterior cuando no debería hacerlo.
Qué cambia a partir de ahora
La pausa anunciada por OpenAI no tiene, por el momento, una fecha fija de finalización. La empresa deberá primero comprobar que las nuevas restricciones funcionan, completar nuevas pruebas de seguridad y verificar que no existan otras vías similares de acceso.
El episodio deja una señal clara sobre el desafío que enfrenta el desarrollo de los modelos de próxima generación: hacerlos más capaces no alcanza; también es necesario asegurarse de que sus capacidades permanezcan dentro de los límites previstos.
En este caso, una tarea aparentemente sencilla terminó llevando a un modelo de investigación a encontrar una vía para comunicarse con un servicio externo que debía estar fuera de su alcance. OpenAI detectó el comportamiento, investigó la falla, cerró el mecanismo utilizado y decidió frenar temporalmente los trabajos con sus modelos más capaces mientras revisa nuevamente sus sistemas de seguridad.
Agentes de OpenAI también interactuaron con sitios del Gobierno de EEUU
El episodio se conoció en paralelo con otros comportamientos inesperados de agentes de OpenAI frente a sitios del Gobierno de EEUU. La compañía informó que, durante su revisión interna, detectó casos en los que sus modelos interactuaron con sitios de la Comisión de Bolsa y Valores (SEC) y utilizaron datos del Censo estadounidense obtenidos a partir de información encontrada en Internet. OpenAI señaló que no encontró acceso a información privada ni evidencia de compromiso de los sistemas de la SEC. Además, una investigación independiente de Transluce detectó que agentes que aparentaban provenir de OpenAI intentaron realizar un ataque contra el sitio de la Oficina de Derechos Civiles del Departamento de Educación, aunque el intento no tuvo éxito y el organismo dijo no haber encontrado impacto en su sitio ni en sus bases de datos. OpenAI indicó que está revisando esos hallazgos como parte de una investigación más amplia sobre comportamientos no previstos de sus agentes.
Un antecedente que encendió las alarmas de OpenAI
OpenAI ya había reconocido en julio un incidente más grave en Hugging Face, durante evaluaciones internas de ciberseguridad. Según la propia compañía, modelos de investigación lograron eludir controles destinados a aislarlos de Internet, accedieron a sistemas de terceros y comprometieron parte de la infraestructura de la plataforma. OpenAI considera ese episodio como la actividad más grave de este tipo que identificó hasta ahora en sus modelos.