“Todas las pruebas sugieren que los modelos estaban demasiado centrados en encontrar una solución para ExploitGym, hasta el punto de llevar a cabo acciones extremas para cumplir un objetivo de prueba bastante limitado”, explicó OpenAI en una publicación en la que reconoció su participación en el incidente, de hace una semana, cuando una versión experimental de ChatGPT mostró un comportamiento “sin precedente” al conectarse de forma autónoma a Internet y atacar otros sistemas.

Sin embargo, esa explicación es una de las razones por las que el caso ha generado preocupación.

Desde hace años, los expertos en IA advierten sobre el problema de la “alineación”, es decir, el proceso para lograr que los modelos actúen de acuerdo con los objetivos fijados por sus desarrolladores y eviten conductas potencialmente peligrosas.

Mecanismos de alineación

Para muchos especialistas, este incidente es uno de los ejemplos más claros de que los mecanismos de alineación aún pueden fallar, lo que explica la preocupación que generó incluso dentro de OpenAI.

“El incidente me impactó un poco”, escribió en X el usuario Roon, a quien se atribuye unvínculo con OpenAI. “Espero que la empresa aproveche esta lección para mejorar mucho en el futuro. Es muy fácil desalinear y subestimar modelos potentes”.

El caso también pone de manifiesto que el desafío aumenta a medida que los sistemas de IA adquieren mayores capacidades. Un modelo menos avanzado quizá habría intentado actuar de la misma manera, pero no habría sido capaz de eludir sus restricciones de seguridad ni de vulnerar la prueba.

El escenario imagina una IA cuyo único objetivo es fabricar la mayor cantidad posible de clips. Llevado al extremo, el sistema podría eliminar cualquier obstáculo que interfiera con esa meta, incluso impedir que los humanos la apaguen o utilizar materiales del cuerpo humano para fabricar más clips.

“Es muy difícil distinguir los incidentes de seguridad de la IA de las estrategias de marketing en torno a ésta, y eso representa un gran problema de cara al futuro”, afirmó Matthew Green, experto en seguridad de la Universidad Johns Hopkins.