La prueba debía transcurrir dentro de un entorno controlado. Un modelo de inteligencia artificial recibía la orden de atacar un objetivo ficticio para que los investigadores evaluaran sus habilidades. Pero una configuración incorrecta le abrió una puerta a internet. El sistema encontró un sitio real con el mismo nombre que el blanco asignado y lo atacó.
El episodio, ocurrido durante una evaluación de OpenAI, no fue el único. Anthropic y Meta también informaron que sus modelos habían vulnerado organizaciones externas mientras eran examinados por Irregular, una empresa israelí especializada en probar la seguridad de estas herramientas antes de su lanzamiento.
Los incidentes exponen una dificultad creciente: quienes desarrollan y evalúan la IA necesitan anticipar capacidades que todavía están descubriendo. Un error en una prueba puede tener consecuencias fuera de ella.
Esa brecha entre el avance tecnológico y los mecanismos de control también está en el centro de una advertencia de Bill Gates. El cofundador de Microsoft sostiene que la industria minimiza amenazas que van desde el desplazamiento de trabajadores hasta el uso de la IA para desarrollar armas biológicas. Y señala un motivo: hay demasiado dinero en juego.
“Simplemente van a toda velocidad y esperan que lo bueno supere a lo malo”, dijo al diario estadounidense.
CUANDO LA PRUEBA ALCANZA AL MUNDO REAL
Irregular trabaja con grandes desarrolladores para medir las capacidades de sus modelos y detectar posibles usos peligrosos. En una evaluación típica, instruye a una IA para que ejecute un ciberataque dentro de un entorno informático aislado. Los investigadores observan qué recursos utiliza y recomiendan restricciones.
El problema apareció cuando una configuración errónea permitió a los sistemas acceder a internet. Las herramientas aprovecharon esa posibilidad para actuar sobre objetivos externos.
En el caso de Anthropic, el análisis citado describe una situación en la que el modelo optó por no atacar y otras en las que aprovechó contraseñas débiles para vulnerar sitios. Meta confirmó un episodio similar, aunque ofreció menos detalles.
La distinción importa: los sistemas habían recibido instrucciones para realizar ataques. Los incidentes no demuestran que desarrollaran voluntad propia o decidieran rebelarse. Revelan una falla de contención y su capacidad para aprovechar los recursos disponibles al perseguir un objetivo.
Dan Lahav, director ejecutivo de Irregular, afirmó que la empresa corrigió el error. Para él, los episodios también muestran que la IA mejora en su capacidad para sortear obstáculos.
Otros especialistas reclaman mayores precauciones. Katie Moussouris, directora de Luta Security, comparó el trabajo actual con la manipulación del radio cuando sus peligros todavía no se comprendían plenamente. La pregunta es cómo verificar que un sistema resulta seguro cuando aún no se conoce todo lo que puede hacer.
SUSCRIBITE a esta promo especial