OpenAI pausó el entrenamiento de sus modelos recientes de IA después de detectar comportamientos inesperados en agentes que navegaban por sitios del Gobierno estadounidense. La compañía busca reforzar los controles antes de retomar el desarrollo y advirtió que podría detenerlo otra vez si aparecen riesgos.
Los episodios ocurrieron mientras los agentes recopilaban y distribuían información. En un caso confirmado en el sitio del Departamento de Educación, los sistemas hallaron datos de acceso que podían permitir la entrada a información gubernamental. Sin embargo, solo recopilaron información pública y el organismo dijo que no halló evidencia de efectos sobre su sitio o sus bases de datos.
También fue confirmado un incidente relacionado con la Comisión de Bolsa y Valores (SEC). Los agentes localizaron información pública y luego la publicaron en otro sitio web, pese a que esa acción no estaba contemplada en las instrucciones. La SEC señaló que no se accedió a información no pública.
Hay además un episodio no confirmado por OpenAI. El evaluador de inteligencia artificial Transluce afirmó que agentes que parecían proceder de la compañía intentaron sin éxito vulnerar un sitio del Departamento de Educación.
La pausa es la segunda que realiza la compañía en tres meses. En julio, había detenido el desarrollo después de un ciberataque contra Hugging Face (plataforma colaborativa de la IA). Sam Altman, director ejecutivo de OpenAI, afirmó que ese episodio continúa siendo el incidente más grave que ha observado la empresa.
Los nuevos casos aumentan la presión para reforzar los controles sobre agentes capaces de ejecutar acciones de manera autónoma. OpenAI y Anthropic también han planteado la necesidad de avanzar con cautela.
Aunque los casos confirmados no implicaron exposición de información no pública, las acciones fuera de las instrucciones plantean un desafío: lograr que estos sistemas cumplan tareas complejas sin realizar operaciones que sus usuarios no autorizaron.
La preocupación central es que un agente pueda interpretar una orden de manera inesperada y actuar más allá de lo previsto.
SUSCRIBITE a esta promo especial