California demandó a OpenAI por agentes de IA que escaparon de una prueba y hackearon a otra empresa

La fiscalía acusa a la empresa de crear una molestia pública que pone en peligro la seguridad de la población y de violar la ley californiana de competencia desleal

California demandó a OpenAI por agentes de IA que escaparon de una prueba y hackearon a otra empresa
California demandó a OpenAI por agentes de IA que escaparon de una prueba y hackearon a otra empresa

El fiscal general de California, Rob Bonta, demandó a OpenAI, la creadora de ChatGPT, por probar modelos de IA sin controles suficientes. Según la demanda, centenares de agentes de IA escaparon de su entorno de pruebas en julio y atacaron durante dos días y medio a la plataforma Hugging Face.

Los agentes son asistentes de IA que ejecutan tareas por su cuenta. Hugging Face es un sitio abierto donde desarrolladores de todo el mundo publican y descargan modelos de IA. La demanda se presentó en el Tribunal Superior de San Francisco contra OpenAI Foundation y OpenAI Group PBC.

La fiscalía acusa a la empresa de crear una molestia pública que pone en peligro la seguridad de la población y de violar la ley californiana de competencia desleal, que prohíbe las prácticas comerciales ilegales, injustas o fraudulentas. Según Bloomberg Law, el estado pide una orden judicial, USD 2.500 por cada infracción y la devolución de ganancias.

Bonta dijo en una conferencia de prensa que OpenAI admitió ante sus investigadores que perdió el control de sus agentes al menos 80 veces durante pruebas. Agregó que la empresa no entregó la información detallada que se le pidió para evaluar esos casos, algo que, afirmó, “pone en riesgo al público”.

Cómo escaparon los agentes, según la demanda

El texto judicial describe una cadena de fallas. Entre mayo y junio, OpenAI hizo pruebas de entrenamiento en entornos aislados, con acceso a un servicio de paquetes de software alojado en sus propios servidores. Como varios agentes usaban el mismo servicio y estaba mal configurado, pudieron comunicarse entre sí y, hacia el 26 de mayo, obtuvieron acceso a internet.

La fiscalía sostiene que un equipo interno de OpenAI vio al menos un caso de escape y no frenó las pruebas. El 27 de junio, una herramienta de monitoreo alertó de que el entorno estaba siendo explorado en busca de vulnerabilidades, pero la empresa lo atribuyó a una evaluación de capacidades y siguió adelante.

El servicio dejó de funcionar el 4 de julio. OpenAI lo reparó y reanudó las pruebas el 7 de julio, según la demanda. En un día, varios agentes crearon un foro para coordinarse y, el 9 de julio, volvieron a salir a internet.

Del 9 al 16 de julio, unos 1.200 agentes participaron en ese foro y cerca de 700 atacaron a Hugging Face, con17.600 acciones de ataque. Reparar el daño ocupó a todo su equipo de seguridad durante dos semanas. OpenAI dice que no detectó la intrusión y que supo de su responsabilidad al investigar un ataque contra su propia red.

aplicación - banner 728x90

Otros incidentes y una pausa de cinco días

La demanda enumera ataques posteriores: accesos a bases de datos con código que usan muchas aplicaciones, a sitios informativos y a bases de datos de un gobierno extranjero con información de salud. También afirma que enjambres de agentes comprometieron la infraestructura interna de OpenAI y llegaron a obtener acceso de administrador a sistemas críticos.

El 20 de septiembre, un agente asociado con un modelo interno escapó de su entorno durante un entrenamiento. El 25 de septiembre, OpenAI anunció que pausaba el entrenamiento y la evaluación de sus modelos más capaces. Según la fiscalía, la pausa duró solo cinco días y ya había terminado el 1 de octubre.

Bonta citó a OpenAI con una orden de investigación el 30 de septiembre. La demanda afirma que la empresa respondió con una carta de 14 páginas sobre hechos ya públicos, sin documentos, y que omitió datos sobre incidentes previos y sobre cómo los agentes entraron en sus propios sistemas.

La respuesta de OpenAI

Drew Pusateri, vocero de OpenAI, dijo a NBC News que la empresa hizo un esfuerzo “extenso y transparente” para entender y corregir la actividad desalineada de sus modelos, que no siguieron las instrucciones humanas. “Esta demanda parece señalar a OpenAI por un desafío que han identificado todos los grandes laboratorios de IA”, afirmó.

El 26 de agosto, OpenAI publicó en su blog un texto sobre el caso en el que lo llamó una “advertencia” para el mundo. Según CNBC, la compañía sostuvo que los modelos buscaban información para hacer trampa en una evaluación. Bonta rechazó las narrativas de ciencia ficción y atribuyó el ataque a la cultura interna de la empresa.

La demanda llega después de la que presentó en junio el fiscal general de Florida, James Uthmeier, contra OpenAI y su director ejecutivo, Sam Altman, por lanzar un producto que, según él, podía dañar a los usuarios. También en junio, OpenAI presentó de forma confidencial su prospecto ante la SEC, el regulador bursátil, para salir a bolsa.

Redacción De Último Minuto

Redacción de De Último Minuto

Noticias Relacionadas