Anthropic elige a Accenture como “evaluadora integrada” de seguridad de sus modelos de IA

Nueva York.- Anthropic seleccionó a la consultora Accenture para crear un equipo independiente que evalúe la seguridad de sus modelos de inteligencia artificial, como parte de una alianza que contempla inversiones de al menos 1,000 millones de dólares durante los próximos cinco años.

La empresa desarrolladora de IA informó que los evaluadores trabajarán integrados con sus equipos para analizar el comportamiento de los modelos y detectar posibles riesgos antes de su despliegue.

La alianza se anuncia pocos días después de que el director ejecutivo de Anthropic, Dario Amodei, planteara la necesidad de establecer una mayor regulación para la inteligencia artificial y reducir el ritmo de desarrollo de sistemas cada vez más avanzados.

Evaluaciones dentro de Anthropic

De acuerdo con Anthropic, los evaluadores tendrán un nivel de acceso comparable al de empleados de la compañía, con el objetivo de realizar revisiones independientes sobre la seguridad de sus sistemas.

Accenture explicó que sus especialistas trabajarán junto a los equipos internos y socios de seguridad de Anthropic para someter los modelos a pruebas de estrés, conocidas como “red team”, además de realizar evaluaciones de alineación y comprobar la efectividad de las medidas de protección incorporadas en los sistemas.

Para este trabajo, Accenture también recurrirá a Faculty, una empresa especializada en inteligencia artificial que adquirió a principios de año y que cuenta con experiencia en proyectos relacionados con gobiernos, defensa, sanidad e infraestructura.

Anthropic reconoció que este modelo de evaluación todavía se encuentra en una etapa inicial y que algunos detalles sobre su funcionamiento continúan en proceso de definición.

Recomendamos leer: Anthropic: Irán usó la IA Claude para planificar posibles ataques contra Estados Unidos

La compañía señaló que la incorporación de evaluadores independientes no elimina su responsabilidad sobre la seguridad de sus modelos, sino que busca hacer más verificables sus procesos.

Una inversión millonaria en seguridad de IA

Anthropic y Accenture prevén destinar al menos 1,000 millones de dólares cada una durante cinco años a iniciativas relacionadas con la seguridad de la inteligencia artificial.

Anthropic indicó que financiará directamente parte del trabajo de Accenture debido a la importancia y urgencia que atribuye a estas evaluaciones.

La iniciativa se produce en medio del creciente debate sobre los riesgos asociados al desarrollo de sistemas de inteligencia artificial cada vez más potentes y sobre la necesidad de establecer mecanismos independientes que permitan detectar y reducir posibles amenazas.