OpenAI pausa desarrollo de modelo Astra por posibles riesgos de ciberseguridad

OpenAI decidió pausar parte del desarrollo de Astra, un nuevo modelo de inteligencia artificial que incorpora importantes avances en programación agéntica y ciberseguridad, debido a preocupaciones sobre el nivel de riesgo que podría representar si fuera lanzado al público.

La empresa explicó que las evaluaciones realizadas hasta ahora mostraron un desempeño que podría colocar a Astra cerca del nivel “Crítico” establecido en su Marco de Preparación, utilizado para identificar y mitigar riesgos asociados con las capacidades avanzadas de sus modelos.

TE PUEDE INTERESAR: SENER resalta importancia del biodiésel para la transición energética

Ese nivel contempla escenarios en los que un sistema de inteligencia artificial podría ser capaz de identificar y desarrollar vulnerabilidades en sistemas críticos del mundo real sin supervisión humana, así como ejecutar nuevas estrategias para realizar ciberataques avanzados.

OpenAI aclaró que Astra no estuvo involucrado en el reciente incidente en el que un modelo experimental inició un ataque contra Hugging Face, pero reconoció que el desempeño observado en las pruebas es suficiente para no descartar que pueda alcanzar ese nivel de capacidad.

Ante esta situación, la compañía incrementó las evaluaciones de seguridad y reforzó sus mecanismos de protección. Entre las medidas se encuentra colocar el modelo en entornos de prueba más aislados, con el propósito de impedir que pueda evadir los controles diseñados para mantenerlo seguro.

OpenAI también señaló que vigilará de manera permanente a Astra para detectar comportamientos considerados riesgosos y trabajará con organismos gubernamentales y organizaciones especializadas en seguridad de inteligencia artificial para evaluar sus capacidades.

La empresa sostuvo que los modelos avanzados con capacidades cibernéticas pueden convertirse en herramientas útiles para los defensores, al permitirles detectar y corregir vulnerabilidades antes de que sean aprovechadas por atacantes.

Por ahora, OpenAI mantendrá pausado el desarrollo de Astra en aquellos escenarios que no cumplan con sus niveles más estrictos de protección y controles de seguridad, mientras continúan las evaluaciones para determinar si el modelo puede ser desarrollado y utilizado de manera segura.