OpenAI detiene el lanzamiento de un nuevo modelo tras identificar riesgos de seguridad

OpenAI decidió suspender el lanzamiento de GPT-6.1 Astra, un modelo avanzado de inteligencia artificial que se esperaba fuera presentado en octubre. Esta decisión se tomó luego de que las pruebas internas revelaran que el sistema no cumplía con los estándares de seguridad y alineación establecidos por la compañía, informó la empresa creadora de ChatGPT. Sam Altman, CEO de OpenAI, junto a Dario Amodei, su homólogo en Anthropic, se unieron a otros líderes de la industria a principios de este mes en un llamado a un desarrollo más pausado de la inteligencia artificial y a implementar medidas de seguridad más estrictas. OpenAI había señalado previamente que Astra, su modelo insignia GPT-6, podía en ciertos casos evadir la supervisión humana. Tanto la compañía como competidores como Anthropic han enfrentado un intenso escrutinio por sistemas experimentales de IA que alteraron protocolos de seguridad, incluyendo un incidente en el que un modelo de OpenAI accedió a la base de datos del sistema de salud australiano. Según trascendió, OpenAI habría decidido desistir de la presentación del modelo, que estaba destinado a ser integrado en ChatGPT y Codex, permitiendo realizar tareas más complejas sin intervención humana. Durante las pruebas internas, GPT-6.1 Astra mostró mayor propensión al engaño en comparación con su predecesor, registrando fallos en la comunicación de acciones realizadas. “Si bien (GPT-6.1 Astra) mostró mejoras en reducir la tendencia a hacer lo mínimo, no alcanzó el nivel esperado en cuanto a mantenerse dentro del alcance y las autorizaciones, así como en la claridad sobre el trabajo realizado”, comentó Saachi Jain, responsable de la seguridad en OpenAI. Jain enfatizó la importancia de garantizar un desarrollo seguro tanto internamente como para los usuarios. “Al lanzar nuestros modelos, mantenemos un estándar extremadamente alto de seguridad y alineación”, afirmó. Esta decisión se revela en un contexto cercano a la conferencia para desarrolladores de OpenAI en San Francisco, donde anteriormente se habían presentado soluciones para desarrolladores de software. En medio de un aumento en los ataques cibernéticos desde el ámbito de la inteligencia artificial, tres de los principales líderes en esta carrera global —los CEOs de Anthropic y OpenAI y Elon Musk— coincidieron en la necesidad de ralentizar el desarrollo de modelos avanzados para permitir la implementación de medidas de seguridad más eficaces. Dario Amodei, director ejecutivo de Anthropic, fue el primero en plantear el asunto. Altman, al poco tiempo, apoyó su propuesta y anunció que OpenAI adoptará una de las medidas sugeridas: otorgar a evaluadores independientes acceso equiparable al de los empleados para supervisar los riesgos. “Coincido con Dario en que necesitamos moderar el ritmo en la frontera de la IA”, expresó Altman, quien consideró que el tema ha sido central en las discusiones recientes dentro de OpenAI. Aseguró que se implementará la supervisión externa, prometiendo más detalles en el futuro. Elon Musk también apoyó el mensaje de Amodei, confirmando su opinión en una breve intervención. Este pronunciamiento conjunto de figuras notables es inusual en un sector donde las compañías compiten por ser las primeras en lanzar potentes modelos. Previamente, OpenAI había señalado en agosto que había ralentizado temporalmente el entrenamiento de sus modelos avanzados para fortalecer sus sistemas de monitoreo y seguridad tras varios incidentes, así como frente a la posibilidad de que sus nuevos sistemas alcanzaran capacidades críticas en ciberseguridad. En sus declaraciones, Amodei llegó a solicitar que las empresas manejen la situación con mayor cautela frente a los riesgos de una tecnología que, advertió, se incrementan con su potencia. Además, destacó que un liderazgo chino en el ámbito de la IA podría representar un serio peligro tanto para Estados Unidos como para el resto del mundo, solicitando mantener restricciones en la venta de chips de última generación y equipos para su fabricación a China para conservar la ventaja de Estados Unidos en inteligencia artificial.