Renuncias en OpenAI ponen en riesgo desarrollo seguro de IA

Renuncia en masa en OpenAI: el equipo de Superalineación se desintegra

El equipo de Superalineación de OpenAI, encargado de desarrollar formas de gobernar y dirigir sistemas de IA "superinteligentes", fue prometido con el 20% de los recursos informáticos de la empresa, según una persona de ese equipo. Sin embargo, las solicitudes de una fracción de esos recursos a menudo fueron denegadas, lo que bloqueó al equipo para hacer su trabajo.

Este problema, entre otros, llevó a varios miembros del equipo a renunciar esta semana, incluido el co-líder Jan Leike, un ex investigador de DeepMind que, mientras estaba en OpenAI, estuvo involucrado en el desarrollo de ChatGPT, GPT-4 y el predecesor de ChatGPT, InstructGPT.

Leike hizo públicas algunas razones de su renuncia el viernes por la mañana. "He estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades principales de la empresa durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura", escribió Leike en una serie de publicaciones en X. "Creo que deberíamos dedicar mucho más de nuestro ancho de banda a prepararnos para las próximas generaciones de modelos, en seguridad, monitoreo, preparación, seguridad, robustez adversarial, (super)alineación, confidencialidad, impacto societal y temas relacionados. Estos problemas son bastante difíciles de resolver, y me preocupa que no estemos en una trayectoria para llegar allí."

OpenAI no respondió de inmediato a una solicitud de comentario sobre los recursos prometidos y asignados a ese equipo.

Renuncias y conflictos internos en OpenAI

OpenAI formó el equipo de Superalineación en julio pasado, y estaba liderado por Leike y el cofundador de OpenAI, Ilya Sutskever, quien también renunció de la empresa esta semana. Tenía el ambicioso objetivo de resolver los desafíos técnicos fundamentales para controlar la IA superinteligente en los próximos cuatro años. Junto con científicos e ingenieros de la división de alineación anterior de OpenAI, así como investigadores de otras organizaciones de la empresa, el equipo contribuiría a la investigación que informa sobre la seguridad de los modelos tanto internos como no pertenecientes a OpenAI, y, a través de iniciativas como un programa de subvenciones de investigación, solicitaría y compartiría trabajos con la industria de IA en general.

El equipo de Superalineación logró publicar una serie de investigaciones sobre seguridad y canalizar millones de dólares en subvenciones a investigadores externos. Sin embargo, a medida que los lanzamientos de productos comenzaron a ocupar una cantidad cada vez mayor de ancho de banda del liderazgo de OpenAI, el equipo de Superalineación se encontró luchando por más inversiones iniciales, inversiones que consideraba críticas para la misión declarada de la empresa de desarrollar IA superinteligente para beneficio de toda la humanidad.

"Construir máquinas más inteligentes que los humanos es un esfuerzo inherentemente peligroso", continuó Leike. "Pero en los últimos años, la cultura y los procesos de seguridad han quedado en un segundo plano frente a los productos llamativos."

Cambios en la estructura de OpenAI

El conflicto de Sutskever con el CEO de OpenAI, Sam Altman, sirvió como una importante distracción adicional.

Según la fuente, Sutskever fue fundamental para el equipo de Superalineación, no solo contribuyendo a la investigación, sino también sirviendo como un puente hacia otras divisiones dentro de OpenAI. También actuaba como una especie de embajador, impresionando la importancia del trabajo del equipo en los principales tomadores de decisiones de OpenAI.

Después de las salidas de Leike y Sutskever, John Schulman, otro cofundador de OpenAI, ha pasado a encabezar el tipo de trabajo que estaba haciendo el equipo de Superalineación, pero ya no habrá un equipo dedicado, en su lugar será un grupo de investigadores asociados de forma flexible integrados en las divisiones de la empresa. Un portavoz de OpenAI lo describió como "integrando [el equipo] de forma más profunda".

El temor es que, como resultado, el desarrollo de IA de OpenAI no esté tan centrado en la seguridad como podría haber sido.