Problema | IA

Renuncias en OpenAI ponen en riesgo desarrollo seguro de IA

Renuncia en masa en OpenAI: el equipo de Superalineación se desintegra

El equipo de Superalineación de OpenAI, encargado de desarrollar formas de gobernar y dirigir sistemas de IA "superinteligentes", fue prometido con el 20% de los recursos informáticos de la empresa, según una persona de ese equipo. Sin embargo, las solicitudes de una fracción de esos recursos a menudo fueron denegadas, lo que bloqueó al equipo para hacer su trabajo.

Este problema, entre otros, llevó a varios miembros del equipo a renunciar esta semana, incluido el co-líder Jan Leike, un ex investigador de DeepMind que, mientras estaba en OpenAI, estuvo involucrado en el desarrollo de ChatGPT, GPT-4 y el predecesor de ChatGPT, InstructGPT.

Leike hizo públicas algunas razones de su renuncia el viernes por la mañana. "He estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades principales de la empresa durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura", escribió Leike en una serie de publicaciones en X. "Creo que deberíamos dedicar mucho más de nuestro ancho de banda a prepararnos para las próximas generaciones de modelos, en seguridad, monitoreo, preparación, seguridad, robustez adversarial, (super)alineación, confidencialidad, impacto societal y temas relacionados. Estos problemas son bastante difíciles de resolver, y me preocupa que no estemos en una trayectoria para llegar allí."

OpenAI no respondió de inmediato a una solicitud de comentario sobre los recursos prometidos y asignados a ese equipo.

Renuncias y conflictos internos en OpenAI

OpenAI formó el equipo de Superalineación en julio pasado, y estaba liderado por Leike y el cofundador de OpenAI, Ilya Sutskever, quien también renunció de la empresa esta semana. Tenía el ambicioso objetivo de resolver los desafíos técnicos fundamentales para controlar la IA superinteligente en los próximos cuatro años. Junto con científicos e ingenieros de la división de alineación anterior de OpenAI, así como investigadores de otras organizaciones de la empresa, el equipo contribuiría a la investigación que informa sobre la seguridad de los modelos tanto internos como no pertenecientes a OpenAI, y, a través de iniciativas como un programa de subvenciones de investigación, solicitaría y compartiría trabajos con la industria de IA en general.

El equipo de Superalineación logró publicar una serie de investigaciones sobre seguridad y canalizar millones de dólares en subvenciones a investigadores externos. Sin embargo, a medida que los lanzamientos de productos comenzaron a ocupar una cantidad cada vez mayor de ancho de banda del liderazgo de OpenAI, el equipo de Superalineación se encontró luchando por más inversiones iniciales, inversiones que consideraba críticas para la misión declarada de la empresa de desarrollar IA superinteligente para beneficio de toda la humanidad.

"Construir máquinas más inteligentes que los humanos es un esfuerzo inherentemente peligroso", continuó Leike. "Pero en los últimos años, la cultura y los procesos de seguridad han quedado en un segundo plano frente a los productos llamativos."

Cambios en la estructura de OpenAI

El conflicto de Sutskever con el CEO de OpenAI, Sam Altman, sirvió como una importante distracción adicional.

Según la fuente, Sutskever fue fundamental para el equipo de Superalineación, no solo contribuyendo a la investigación, sino también sirviendo como un puente hacia otras divisiones dentro de OpenAI. También actuaba como una especie de embajador, impresionando la importancia del trabajo del equipo en los principales tomadores de decisiones de OpenAI.

Después de las salidas de Leike y Sutskever, John Schulman, otro cofundador de OpenAI, ha pasado a encabezar el tipo de trabajo que estaba haciendo el equipo de Superalineación, pero ya no habrá un equipo dedicado, en su lugar será un grupo de investigadores asociados de forma flexible integrados en las divisiones de la empresa. Un portavoz de OpenAI lo describió como "integrando [el equipo] de forma más profunda".

El temor es que, como resultado, el desarrollo de IA de OpenAI no esté tan centrado en la seguridad como podría haber sido.


Podcast El Desván de las Paradojas
Publicidad


Otras noticias • IA

Inversión

Amazon invierte en startups de IA generativa para potenciar AWS

Amazon invertirá hasta 230 millones de dólares en startups de IA generativa, con 80 millones destinados al programa AWS Generative AI Accelerator. Las startups recibirán...

Actualización

Yahoo News se renueva con inteligencia artificial y OpenAI

Yahoo ha lanzado una versión potenciada por inteligencia artificial de su aplicación de noticias, Yahoo News. La actualización incluye resúmenes de AI, aunque no está...

Conducción

Robot Musashi de la Universidad de Tokio aprende a conducir

Investigadores de la Universidad de Tokio han entrenado a un robot humanoide llamado Musashi para conducir un coche eléctrico, utilizando cámaras como ojos y manos...

Innovación

Apple revoluciona mercado con Apple Intelligence en WWDC 2024

Apple ha anunciado en la WWDC 2024 su incursión en el mercado de la inteligencia artificial con Apple Intelligence. Se esperan mejoras en iOS 18...

Actualización

Apple revoluciona iOS 18 con "Apple Intelligence" y funciones innovadoras

Apple ha presentado "Apple Intelligence" en iOS 18, permitiendo a los usuarios crear imágenes de IA personalizadas en sus conversaciones. También se incluyen funciones como...

Tecnología

Apple revoluciona desarrollo con IA en su Conferencia Mundial

Apple ha presentado nuevas herramientas de inteligencia artificial para desarrolladores en su Conferencia Mundial de Desarrolladores. Los SDK de Apple se han actualizado con nuevas...

Innovación

Apple sorprende con iOS 18: inteligencia artificial y rediseño completo

Apple revela detalles de iOS 18 en la WWDC, con enfoque en inteligencia artificial, personalización de iconos, actualización del centro de control, nuevas API, mejoras...

Tecnología

Apple presenta nueva IA en conferencia, mejorando privacidad y renovando Siri

Apple se prepara para revelar su nueva inteligencia artificial en la Worldwide Developers Conference, enfocándose en mejorar la fiabilidad, priorizar la privacidad y renovar a...