OpenAI crea equipo para controlar la IA superinteligente y garantizar su alineación ética

OpenAI crea un equipo para controlar la IA superinteligente

OpenAI, una de las principales empresas de investigación en inteligencia artificial (IA), ha formado un nuevo equipo liderado por Ilya Sutskever, su científico jefe y uno de los cofundadores de la compañía, para desarrollar formas de dirigir y controlar los sistemas de IA "superinteligentes".

En una publicación de blog realizada hoy, Sutskever y Jan Leike, un líder del equipo de alineación en OpenAI, predicen que la IA con una inteligencia superior a la de los humanos podría llegar en la próxima década. Esta IA, en caso de llegar finalmente, no necesariamente será benevolente, lo que requiere investigar formas de controlarla y restringirla, según Sutskever y Leike.

"No tenemos una solución actualmente para dirigir o controlar una IA potencialmente superinteligente y evitar que se descontrole", escriben. "Nuestras técnicas actuales para alinear la IA, como el aprendizaje por refuerzo a partir de la retroalimentación humana, dependen de la capacidad de los humanos para supervisar la IA. Pero los humanos no podrán supervisar de manera confiable los sistemas de IA mucho más inteligentes que nosotros".

El nuevo equipo de Superalineación de OpenAI

Para avanzar en el área de la "alineación de la superinteligencia", OpenAI está creando un nuevo equipo de Superalineación, liderado por Sutskever y Leike, que tendrá acceso al 20% de la capacidad de cómputo que la compañía ha asegurado hasta la fecha. Junto con científicos e ingenieros del anterior departamento de alineación de OpenAI, así como investigadores de otras organizaciones de la compañía, el equipo se dedicará a resolver los desafíos técnicos fundamentales de controlar la IA superinteligente en los próximos cuatro años.

¿Cómo? Construyendo lo que Sutskever y Leike describen como un "investigador de alineación automatizado a nivel humano". El objetivo principal es entrenar sistemas de IA utilizando la retroalimentación humana, entrenar a la IA para ayudar en la evaluación de otros sistemas de IA y, en última instancia, construir una IA que pueda realizar investigaciones de alineación. Aquí, "investigación de alineación" se refiere a garantizar que los sistemas de IA logren los resultados deseados o no se descontrolen.

La hipótesis de OpenAI es que la IA puede lograr un progreso más rápido y mejor en la investigación de alineación que los humanos.

"A medida que progresemos en esto, nuestros sistemas de IA podrán asumir cada vez más nuestro trabajo de alineación y, en última instancia, concebir, implementar, estudiar y desarrollar mejores técnicas de alineación de las que tenemos ahora", explican Leike y sus colegas John Schulman y Jeffrey Wu en una publicación de blog anterior. "Trabajarán junto con los humanos para asegurarse de que sus propios sucesores estén más alineados con los humanos. Los investigadores humanos centrarán cada vez más sus esfuerzos en revisar la investigación de alineación realizada por los sistemas de IA en lugar de generar esta investigación ellos mismos".

Limitaciones y desafíos

Por supuesto, ningún método es infalible, y Leike, Schulman y Wu reconocen las muchas limitaciones de OpenAI en su publicación. El uso de la IA para la evaluación tiene el potencial de amplificar las inconsistencias, los sesgos o las vulnerabilidades en esa IA. Y podría resultar que las partes más difíciles del problema de la alineación no estén relacionadas con la ingeniería.

Pero Sutskever y Leike creen que vale la pena intentarlo.

"La alineación de la superinteligencia es fundamentalmente un problema de aprendizaje automático, y creemos que los grandes expertos en aprendizaje automático, aunque no estén trabajando actualmente en alineación, serán fundamentales para resolverlo", escriben. "Planeamos compartir los frutos de este esfuerzo ampliamente y consideramos que contribuir a la alineación y seguridad de modelos no pertenecientes a OpenAI es una parte importante de nuestro trabajo".

Con la formación de este nuevo equipo, OpenAI busca abordar uno de los desafíos más críticos en el desarrollo de la IA: cómo controlar y dirigir sistemas superinteligentes para garantizar su alineación con los valores humanos y evitar consecuencias indeseables. A medida que la IA continúa avanzando, es esencial dedicar recursos y esfuerzos a la investigación de la alineación, y OpenAI está liderando el camino en este campo.