OpenAI busca alinear sus modelos de IA con la humanidad

OpenAI crea un equipo para recopilar y codificar la opinión pública sobre sus modelos de IA

OpenAI busca la colaboración pública

OpenAI, la startup de inteligencia artificial, ha anunciado la creación de un nuevo equipo llamado Collective Alignment con el objetivo de recopilar y "codificar" la opinión pública sobre los comportamientos de sus modelos de IA. La empresa busca implementar ideas de la sociedad para asegurar que sus modelos futuros se alineen con los valores de la humanidad. En un comunicado, OpenAI señala que seguirá trabajando con asesores externos y equipos de subvención para incorporar prototipos que ayuden a dirigir sus modelos. Además, están reclutando a ingenieros de investigación con diversos perfiles técnicos para colaborar en este proyecto.

Un paso más en el programa público de OpenAI

Este nuevo equipo es una continuación del programa público de OpenAI, que fue lanzado en mayo pasado con el objetivo de financiar experimentos para establecer un "proceso democrático" que decida las reglas que deben seguir los sistemas de IA. La idea es apoyar a individuos, equipos y organizaciones en el desarrollo de pruebas de concepto que respondan preguntas sobre los límites y la gobernanza de la IA. En su comunicado, OpenAI destaca el trabajo realizado por los beneficiarios de las subvenciones, que incluye interfaces de video chat, plataformas para auditorías colaborativas de modelos de IA y enfoques para mapear creencias que puedan ajustar el comportamiento de los modelos. Todo el código utilizado por los beneficiarios ha sido hecho público, junto con resúmenes de cada propuesta y conclusiones generales.

La lucha contra la regulación

Aunque OpenAI ha intentado presentar este programa como independiente de sus intereses comerciales, resulta difícil de creer dado las críticas del CEO de OpenAI, Sam Altman, hacia la regulación en la Unión Europea y otros lugares. Altman, junto con el presidente Greg Brockman y el científico jefe Ilya Sutskever, ha argumentado repetidamente que la velocidad de innovación en IA es tan rápida que no podemos esperar que las autoridades existentes controlen adecuadamente la tecnología, de ahí la necesidad de la colaboración pública.

Mayor escrutinio regulatorio

OpenAI se encuentra bajo una creciente atención por parte de los reguladores, ya que enfrenta una investigación en el Reino Unido sobre su relación con su estrecho socio e inversor Microsoft. Recientemente, la startup buscó reducir su riesgo regulatorio en la Unión Europea en relación con la privacidad de los datos, aprovechando una subsidiaria con sede en Dublín para limitar la capacidad de ciertos organismos de control de privacidad en el bloque para actuar unilateralmente en caso de preocupaciones.

Esfuerzos para limitar el mal uso de la tecnología

Ayer, OpenAI anunció que está trabajando con organizaciones para limitar las formas en que su tecnología podría ser utilizada para influir en las elecciones de manera maliciosa. Los esfuerzos de la startup incluyen hacer más evidente cuando las imágenes son generadas por IA utilizando sus herramientas y desarrollar enfoques para identificar contenido generado incluso después de que las imágenes hayan sido modificadas. Estos esfuerzos están dirigidos a tranquilizar a los responsables políticos y demostrar que OpenAI está tomando medidas para evitar un mal uso de su tecnología.