Alineación | IA

OpenAI busca alinear sus modelos de IA con la humanidad

OpenAI crea un equipo para recopilar y codificar la opinión pública sobre sus modelos de IA

OpenAI busca la colaboración pública

OpenAI, la startup de inteligencia artificial, ha anunciado la creación de un nuevo equipo llamado Collective Alignment con el objetivo de recopilar y "codificar" la opinión pública sobre los comportamientos de sus modelos de IA. La empresa busca implementar ideas de la sociedad para asegurar que sus modelos futuros se alineen con los valores de la humanidad. En un comunicado, OpenAI señala que seguirá trabajando con asesores externos y equipos de subvención para incorporar prototipos que ayuden a dirigir sus modelos. Además, están reclutando a ingenieros de investigación con diversos perfiles técnicos para colaborar en este proyecto.

Un paso más en el programa público de OpenAI

Este nuevo equipo es una continuación del programa público de OpenAI, que fue lanzado en mayo pasado con el objetivo de financiar experimentos para establecer un "proceso democrático" que decida las reglas que deben seguir los sistemas de IA. La idea es apoyar a individuos, equipos y organizaciones en el desarrollo de pruebas de concepto que respondan preguntas sobre los límites y la gobernanza de la IA. En su comunicado, OpenAI destaca el trabajo realizado por los beneficiarios de las subvenciones, que incluye interfaces de video chat, plataformas para auditorías colaborativas de modelos de IA y enfoques para mapear creencias que puedan ajustar el comportamiento de los modelos. Todo el código utilizado por los beneficiarios ha sido hecho público, junto con resúmenes de cada propuesta y conclusiones generales.

La lucha contra la regulación

Aunque OpenAI ha intentado presentar este programa como independiente de sus intereses comerciales, resulta difícil de creer dado las críticas del CEO de OpenAI, Sam Altman, hacia la regulación en la Unión Europea y otros lugares. Altman, junto con el presidente Greg Brockman y el científico jefe Ilya Sutskever, ha argumentado repetidamente que la velocidad de innovación en IA es tan rápida que no podemos esperar que las autoridades existentes controlen adecuadamente la tecnología, de ahí la necesidad de la colaboración pública.

Mayor escrutinio regulatorio

OpenAI se encuentra bajo una creciente atención por parte de los reguladores, ya que enfrenta una investigación en el Reino Unido sobre su relación con su estrecho socio e inversor Microsoft. Recientemente, la startup buscó reducir su riesgo regulatorio en la Unión Europea en relación con la privacidad de los datos, aprovechando una subsidiaria con sede en Dublín para limitar la capacidad de ciertos organismos de control de privacidad en el bloque para actuar unilateralmente en caso de preocupaciones.

Esfuerzos para limitar el mal uso de la tecnología

Ayer, OpenAI anunció que está trabajando con organizaciones para limitar las formas en que su tecnología podría ser utilizada para influir en las elecciones de manera maliciosa. Los esfuerzos de la startup incluyen hacer más evidente cuando las imágenes son generadas por IA utilizando sus herramientas y desarrollar enfoques para identificar contenido generado incluso después de que las imágenes hayan sido modificadas. Estos esfuerzos están dirigidos a tranquilizar a los responsables políticos y demostrar que OpenAI está tomando medidas para evitar un mal uso de su tecnología.


Podcast El Desván de las Paradojas
Publicidad


Otras noticias • IA

Innovador

Google Chrome presenta generador de escritura AI para contenido relevante

Google Chrome lanza un nuevo generador de escritura AI impulsado por Gemin, disponible en la configuración experimental. La herramienta ayuda a escribir contenido relevante según...

Imágenes

Google suspende generación de imágenes de personas por inexactitudes históricas

Google ha suspendido temporalmente la generación de imágenes de personas con su herramienta Gemini AI debido a inexactitudes históricas. Críticas por representaciones incongruentes han llevado...

Control

Expertos piden regulación estricta de deepfakes para proteger sociedad

Expertos en inteligencia artificial piden regulación estricta de deepfakes para proteger a la sociedad de su uso malicioso, incluyendo la criminalización de los deepfakes de...

Inteligencia

Google presenta familia Gemma: modelos ligeros de IA inspirados en Gemini

Google ha lanzado Gemma, una nueva familia de modelos ligeros de IA inspirados en Gemini. Estos modelos, como Gemma 2B y Gemma 7B, están disponibles...

Legislativo

Congreso de EE. UU. crea Grupo de Trabajo sobre inteligencia artificial

El Congreso de los EE. UU. ha creado un Grupo de Trabajo sobre inteligencia artificial para abordar regulaciones y acciones legislativas necesarias en el campo,...

Innovación

Bioptimus recauda $35 millones para revolucionar medicina con inteligencia artificial

Bioptimus, una nueva startup de inteligencia artificial generativa centrada en biología con sede en París, recauda $35 millones en una ronda de financiación liderada por...

Alianza

Empresas tecnológicas se unen para combatir deepfakes electorales

Varias empresas tecnológicas, incluyendo Microsoft, Meta, Google, Amazon, Adobe e IBM, han firmado un acuerdo para combatir los deepfakes relacionados con las elecciones. Las empresas...

Innovación

Startup de IA crea tecnología para combatir desinformación electoral

La startup de IA Anthropic está probando Prompt Shield, una tecnología que detecta cuando los usuarios preguntan sobre temas políticos y los redirige a fuentes...