IA | Seguridad

OpenAI crea equipo Preparedness para proteger contra riesgos de IA

OpenAI crea un equipo para evaluar y proteger contra los riesgos catastróficos de la inteligencia artificial

OpenAI se prepara para enfrentar los riesgos de la IA

OpenAI ha anunciado hoy la creación de un nuevo equipo llamado Preparedness, encargado de evaluar y proteger contra los riesgos catastróficos de la inteligencia artificial (IA). Este equipo será liderado por Aleksander Madry, director del Centro de Aprendizaje Automático Desplegable del MIT. Las principales responsabilidades de Preparedness serán rastrear, predecir y proteger contra los peligros de los futuros sistemas de IA, desde su capacidad para persuadir y engañar a los humanos hasta su capacidad para generar código malicioso.

Preocupaciones sobre amenazas químicas, biológicas, radiológicas y nucleares

En una publicación en su blog, OpenAI enumera las amenazas químicas, biológicas, radiológicas y nucleares como algunas de las áreas de mayor preocupación en lo que respecta a los modelos de IA. Si bien algunas de estas categorías de riesgo pueden parecer más descabelladas que otras, el hecho de que OpenAI esté dispuesta a estudiar y evaluar escenarios que parecen sacados de novelas distópicas de ciencia ficción es sorprendente.

Convocatoria de ideas para estudios de riesgo

Con motivo del lanzamiento del equipo Preparedness, OpenAI está solicitando ideas para estudios de riesgo a la comunidad. Los diez mejores envíos recibirán un premio de $25,000 y la oportunidad de formar parte del equipo Preparedness. Una de las preguntas en la convocatoria plantea el escenario de que los participantes tengan acceso ilimitado a los modelos de IA de OpenAI y sean actores maliciosos. Se les pide que consideren el mal uso más único y probablemente catastrófico del modelo.

Formulación de una política de desarrollo basada en el riesgo

El equipo Preparedness también se encargará de formular una "política de desarrollo basada en el riesgo", que detallará el enfoque de OpenAI para la evaluación de modelos de IA y las herramientas de monitoreo, las acciones de mitigación de riesgos de la compañía y su estructura de gobierno para la supervisión de todo el proceso de desarrollo del modelo. Esta política busca complementar el trabajo de OpenAI en el campo de la seguridad de la IA, con un enfoque tanto en las fases previas como posteriores a la implementación del modelo.

El compromiso de OpenAI con la seguridad de la IA

En su publicación en el blog, OpenAI enfatiza que si bien los modelos de IA tienen el potencial de beneficiar a toda la humanidad, también plantean riesgos cada vez más graves. La compañía considera fundamental tener la comprensión y la infraestructura necesarias para garantizar la seguridad de los sistemas de IA altamente capaces.

Preocupaciones sobre la llegada de la IA superinteligente

La presentación de Preparedness en la cumbre gubernamental del Reino Unido sobre seguridad de la IA no es una coincidencia. OpenAI también anunció recientemente la formación de un equipo para estudiar, guiar y controlar formas emergentes de IA superinteligente. Sam Altman, CEO de OpenAI, y Ilya Sutskever, científico jefe y cofundador de OpenAI, creen que la IA con una inteligencia superior a la humana podría llegar en la próxima década y que esta IA no necesariamente será benévola, lo que hace necesario investigar formas de limitarla y controlarla.

En resumen, OpenAI ha creado el equipo Preparedness para evaluar y proteger contra los riesgos catastróficos de la IA. Este equipo se encargará de rastrear y predecir los peligros de los futuros sistemas de IA, así como de formular una política de desarrollo basada en el riesgo. OpenAI busca asegurarse de tener la comprensión y la infraestructura necesarias para garantizar la seguridad de los sistemas de IA altamente capaces. Además, la compañía está solicitando ideas para estudios de riesgo y ha formado otro equipo para estudiar y controlar formas emergentes de IA superinteligente.


Podcast El Desván de las Paradojas
Publicidad


Otras noticias • IA

Valoración elevada

ElevenLabs podría valer 3.000 millones en próxima financiación

ElevenLabs, startup especializada en inteligencia artificial para audio, podría alcanzar una valoración de 3.000 millones de dólares en su próxima ronda de financiación. Su innovación...

Investigación colaborativa

Alianza de IA invierte 40 millones para combatir el cáncer

La Alianza de IA contra el Cáncer, formada por instituciones médicas y grandes empresas tecnológicas, busca mejorar la investigación y tratamiento del cáncer mediante el...

Ética tecnológica

Durk Kingma se une a Anthropic para promover IA ética

Durk Kingma, cofundador de OpenAI, se une a Anthropic, destacando su interés por el desarrollo ético de la inteligencia artificial. Su experiencia en IA generativa...

Privacidad preocupante

Ray-Ban de Meta: preocupaciones por privacidad y uso de datos

Las gafas Ray-Ban de Meta, con cámara integrada, plantean preocupaciones sobre la privacidad y el uso de datos. La falta de transparencia de la empresa...

Recaudación significativa

11x.ai recauda 50 millones y se expande a recursos humanos

11x.ai, startup de bots de ventas impulsados por IA, ha recaudado 50 millones de dólares en una ronda Serie B, valorada en 350 millones. Con...

Controversia regulatoria

Gavin Newsom veta ley de IA por exceso regulatorio

El veto del gobernador de California, Gavin Newsom, a la ley SB 1047 sobre la regulación de la IA ha generado controversia. Aunque bien intencionada,...

Inversión irrelevante

CMA del Reino Unido descarta investigar inversión de Amazon en Anthropic

La CMA del Reino Unido no investigará la inversión de Amazon en Anthropic, ya que no se considera una fusión relevante. Esto refleja un escrutinio...

Financiación cinematográfica

Runway presenta "Hundred Film Fund" para financiar 100 películas AI

Runway lanza el "Hundred Film Fund" con 5 millones de dólares para financiar hasta 100 películas originales que incorporen inteligencia artificial. Esta iniciativa busca democratizar...