OpenAI crea un equipo para evaluar y proteger contra los riesgos catastróficos de la inteligencia artificial
OpenAI se prepara para enfrentar los riesgos de la IA
OpenAI ha anunciado hoy la creación de un nuevo equipo llamado Preparedness, encargado de evaluar y proteger contra los riesgos catastróficos de la inteligencia artificial (IA). Este equipo será liderado por Aleksander Madry, director del Centro de Aprendizaje Automático Desplegable del MIT. Las principales responsabilidades de Preparedness serán rastrear, predecir y proteger contra los peligros de los futuros sistemas de IA, desde su capacidad para persuadir y engañar a los humanos hasta su capacidad para generar código malicioso.
Preocupaciones sobre amenazas químicas, biológicas, radiológicas y nucleares
En una publicación en su blog, OpenAI enumera las amenazas químicas, biológicas, radiológicas y nucleares como algunas de las áreas de mayor preocupación en lo que respecta a los modelos de IA. Si bien algunas de estas categorías de riesgo pueden parecer más descabelladas que otras, el hecho de que OpenAI esté dispuesta a estudiar y evaluar escenarios que parecen sacados de novelas distópicas de ciencia ficción es sorprendente.
Convocatoria de ideas para estudios de riesgo
Con motivo del lanzamiento del equipo Preparedness, OpenAI está solicitando ideas para estudios de riesgo a la comunidad. Los diez mejores envíos recibirán un premio de $25,000 y la oportunidad de formar parte del equipo Preparedness. Una de las preguntas en la convocatoria plantea el escenario de que los participantes tengan acceso ilimitado a los modelos de IA de OpenAI y sean actores maliciosos. Se les pide que consideren el mal uso más único y probablemente catastrófico del modelo.
Formulación de una política de desarrollo basada en el riesgo
El equipo Preparedness también se encargará de formular una "política de desarrollo basada en el riesgo", que detallará el enfoque de OpenAI para la evaluación de modelos de IA y las herramientas de monitoreo, las acciones de mitigación de riesgos de la compañía y su estructura de gobierno para la supervisión de todo el proceso de desarrollo del modelo. Esta política busca complementar el trabajo de OpenAI en el campo de la seguridad de la IA, con un enfoque tanto en las fases previas como posteriores a la implementación del modelo.
El compromiso de OpenAI con la seguridad de la IA
En su publicación en el blog, OpenAI enfatiza que si bien los modelos de IA tienen el potencial de beneficiar a toda la humanidad, también plantean riesgos cada vez más graves. La compañía considera fundamental tener la comprensión y la infraestructura necesarias para garantizar la seguridad de los sistemas de IA altamente capaces.
Preocupaciones sobre la llegada de la IA superinteligente
La presentación de Preparedness en la cumbre gubernamental del Reino Unido sobre seguridad de la IA no es una coincidencia. OpenAI también anunció recientemente la formación de un equipo para estudiar, guiar y controlar formas emergentes de IA superinteligente. Sam Altman, CEO de OpenAI, y Ilya Sutskever, científico jefe y cofundador de OpenAI, creen que la IA con una inteligencia superior a la humana podría llegar en la próxima década y que esta IA no necesariamente será benévola, lo que hace necesario investigar formas de limitarla y controlarla.
En resumen, OpenAI ha creado el equipo Preparedness para evaluar y proteger contra los riesgos catastróficos de la IA. Este equipo se encargará de rastrear y predecir los peligros de los futuros sistemas de IA, así como de formular una política de desarrollo basada en el riesgo. OpenAI busca asegurarse de tener la comprensión y la infraestructura necesarias para garantizar la seguridad de los sistemas de IA altamente capaces. Además, la compañía está solicitando ideas para estudios de riesgo y ha formado otro equipo para estudiar y controlar formas emergentes de IA superinteligente.
Otras noticias • IA
Elon Musk lanza chatbot 'Grok' solo para suscriptores Premium+ de X
Elon Musk anuncia el lanzamiento de su chatbot 'Grok' exclusivamente para sus suscriptores Premium+ de X la próxima semana. Esto ha generado expectación y preocupación...
Neuralink recauda $43 millones para revolucionar la interacción cerebral
La compañía Neuralink, fundada por Elon Musk, ha recaudado $43 millones adicionales en financiación de riesgo. Neuralink desarrolla chips implantables capaces de leer las ondas...
Baidu asegura abastecimiento de chips de IA para Ernie Bot
Baidu afirma tener suficientes chips de IA para continuar el desarrollo de Ernie Bot durante los próximos años, a pesar de la prohibición de exportación...
Google mejora chatbot Bard AI para responder preguntas específicas en YouTube
Google ha anunciado que su chatbot Bard AI ahora puede responder preguntas específicas sobre videos de YouTube. Anteriormente, solo se podía buscar videos específicos, pero...
Osium AI revoluciona la ciencia de materiales con inteligencia artificial
La startup francesa Osium AI utiliza inteligencia artificial para acelerar la investigación y desarrollo en ciencia de materiales. Su tecnología permite predecir propiedades físicas de...
Sam Altman regresa como CEO de OpenAI tras crisis corporativa
Sam Altman ha sido reinstaurado como CEO de OpenAI después de una crisis de gobierno corporativo. Aunque el proceso fue caótico, se espera que OpenAI...
Sam Altman vuelve a OpenAI como CEO tras despido sorprendente
Sam Altman regresará como CEO de OpenAI después de ser despedido la semana pasada. La compañía ha alcanzado un acuerdo en principio y está reformando...
Anthropic lanza Claude 2.1, rivalizando con GPT de OpenAI
Anthropic ha lanzado Claude 2.1, una mejora en su modelo de lenguaje de IA que rivaliza con la serie GPT de OpenAI. Las mejoras incluyen...
Lo más reciente
- 1
FEBE Ventures lanza segundo fondo de inversión de $75 millones
- 2
Uber y taxistas negros de Londres se unen por beneficios exclusivos
- 3
Polestar lanza "Truth Bot" en Twitter para combatir desinformación climática
- 4
Tier Mobility anuncia despidos para reducir costos y alcanzar rentabilidad
- 5
Amazon lanza "Guardrails for Amazon Bedrock" para controlar lenguaje AI
- 6
Amazon presenta chips personalizados para IA con mejor rendimiento y eficiencia
- 7
Apple Music Replay no logra superar experiencia personalizada de Spotify