Investigadores descubren una nueva técnica para engañar a los modelos de lenguaje de inteligencia artificial
Un grupo de investigadores de Anthropic ha descubierto una nueva técnica para convencer a un modelo de lenguaje de inteligencia artificial de que responda a preguntas inapropiadas. Este enfoque, denominado "jailbreaking de muchas tomas", permite que un modelo de lenguaje grande te diga cómo construir una bomba si lo preparas con unas pocas docenas de preguntas menos dañinas primero.
Esta vulnerabilidad es resultado de la mayor "ventana de contexto" de la última generación de modelos de lenguaje de gran tamaño. Anteriormente, estos modelos solo podían retener unos pocos párrafos en su memoria a corto plazo, pero ahora pueden almacenar miles de palabras e incluso libros enteros.
Los investigadores de Anthropic descubrieron que estos modelos con grandes ventanas de contexto tienden a rendir mejor en muchas tareas si hay muchos ejemplos de esa tarea dentro de la solicitud. Por lo tanto, si la solicitud contiene muchas preguntas triviales (o un documento de preparación, como una gran lista de trivia que el modelo tiene en contexto), las respuestas mejoran con el tiempo.
El peligro de aprender "en contexto"
En una extensión inesperada de este "aprendizaje en contexto", los modelos también mejoran en la respuesta a preguntas inapropiadas. Por lo tanto, si le pides que construya una bomba de inmediato, se negará. Pero si le pides que responda a otras 99 preguntas menos dañinas y luego le pides que construya una bomba... es mucho más probable que cumpla.
¿Por qué funciona esto? Nadie entiende realmente lo que sucede en el enredo de pesos que es un modelo de lenguaje de gran tamaño, pero claramente hay un mecanismo que le permite enfocarse en lo que el usuario desea, como lo demuestra el contenido en la ventana de contexto.
Advertencia a la comunidad de inteligencia artificial
El equipo de investigadores ya ha informado a sus colegas y competidores sobre este ataque, algo que espera fomente una cultura en la que los exploits como este se compartan abiertamente entre proveedores e investigadores de modelos de lenguaje de gran tamaño.
Para mitigar este problema, han descubierto que limitar la ventana de contexto ayuda, pero también tiene un efecto negativo en el rendimiento del modelo. Por lo tanto, están trabajando en clasificar y contextualizar las consultas antes de que lleguen al modelo. Aunque esto simplemente significa que tendrás un modelo diferente para engañar... pero a estas alturas, el movimiento de las porterías en la seguridad de la IA es de esperar.
Otras noticias • IA
Imágenes sintéticas desnudas amenazan privacidad y seguridad personal
La proliferación de imágenes sintéticas desnudas plantea serios desafíos de privacidad y seguridad, especialmente en casos de pornografía de venganza. Microsoft ha colaborado con StopNCII...
Cosmos Institute lanza iniciativas para una IA humanista y ética
El Cosmos Institute busca transformar la inteligencia artificial mediante un enfoque humanista, creando el Human-Centered AI Lab en Oxford y la Cosmos Fellowship. También lanzan...
Canva eleva precios y usuarios critican pérdida de accesibilidad
Canva ha aumentado drásticamente los precios de sus planes, especialmente para Canva Teams, justificándolo por la inversión en inteligencia artificial. Este cambio ha generado descontento...
Google refuerza IA y plataformas para combatir desinformación electoral
Google implementa restricciones en su inteligencia artificial generativa para evitar la desinformación durante las elecciones presidenciales de EE. UU. Además, mejora su motor de búsqueda...
LAION presenta Re-LAION-5B para combatir contenido ilegal y NSFW
LAION ha lanzado Re-LAION-5B, un conjunto de datos depurado de enlaces a material de abuso sexual infantil y contenido NSFW. Este esfuerzo responde a recomendaciones...
Gmail integra Gemini para mejorar gestión de correos electrónicos
Gmail ha integrado el asistente de inteligencia artificial Gemini, permitiendo a los usuarios hacer preguntas sobre sus correos electrónicos y recibir resúmenes. Esta función, disponible...
Reliance Industries impulsa inteligencia artificial con nuevos centros de datos
Reliance Industries, liderada por Mukesh Ambani, apuesta por la inteligencia artificial con la creación de centros de datos en Gujarat y el desarrollo de Jio...
Incertidumbre en OpenAI por falta de anuncios de Converge 2
El programa de aceleración Converge 2 de OpenAI ha generado incertidumbre por la falta de comunicación sobre las startups seleccionadas. A diferencia de su primera...
Lo más reciente
- 1
Byju's enfrenta crisis tras renuncia de auditor BDO
- 2
Ciberataque interrumpe servicios de TfL y genera preocupación pública
- 3
Meta debe permitir interoperabilidad entre WhatsApp y otras apps
- 4
Lanzamiento del cohete New Glenn se pospone hasta 2025
- 5
Eagles y Packers enfrentan retos en partido histórico en Brasil
- 6
Thunder Power Holdings enfrenta crisis financiera y cargos criminales
- 7
Karo simplifica la gestión de tareas para grupos y empresas