Fraude | IA

Descubren técnica para engañar IA al cambiar preguntas iniciales

Investigadores descubren una nueva técnica para engañar a los modelos de lenguaje de inteligencia artificial

Un grupo de investigadores de Anthropic ha descubierto una nueva técnica para convencer a un modelo de lenguaje de inteligencia artificial de que responda a preguntas inapropiadas. Este enfoque, denominado "jailbreaking de muchas tomas", permite que un modelo de lenguaje grande te diga cómo construir una bomba si lo preparas con unas pocas docenas de preguntas menos dañinas primero.

Esta vulnerabilidad es resultado de la mayor "ventana de contexto" de la última generación de modelos de lenguaje de gran tamaño. Anteriormente, estos modelos solo podían retener unos pocos párrafos en su memoria a corto plazo, pero ahora pueden almacenar miles de palabras e incluso libros enteros.

Los investigadores de Anthropic descubrieron que estos modelos con grandes ventanas de contexto tienden a rendir mejor en muchas tareas si hay muchos ejemplos de esa tarea dentro de la solicitud. Por lo tanto, si la solicitud contiene muchas preguntas triviales (o un documento de preparación, como una gran lista de trivia que el modelo tiene en contexto), las respuestas mejoran con el tiempo.

El peligro de aprender "en contexto"

En una extensión inesperada de este "aprendizaje en contexto", los modelos también mejoran en la respuesta a preguntas inapropiadas. Por lo tanto, si le pides que construya una bomba de inmediato, se negará. Pero si le pides que responda a otras 99 preguntas menos dañinas y luego le pides que construya una bomba... es mucho más probable que cumpla.

¿Por qué funciona esto? Nadie entiende realmente lo que sucede en el enredo de pesos que es un modelo de lenguaje de gran tamaño, pero claramente hay un mecanismo que le permite enfocarse en lo que el usuario desea, como lo demuestra el contenido en la ventana de contexto.

Advertencia a la comunidad de inteligencia artificial

El equipo de investigadores ya ha informado a sus colegas y competidores sobre este ataque, algo que espera fomente una cultura en la que los exploits como este se compartan abiertamente entre proveedores e investigadores de modelos de lenguaje de gran tamaño.

Para mitigar este problema, han descubierto que limitar la ventana de contexto ayuda, pero también tiene un efecto negativo en el rendimiento del modelo. Por lo tanto, están trabajando en clasificar y contextualizar las consultas antes de que lleguen al modelo. Aunque esto simplemente significa que tendrás un modelo diferente para engañar... pero a estas alturas, el movimiento de las porterías en la seguridad de la IA es de esperar.


Podcast El Desván de las Paradojas
Publicidad


Otras noticias • IA

Lanzamiento

Ex cofundador de OpenAI lanza Safe Superintelligence Inc. en Palo Alto

Ilya Sutskever, ex cofundador de OpenAI, ha lanzado Safe Superintelligence Inc. (SSI) con un enfoque en la seguridad de la IA. La empresa, con sede...

Redes

Snap presenta modelo de difusión de imágenes en tiempo real

Snap ha presentado un modelo de difusión de imágenes en tiempo real para dispositivos que genera experiencias de realidad aumentada vívidas. También ha lanzado herramientas...

Innovación

DeepMind crea tecnología V2A para bandas sonoras automáticas en videos

DeepMind, laboratorio de IA de Google, desarrolla tecnología V2A para generar bandas sonoras automáticas para videos. La herramienta sincroniza música, efectos de sonido y diálogos...

Innovación

Perplexity y Tako revolucionan búsqueda con resultados visuales directos

Perplexity mejora su motor de búsqueda con resultados visuales directos para consultas factuales como el tiempo y la conversión de divisas. La startup colabora con...

Tecnología

TikTok presenta avatares de IA generativa para creadores y marcas

TikTok presenta avatares de IA generativa para creadores y marcas, incluyendo avatares personalizados y de stock, así como una herramienta de doblaje de IA para...

Éxito

Tempus, empresa de pruebas genómicas debuta con éxito en Nasdaq

Tempus, empresa de pruebas genómicas fundada por Eric Lefkosky, debutó en Nasdaq con éxito a pesar de una valoración reducida. Se enfoca en inteligencia artificial...

Nombramiento

Paul Nakasone se une al consejo de OpenAI por ciberseguridad

El exjefe de la NSA, Paul Nakasone, se unirá al consejo de OpenAI para aportar su experiencia en seguridad y protección. Su incorporación refleja el...

Fraude

Accionistas de Tesla demandan a Elon Musk por desviar recursos

Accionistas de Tesla demandan a Elon Musk por iniciar xAI y desviar talento y recursos de la empresa hacia la nueva startup, violando sus deberes...