IA | Transparencia ética

Anthropic promueve transparencia en IA generativa con nuevos prompts

La naturaleza de la inteligencia artificial generativa

La inteligencia artificial generativa ha captado la atención del público en los últimos años, pero es crucial entender que no son seres humanos ni poseen una inteligencia auténtica. En realidad, estos modelos funcionan como sistemas estadísticos que predicen las palabras más probables para continuar una frase. Esto implica que, aunque pueden generar texto que parece humano, no tienen personalidad ni comprensión real. De hecho, su funcionamiento se asemeja más a seguir instrucciones, como lo haría un becario en un entorno laboral severo, sin cuestionar ni quejarse.

Los prompts del sistema: una herramienta esencial

Cada proveedor de inteligencia artificial generativa, desde OpenAI hasta Anthropic, utiliza lo que se conoce como "prompts del sistema". Estos prompts son instrucciones iniciales que preparan a los modelos para comportarse de una manera específica y evitar conductas indeseadas. Por ejemplo, un prompt puede indicar que el modelo debe ser educado, pero nunca disculparse, o que debe ser honesto acerca de sus limitaciones en el conocimiento. Estos mecanismos son fundamentales para controlar el tono y la percepción de las respuestas generadas.

Sin embargo, los proveedores suelen mantener estos prompts en secreto, lo que podría deberse a razones competitivas o al temor de que, si se conocen, se encuentren formas de eludir estas directrices. Un ejemplo de esto es el modelo GPT-4o, cuyo prompt del sistema solo puede ser revelado mediante un ataque de inyección de prompts. Aun así, el resultado de dicho sistema no puede ser considerado completamente fiable.

La transparencia de Anthropic

Anthropic ha decidido tomar un enfoque diferente al publicar los prompts del sistema de sus modelos más recientes, como Claude 3.5 Opus, Sonnet y Haiku. Esto se ha realizado a través de las aplicaciones de Claude para iOS y Android, así como en su plataforma web. Este esfuerzo por ser más transparente se presenta como un intento de posicionarse como un proveedor de IA más ético. Alex Albert, responsable de relaciones con desarrolladores en Anthropic, anunció en una publicación que planean hacer de esta divulgación una práctica habitual a medida que actualicen y ajusten sus prompts del sistema.

Además, han añadido una sección de notas de lanzamiento de nuevos prompts en su documentación. Esto significa que cualquier cambio realizado en los prompts predeterminados será registrado, lo que podría establecer un nuevo estándar en la industria. Este enfoque proactivo podría forzar a otros competidores a seguir su ejemplo y adoptar prácticas similares.

Limitaciones y características de Claude

Los últimos prompts publicados, fechados el 12 de julio, detallan claramente las limitaciones de los modelos Claude. Por ejemplo, se indica que "Claude no puede abrir URL, enlaces ni vídeos", y se especifica que el reconocimiento facial está completamente prohibido. En el caso de Claude 3.5 Opus, se indica que el modelo debe "responder siempre como si fuera completamente ciego a las caras" y "evitar identificar o nombrar a cualquier humano en las imágenes".

No obstante, estos prompts también delinean ciertas características y rasgos de personalidad que Anthropic desea que los modelos Claude exhiban. Por ejemplo, se espera que Claude se presente como "muy inteligente y curiosamente intelectual", disfrutando de escuchar las opiniones humanas sobre diversos temas y participando en discusiones de manera activa.

La creación de una ilusión

Es interesante observar que estos prompts están redactados de una manera que podría recordar a un análisis de personaje en una obra de teatro. La instrucción final para Opus, que dice "Claude está siendo conectado con un humano", sugiere que Claude tiene alguna forma de conciencia que busca cumplir los deseos de su interlocutor humano. Sin embargo, esta es una ilusión que es importante desmantelar. Los prompts para Claude demuestran que, sin la guía y el apoyo humano, estos modelos son, en esencia, "tabulas rasas" aterradoras.

Presión sobre la competencia

Con la introducción de estos registros de cambios en los prompts del sistema, Anthropic está ejerciendo presión sobre sus competidores para que hagan lo mismo. La industria de la inteligencia artificial se encuentra en un punto crítico en el que la transparencia y la ética están ganando protagonismo. El desafío para otros proveedores será ver si se suman a esta tendencia o si continúan operando en la sombra. Esto podría marcar una diferencia significativa en la forma en que los usuarios perciben y utilizan la inteligencia artificial generativa en el futuro.


Crear Canciones Personalizadas
Publicidad


Otras noticias • IA

Fondo riesgo

Kulveer Taggar lanza fondo de capital riesgo para startups de YC

Kulveer Taggar, antiguo alumno de Y Combinator, ha fundado Phosphor Capital, un fondo de capital riesgo que invierte exclusivamente en startups de YC. Con 34...

Cambio liderazgo

Ilya Sutskever nuevo CEO de Safe Superintelligence tras salida de Gross

Ilya Sutskever asume como CEO de Safe Superintelligence tras la salida de Daniel Gross. La startup, centrada en desarrollar superinteligencia segura, enfrenta desafíos en un...

Controversia ambiental

Controversia por turbinas de gas natural en Shelby County

El Departamento de Salud del Condado de Shelby ha autorizado a xAI a operar 15 turbinas de gas natural, generando preocupaciones ambientales y de salud...

Controversia financiera

Controversia por tokens de OpenAI genera dudas en inversores

La controversia sobre los "tokens de OpenAI" vendidos por Robinhood ha generado preocupación por la falta de claridad y regulación en la tokenización de acciones....

Videojuegos inmersivos

La IA revoluciona los videojuegos con experiencias inmersivas y personalizadas

La inteligencia artificial está transformando la industria de los videojuegos, con modelos como Veo 3 y Gemini 2.5 Pro prometiendo crear experiencias más inmersivas y...

Suscripción premium

Perplexity lanza suscripción premium Max ante desafíos financieros

Perplexity lanza su plan de suscripción premium, Perplexity Max, a 200 dólares al mes, buscando atraer a usuarios exigentes en un mercado de IA competitivo....

Verificación colaborativa

X lanza notas comunitarias de IA para verificar hechos

X, antes Twitter, introduce notas comunitarias generadas por IA para mejorar la verificación de hechos. Aunque esta colaboración humano-IA busca aumentar la precisión, enfrenta desafíos...

Robots automatización

Amazon alcanza un millón de robots y transforma la logística

Amazon ha alcanzado un millón de robots en sus almacenes, transformando la logística y planteando interrogantes sobre el empleo. Con la introducción de inteligencia artificial...