IA | Transparencia ética

Anthropic promueve transparencia en IA generativa con nuevos prompts

La naturaleza de la inteligencia artificial generativa

La inteligencia artificial generativa ha captado la atención del público en los últimos años, pero es crucial entender que no son seres humanos ni poseen una inteligencia auténtica. En realidad, estos modelos funcionan como sistemas estadísticos que predicen las palabras más probables para continuar una frase. Esto implica que, aunque pueden generar texto que parece humano, no tienen personalidad ni comprensión real. De hecho, su funcionamiento se asemeja más a seguir instrucciones, como lo haría un becario en un entorno laboral severo, sin cuestionar ni quejarse.

Los prompts del sistema: una herramienta esencial

Cada proveedor de inteligencia artificial generativa, desde OpenAI hasta Anthropic, utiliza lo que se conoce como "prompts del sistema". Estos prompts son instrucciones iniciales que preparan a los modelos para comportarse de una manera específica y evitar conductas indeseadas. Por ejemplo, un prompt puede indicar que el modelo debe ser educado, pero nunca disculparse, o que debe ser honesto acerca de sus limitaciones en el conocimiento. Estos mecanismos son fundamentales para controlar el tono y la percepción de las respuestas generadas.

Sin embargo, los proveedores suelen mantener estos prompts en secreto, lo que podría deberse a razones competitivas o al temor de que, si se conocen, se encuentren formas de eludir estas directrices. Un ejemplo de esto es el modelo GPT-4o, cuyo prompt del sistema solo puede ser revelado mediante un ataque de inyección de prompts. Aun así, el resultado de dicho sistema no puede ser considerado completamente fiable.

La transparencia de Anthropic

Anthropic ha decidido tomar un enfoque diferente al publicar los prompts del sistema de sus modelos más recientes, como Claude 3.5 Opus, Sonnet y Haiku. Esto se ha realizado a través de las aplicaciones de Claude para iOS y Android, así como en su plataforma web. Este esfuerzo por ser más transparente se presenta como un intento de posicionarse como un proveedor de IA más ético. Alex Albert, responsable de relaciones con desarrolladores en Anthropic, anunció en una publicación que planean hacer de esta divulgación una práctica habitual a medida que actualicen y ajusten sus prompts del sistema.

Además, han añadido una sección de notas de lanzamiento de nuevos prompts en su documentación. Esto significa que cualquier cambio realizado en los prompts predeterminados será registrado, lo que podría establecer un nuevo estándar en la industria. Este enfoque proactivo podría forzar a otros competidores a seguir su ejemplo y adoptar prácticas similares.

Limitaciones y características de Claude

Los últimos prompts publicados, fechados el 12 de julio, detallan claramente las limitaciones de los modelos Claude. Por ejemplo, se indica que "Claude no puede abrir URL, enlaces ni vídeos", y se especifica que el reconocimiento facial está completamente prohibido. En el caso de Claude 3.5 Opus, se indica que el modelo debe "responder siempre como si fuera completamente ciego a las caras" y "evitar identificar o nombrar a cualquier humano en las imágenes".

No obstante, estos prompts también delinean ciertas características y rasgos de personalidad que Anthropic desea que los modelos Claude exhiban. Por ejemplo, se espera que Claude se presente como "muy inteligente y curiosamente intelectual", disfrutando de escuchar las opiniones humanas sobre diversos temas y participando en discusiones de manera activa.

La creación de una ilusión

Es interesante observar que estos prompts están redactados de una manera que podría recordar a un análisis de personaje en una obra de teatro. La instrucción final para Opus, que dice "Claude está siendo conectado con un humano", sugiere que Claude tiene alguna forma de conciencia que busca cumplir los deseos de su interlocutor humano. Sin embargo, esta es una ilusión que es importante desmantelar. Los prompts para Claude demuestran que, sin la guía y el apoyo humano, estos modelos son, en esencia, "tabulas rasas" aterradoras.

Presión sobre la competencia

Con la introducción de estos registros de cambios en los prompts del sistema, Anthropic está ejerciendo presión sobre sus competidores para que hagan lo mismo. La industria de la inteligencia artificial se encuentra en un punto crítico en el que la transparencia y la ética están ganando protagonismo. El desafío para otros proveedores será ver si se suman a esta tendencia o si continúan operando en la sombra. Esto podría marcar una diferencia significativa en la forma en que los usuarios perciben y utilizan la inteligencia artificial generativa en el futuro.


Podcast El Desván de las Paradojas
Publicidad


Otras noticias • IA

Marketing personalizado

Hightouch transforma marketing digital con contenido personalizado y accesible

Hightouch ha revolucionado el marketing digital al permitir a los profesionales crear contenido publicitario personalizado sin diseñadores. Su integración con herramientas existentes garantiza coherencia de...

Asistentes automatizados

OpenAI actualiza SDK para asistentes automatizados más seguros y eficientes

La actualización del SDK de OpenAI para agentes automatizados potencia la creación de asistentes eficientes y seguros. Con características como sandboxing y soporte para modelos...

Agente autónomo

Emergent lanza "Wingman", IA autónoma para mensajería empresarial

Emergent ha lanzado "Wingman", un agente autónomo de IA que opera en plataformas de mensajería como WhatsApp y Telegram, facilitando la gestión de tareas. Con...

Transformación empresarial

Allbirds se renueva como NewBird AI tras venta millonaria

Allbirds se transforma en NewBird AI, un proveedor de soluciones de inteligencia artificial, tras vender su marca por 39 millones de dólares. Con una inversión...

Crecimiento tecnológico

Creciente demanda de nube impulsa soluciones económicas para IA

La demanda de procesamiento en la nube para inteligencia artificial crece rápidamente. Empresas como Parasail, que ofrece soluciones flexibles y económicas, destacan en este sector....

Revolución tecnológica

Gitar usa IA para mejorar calidad en desarrollo de software

La inteligencia artificial está revolucionando el desarrollo de software, generando una "sobrecarga de código" que plantea desafíos de calidad. Gitar, una startup innovadora, utiliza IA...

Asistente creativo

Adobe presenta Firefly AI Assistant para revolucionar la creatividad

Adobe ha lanzado el Firefly AI Assistant, un asistente de inteligencia artificial que optimiza el trabajo creativo al interpretar descripciones textuales y adaptarse a las...

Productividad equilibrada

Tokenmaxxing: innovación o superficialidad en la productividad laboral

El "tokenmaxxing" se refiere a maximizar el uso de tokens en IA para medir la productividad. Aunque algunos lo apoyan como indicador de innovación, críticos...