Anthropic revoluciona prompts en IA con nuevas herramientas automatizadas

Anthropic desarrolla nuevas herramientas para automatizar parcialmente la ingeniería de prompts

La empresa Anthropic ha lanzado varias nuevas características para ayudar a los desarrolladores a crear aplicaciones más útiles con el modelo de lenguaje de la startup, Claude, según una publicación en el blog de la compañía. Con Claude 3.5 Sonnet, los desarrolladores pueden generar, probar y evaluar prompts, utilizando técnicas de ingeniería de prompts para crear mejores entradas y mejorar las respuestas de Claude para tareas especializadas.

Facilitando el trabajo de los desarrolladores

Los modelos de lenguaje suelen ser bastante indulgentes cuando se les pide que realicen ciertas tareas, pero a veces pequeños cambios en la redacción de un prompt pueden llevar a grandes mejoras en los resultados. Normalmente, tendrías que descubrir esa redacción por ti mismo o contratar a un ingeniero de prompts para hacerlo, pero esta nueva característica ofrece una retroalimentación rápida que podría facilitar la búsqueda de mejoras.

Las nuevas características se encuentran dentro de Anthropic Console bajo una nueva pestaña de Evaluación. Console es el laboratorio de pruebas de la startup para desarrolladores, creado para atraer a empresas interesadas en construir productos con Claude. Una de las características, presentada en mayo, es el generador de prompts integrado de Anthropic; este toma una breve descripción de una tarea y construye un prompt mucho más extenso, utilizando las propias técnicas de ingeniería de prompts de Anthropic. Aunque las herramientas de Anthropic pueden no reemplazar por completo a los ingenieros de prompts, la empresa afirmó que ayudaría a los nuevos usuarios y ahorraría tiempo a los ingenieros de prompts experimentados.

Evaluación de la efectividad de los prompts

Dentro de la Evaluación, los desarrolladores pueden probar la efectividad de los prompts de su aplicación de IA en una variedad de escenarios. Los desarrolladores pueden cargar ejemplos del mundo real en un conjunto de pruebas o pedir a Claude que genere una serie de casos de prueba generados por IA. Luego, los desarrolladores pueden comparar la efectividad de varios prompts uno al lado del otro y calificar las respuestas de muestra en una escala de cinco puntos.

En un ejemplo del post del blog de Anthropic, un desarrollador identificó que su aplicación daba respuestas demasiado cortas en varios casos de prueba. El desarrollador pudo ajustar una línea en su prompt para que las respuestas fueran más largas y aplicarlo simultáneamente a todos sus casos de prueba. Esto podría ahorrar mucho tiempo y esfuerzo a los desarrolladores, especialmente a aquellos con poca o ninguna experiencia en ingeniería de prompts.

El CEO y cofundador de Anthropic, Dario Amodei, dijo que la ingeniería de prompts era una de las cosas más importantes para la adopción generalizada de la IA generativa en empresas en una entrevista en Google Cloud Next a principios de este año. "Parece sencillo, pero 30 minutos con un ingeniero de prompts a menudo pueden hacer que una aplicación funcione cuando antes no lo hacía", dijo Amodei.