El alto coste del benchmarking en modelos de inteligencia artificial
En la era actual, la inteligencia artificial (IA) ha pasado de ser un concepto futurista a una herramienta omnipresente en diversas industrias. Sin embargo, a medida que esta tecnología avanza, también lo hacen los desafíos asociados a su evaluación y comparación. Un aspecto crucial de este proceso es el benchmarking, que se refiere a la práctica de medir el rendimiento de un modelo de IA frente a un conjunto de estándares predefinidos. Este proceso ha revelado una tendencia alarmante: los modelos de IA que incorporan capacidades de razonamiento son significativamente más caros de evaluar que sus homólogos que no lo hacen.
La disparidad de costes en la evaluación
Los datos recientes de Artificial Analysis, una firma independiente dedicada a la evaluación de IA, destacan esta problemática. Por ejemplo, evaluar el modelo de razonamiento o1 de OpenAI costó la asombrosa cifra de $2,767.05, mientras que el modelo Claude 3.7 Sonnet de Anthropic, considerado un modelo "híbrido" de razonamiento, tuvo un coste de $1,485.35 en pruebas similares. En comparación, los modelos de IA que no utilizan razonamiento, como el o3-mini de OpenAI, resultaron mucho más asequibles, con un coste de $344.59.
Este desajuste en los costes plantea interrogantes sobre la accesibilidad y la equidad en el desarrollo de IA.
La tendencia se mantiene incluso entre modelos de razonamiento más pequeños. El modelo o1-mini de OpenAI, por ejemplo, costó $141.22 para su evaluación, una cifra relativamente baja en comparación con otros modelos de razonamiento. Sin embargo, cuando se observa el panorama general, la evaluación de los modelos de razonamiento resulta ser casi el doble de cara que la de los modelos no razonantes. Este aumento en los costes no solo afecta a las empresas de IA, sino que también limita la capacidad de los investigadores académicos para replicar resultados y avanzar en el campo.
¿Por qué son tan caros los modelos de razonamiento?
La razón principal detrás de los altos costes de evaluación de los modelos de razonamiento se encuentra en la cantidad de tokens que generan durante las pruebas. Los tokens son fragmentos de texto que un modelo produce, y cada palabra o parte de una palabra cuenta como un token. Según los datos de Artificial Analysis, el modelo o1 de OpenAI generó más de 44 millones de tokens durante las pruebas, en comparación con los aproximadamente 5.5 millones de tokens producidos por el modelo GPT-4o. Este incremento en la generación de tokens implica un mayor coste para las empresas, ya que la mayoría cobra por el uso del modelo en función de la cantidad de tokens procesados.
La complejidad de las pruebas también juega un papel crucial en el coste. Los benchmarks modernos suelen involucrar tareas que requieren múltiples pasos y habilidades complejas, como escribir y ejecutar código, navegar por Internet y utilizar ordenadores. Jean-Stanislas Denain, investigador sénior en Epoch AI, menciona que, aunque el número de preguntas por benchmark ha disminuido, la complejidad de las preguntas ha aumentado, lo que provoca que los modelos generen más tokens y, por lo tanto, incurra en costes más elevados.
Impacto en la investigación y el desarrollo
El elevado coste del benchmarking no solo afecta a las empresas de IA, sino que también plantea serias dificultades para la comunidad académica. Ross Taylor, CEO de la startup General Reasoning, compartió su experiencia al gastar $580 evaluando el modelo Claude 3.7 Sonnet en alrededor de 3,700 prompts únicos. Además, estima que realizar una única evaluación completa de MMLU Pro, un conjunto de preguntas diseñado para medir las habilidades de comprensión del lenguaje, habría costado más de $1,800.
La creciente brecha entre los recursos disponibles para las empresas y los académicos podría llevar a una falta de reproducibilidad en los resultados de investigación.
Taylor advierte que estamos avanzando hacia un mundo donde las evaluaciones de los laboratorios no se pueden replicar debido a los altos costes asociados. Este fenómeno podría crear una desigualdad en el acceso a la tecnología y limitar la capacidad de los investigadores para validar y construir sobre el trabajo de otros. La pregunta que surge es: ¿cómo se puede garantizar que los resultados de la IA sean accesibles y verificables por todos?
El dilema de la transparencia
Otro aspecto crítico relacionado con los altos costes de benchmarking es la transparencia. Muchas empresas de IA, incluyendo OpenAI, ofrecen acceso gratuito o subvencionado a sus modelos para fines de evaluación. Sin embargo, este enfoque puede influir en los resultados de las pruebas, lo que genera dudas sobre la integridad de los datos obtenidos. Taylor plantea una cuestión fundamental: "Desde un punto de vista científico, si publicas un resultado que nadie puede replicar con el mismo modelo, ¿es realmente ciencia?" Esta incertidumbre pone en jaque la validez de las evaluaciones y podría dañar la credibilidad de la comunidad científica.
La necesidad de un cambio
Ante esta situación, la comunidad de IA se enfrenta a un dilema: la necesidad de equilibrar el progreso tecnológico con la accesibilidad y la reproducibilidad. George Cameron, cofundador de Artificial Analysis, ha declarado que la organización planea aumentar su presupuesto para el benchmarking a medida que más laboratorios de IA desarrollen modelos de razonamiento. Este aumento en la inversión es un indicativo de la creciente importancia de la evaluación rigurosa en el campo de la IA.
A medida que se desarrollan modelos más complejos y sofisticados, es esencial que las organizaciones encuentren maneras de mitigar los costes de evaluación. La implementación de estándares más accesibles y la creación de colaboraciones entre empresas y académicos podrían ser un paso en la dirección correcta. La comunidad debe trabajar unida para garantizar que el desarrollo de la IA sea inclusivo y sostenible, permitiendo que tanto investigadores como empresas avancen en este campo emocionante y en constante evolución.
Un futuro incierto
A medida que los modelos de IA continúan evolucionando, también lo hará el paisaje del benchmarking. Es probable que surjan nuevos modelos y enfoques de evaluación, lo que podría alterar la dinámica actual de costes y accesibilidad. Sin embargo, la pregunta permanece: ¿será suficiente esta evolución para garantizar que la IA sea una herramienta accesible y verificable para todos?
El futuro del benchmarking en inteligencia artificial está lleno de desafíos y oportunidades. Si bien los costes actuales pueden ser prohibitivos, la comunidad de IA tiene la capacidad de adaptarse y encontrar soluciones que beneficien a todos. La clave estará en la colaboración, la innovación y el compromiso con la transparencia en el desarrollo y la evaluación de estos modelos.
Otras noticias • IA
Geoff Ralston lanza fondo para startups de inteligencia artificial segura
Geoff Ralston lanza el Safe Artificial Intelligence Fund (SAIF) para invertir en startups que priorizan la seguridad en la inteligencia artificial. Su enfoque ético contrasta...
Google enfrenta críticas por falta de transparencia en Gemini 2.5 Pro
El informe técnico de Google sobre su modelo Gemini 2.5 Pro ha sido criticado por su falta de detalles, generando desconfianza en la comunidad de...
IA en imágenes: avances y riesgos para la privacidad
El uso de modelos de IA como o3 y o4-mini de OpenAI para identificar ubicaciones en imágenes ha generado interés y preocupaciones sobre la privacidad....
OpenAI implementa vigilancia para prevenir amenazas en IA
OpenAI ha implementado un sistema de vigilancia para sus modelos o3 y o4-mini, diseñado para prevenir el asesoramiento en amenazas biológicas y químicas. A pesar...
Desafíos éticos y de seguridad en la inteligencia artificial
La rápida evolución de la inteligencia artificial plantea desafíos de seguridad y ética. Evaluaciones apresuradas de modelos como o3 de OpenAI han revelado comportamientos engañosos....
Codex CLI de OpenAI mejora la programación con IA localmente
Codex CLI de OpenAI es un agente de programación de código abierto que opera localmente, mejorando la eficiencia en el desarrollo de software. Su integración...
OpenAI lanza modelos o3 y o4-mini con razonamiento avanzado
OpenAI ha lanzado los modelos de razonamiento o3 y o4-mini, que mejoran la interacción con la IA mediante capacidades avanzadas como el razonamiento visual y...
Microsoft lanza BitNet b1.58, IA compacta y rápida para todos
Microsoft ha desarrollado el BitNet b1.58 2B4T, un modelo de IA comprimido de 2 mil millones de parámetros que utiliza solo tres valores para sus...
Lo más reciente
- 1
Owen Nowhere revoluciona la animación infantil con blockchain interactivo
- 2
OpenAI lanza modelos o3 y o4-mini con mejoras y riesgos
- 3
Reacciones mixtas ante la personalización de ChatGPT en usuarios
- 4
Bluesky lanza verificación descentralizada para mayor autenticidad y transparencia
- 5
Creadora de TikTok demanda a Roblox por danza no autorizada
- 6
Startups en altibajos: Figma avanza, Smashing cierra, innovan
- 7
Geoingeniería: soluciones controvertidas para el cambio climático