Expertos cuestionan efectividad de nuevas leyes en IA

El enigma de las leyes de escalado en la inteligencia artificial

En el mundo de la inteligencia artificial (IA), las innovaciones y descubrimientos son constantes, pero también lo son las controversias y los debates sobre su eficacia y aplicabilidad. Recientemente, ha surgido un nuevo término en las redes sociales que ha despertado el interés y la curiosidad de muchos: la “ley de escalado del tiempo de inferencia”. Sin embargo, a pesar del entusiasmo que esta noción ha generado, muchos expertos en el campo son escépticos sobre su relevancia y efectividad.

Las leyes de escalado en IA son conceptos que describen cómo la performance de los modelos de IA mejora a medida que se incrementa el tamaño de los conjuntos de datos y los recursos computacionales utilizados para entrenarlos. Hasta hace aproximadamente un año, la idea de aumentar el “pre-entrenamiento” dominaba el escenario, ya que muchos laboratorios de IA en la vanguardia del sector adoptaron este enfoque sin dudar.

El pre-entrenamiento sigue siendo fundamental, pero la llegada de dos leyes adicionales —el escalado post-entrenamiento y el escalado en el tiempo de prueba— ha comenzado a complementar el panorama existente. El escalado post-entrenamiento se refiere a la afinación del comportamiento de un modelo, mientras que el escalado en el tiempo de prueba implica la aplicación de más recursos computacionales a la inferencia para impulsar una forma de “razonamiento”.

La nueva propuesta: búsqueda en el tiempo de inferencia

Investigadores de Google y de la Universidad de California en Berkeley han propuesto recientemente en un artículo lo que algunos comentaristas en línea han denominado como una cuarta ley: la “búsqueda en el tiempo de inferencia”. Este concepto sugiere que un modelo puede generar múltiples respuestas posibles a una consulta en paralelo y luego seleccionar la “mejor” de entre todas ellas. Los autores del estudio afirman que esta metodología puede mejorar el rendimiento de un modelo que ya tiene un año de antigüedad, como el Gemini 1.5 Pro de Google, superando incluso al modelo de “razonamiento” o1-preview de OpenAI en pruebas de ciencias y matemáticas.

Eric Zhao, uno de los co-autores del artículo y becario doctoral en Google, destacó en sus publicaciones que “al muestrear aleatoriamente 200 respuestas y auto-verificarlas, el Gemini 1.5 —un modelo antiguo de principios de 2024— supera al o1-preview y se aproxima al o1”. Este hallazgo se realizó sin necesidad de afinar el modelo, utilizar aprendizaje por refuerzo ni verificadores de verdad.

La afirmación de Zhao sugiere que la auto-verificación se vuelve más fácil a medida que se escala. La lógica detrás de esto es intrigante: uno podría suponer que seleccionar la solución correcta se vuelve más complicado a medida que aumenta el número de posibles respuestas, pero los investigadores afirman que es todo lo contrario.

La visión crítica de los expertos

Sin embargo, no todos los expertos comparten el entusiasmo de Zhao. Matthew Guzdial, investigador en IA y profesor asistente en la Universidad de Alberta, subraya que los resultados no son sorprendentes y que la búsqueda en el tiempo de inferencia puede no ser útil en muchos escenarios. Guzdial sostiene que este enfoque funciona mejor cuando existe una buena “función de evaluación”, es decir, cuando la mejor respuesta a una pregunta puede determinarse fácilmente. No obstante, la mayoría de las consultas no son tan simples.

“Si no podemos escribir código para definir lo que queremos, no podemos usar la búsqueda en el tiempo de inferencia”, afirma Guzdial. En contextos de interacción lingüística general, esta metodología se vuelve ineficaz. Para él, “no es un gran enfoque para resolver la mayoría de los problemas”.

Por su parte, Mike Cook, investigador en el King's College de Londres especializado en IA, respalda la opinión de Guzdial, añadiendo que esto resalta la brecha existente entre el “razonamiento” en el sentido de la IA y los procesos de pensamiento humanos. Cook señala que la búsqueda en el tiempo de inferencia “no eleva el proceso de razonamiento del modelo”, sino que simplemente actúa como un mecanismo para sortear las limitaciones de una tecnología que tiende a cometer errores de manera confiada.

La noción de que la búsqueda en el tiempo de inferencia puede tener limitaciones es sin duda una noticia no muy bien recibida por una industria de IA que busca escalar el “razonamiento” de los modelos de manera eficiente en términos computacionales.

El coste del razonamiento en la IA

A medida que la búsqueda de nuevas técnicas de escalado continúa, el costo de implementar modelos de razonamiento se ha vuelto un tema candente. Los co-autores del estudio mencionan que los modelos de razonamiento actuales pueden acumular miles de dólares en costos computacionales para resolver un solo problema matemático. Esta realidad ha llevado a muchos en el campo a cuestionar la viabilidad de enfoques que no ofrezcan una solución clara y eficiente a los problemas que enfrentan.

La búsqueda en el tiempo de inferencia, aunque intrigante en teoría, puede no ser la panacea que muchos esperaban. Las dudas sobre su aplicabilidad y efectividad sugieren que la industria debe seguir explorando nuevas formas de optimizar el razonamiento de los modelos de IA sin incurrir en gastos prohibitivos.

La necesidad de evaluación crítica

El debate en torno a la búsqueda en el tiempo de inferencia resalta la necesidad de una evaluación crítica de las nuevas propuestas en el campo de la IA. A medida que los modelos de IA se vuelven más sofisticados, también lo hacen las expectativas en torno a su rendimiento. No se trata solo de escalar en términos de datos y recursos, sino de asegurar que los modelos puedan resolver problemas de manera efectiva y confiable.

El escepticismo de expertos como Guzdial y Cook no debe ser visto como un obstáculo, sino como un impulso para la innovación. La comunidad de IA necesita abordar las limitaciones actuales y trabajar en la creación de modelos que no solo sean más grandes, sino también más inteligentes y eficientes.

“Los modelos de IA deben evolucionar más allá de la mera ampliación de su tamaño y complejidad”, sugiere Guzdial. La búsqueda de la eficacia debe ir acompañada de un enfoque crítico que permita identificar qué estrategias realmente aportan valor y cuáles son meramente ilusorias.

La carrera por la próxima gran innovación

Mientras los investigadores continúan su búsqueda por nuevas técnicas de escalado y optimización, la industria de la IA se enfrenta a un momento crucial. La presión por innovar y avanzar en la tecnología es inmensa, y las empresas están invirtiendo grandes cantidades de dinero y recursos en la investigación y el desarrollo. Sin embargo, el camino hacia la verdadera innovación no siempre es lineal, y las lecciones aprendidas en este proceso son fundamentales.

El futuro de la IA dependerá no solo de los descubrimientos tecnológicos, sino también de la capacidad de los investigadores y expertos para adaptarse y responder a los desafíos que surgen en el camino. Con un enfoque crítico y colaborativo, es posible que la industria logre avanzar hacia un futuro donde los modelos de IA no solo sean más poderosos, sino también más inteligentes y capaces de razonar de manera efectiva.