OpenAI lanza modelos o3 y o4-mini con mejoras y riesgos

Avances y desafíos en los modelos de IA de OpenAI

En el dinámico mundo de la inteligencia artificial (IA), OpenAI ha lanzado recientemente sus nuevos modelos o3 y o4-mini, los cuales prometen llevar la capacidad de razonamiento de los sistemas de IA a un nuevo nivel. Sin embargo, los desafíos asociados a la "alucinación" en estos modelos han suscitado preocupación entre expertos y usuarios por igual. A pesar de las expectativas generadas, parece que estos nuevos modelos no han logrado resolver uno de los problemas más persistentes en la IA: la tendencia a generar información errónea o inventada.

La problemática de las alucinaciones en IA

La "alucinación" se refiere a la capacidad de un modelo de IA para generar respuestas que, aunque puedan sonar plausibles, son completamente incorrectas o fabricadas. Este fenómeno ha sido una de las dificultades más grandes en el desarrollo de sistemas de IA, y, en el caso de los modelos o3 y o4-mini, la situación parece haber empeorado en lugar de mejorar. Según los informes internos de OpenAI, estos modelos presentan una tasa de alucinación que supera la de sus predecesores, lo que ha generado incertidumbre sobre las razones detrás de este fenómeno.

Los modelos o3 y o4-mini son considerados modelos de razonamiento, pero, a pesar de sus mejoras en ciertas áreas, como tareas de programación y matemáticas, su tendencia a realizar afirmaciones inexactas se ha incrementado. En el caso del modelo o3, se encontró que alucinaba en respuesta a un 33% de las preguntas de un benchmark interno llamado PersonQA, lo que representa un aumento significativo en comparación con los modelos anteriores, como o1 y o3-mini, que alucinaban un 16% y un 14.8% respectivamente. El modelo o4-mini presentó incluso una tasa más alarmante, alucinando el 48% del tiempo.

La capacidad de los modelos de IA para generar respuestas creativas puede ser útil, pero la precisión es crucial en muchas aplicaciones.

La opinión de los expertos

La comunidad de investigadores y profesionales en el campo de la IA está tomando nota de estos desarrollos. Neil Chowdhury, investigador de Transluce, un laboratorio de investigación en IA sin ánimo de lucro, ha señalado que la forma de aprendizaje por refuerzo utilizada para los modelos de la serie o podría estar amplificando problemas que, aunque se mitigan en otros modelos, no se eliminan por completo. Esta observación plantea preguntas sobre el enfoque actual de OpenAI y su capacidad para abordar los problemas de alucinación en sus nuevos modelos.

Por su parte, Sarah Schwettmann, cofundadora de Transluce, ha comentado que la tasa de alucinaciones del modelo o3 podría limitar su utilidad en aplicaciones prácticas. Las empresas buscan herramientas precisas y fiables, y la presencia de errores factuales podría convertir a estos modelos en una opción poco atractiva en entornos donde la exactitud es primordial.

La búsqueda de soluciones

La creciente preocupación por las alucinaciones en los modelos de IA ha llevado a OpenAI a considerar diversas estrategias para mejorar la precisión de sus sistemas. Una de las soluciones más prometedoras es la incorporación de capacidades de búsqueda en la web. El modelo GPT-4o, que tiene acceso a la búsqueda en línea, ha demostrado alcanzar un 90% de precisión en tareas como SimpleQA. Esto sugiere que, al permitir que los modelos consulten información actualizada en la web, podría ser posible reducir la tasa de alucinaciones, al menos en aquellos casos en los que los usuarios estén dispuestos a exponer sus preguntas a un proveedor de búsqueda de terceros.

La implementación de la búsqueda web podría ser un paso crucial para mejorar la fiabilidad de los modelos de razonamiento en el futuro.

Sin embargo, la cuestión persiste: ¿por qué la escalabilidad de los modelos de razonamiento parece correlacionarse con un aumento en las alucinaciones? Este fenómeno podría requerir un replanteamiento de las técnicas de entrenamiento y ajuste de los modelos, lo que podría representar un desafío considerable para OpenAI y otros actores en el sector de la IA.

Reacciones del sector empresarial

A pesar de los problemas de alucinación, algunas empresas están explorando activamente el uso de estos nuevos modelos en sus flujos de trabajo. Kian Katanforoosh, profesor adjunto en Stanford y CEO de la startup Workera, ha afirmado que su equipo ya está probando el modelo o3 en tareas de programación y que, aunque han notado una mejora respecto a la competencia, también han encontrado que el modelo a menudo genera enlaces rotos. Esta combinación de beneficios y limitaciones pone de manifiesto la complejidad de adoptar tecnologías de IA avanzadas en el entorno empresarial actual.

La necesidad de herramientas precisas es especialmente relevante en sectores como el legal, donde los errores en los documentos pueden tener consecuencias graves. Un bufete de abogados no estaría satisfecho con un modelo que inserta errores factuales en contratos, lo que subraya la urgencia de abordar las tasas de alucinación.

La dirección futura de la IA

La industria de la IA ha comenzado a centrarse en los modelos de razonamiento en el último año, después de que las técnicas tradicionales comenzaran a mostrar rendimientos decrecientes. A pesar de las promesas que estos modelos ofrecen, la capacidad de razonamiento también parece venir acompañada de un aumento en las alucinaciones. Esto plantea un reto significativo para los desarrolladores, quienes deben equilibrar la mejora del rendimiento del modelo con la necesidad de mantener altos estándares de precisión.

OpenAI ha reconocido la gravedad del problema, y un portavoz ha afirmado que abordar las alucinaciones en todos sus modelos es un área de investigación continua, con un compromiso firme por mejorar la precisión y la fiabilidad. Sin embargo, a medida que la presión por ofrecer modelos más robustos y precisos aumenta, la comunidad de IA debe estar preparada para enfrentar estos desafíos de frente.

En este contexto, es fundamental que los investigadores, desarrolladores y empresas colaboren para encontrar soluciones que mitiguen el fenómeno de las alucinaciones. A medida que el campo de la IA avanza, la búsqueda de un equilibrio entre creatividad y precisión será esencial para garantizar que estos modelos sean útiles y confiables en aplicaciones del mundo real. La evolución de la IA no solo dependerá de la innovación tecnológica, sino también de la capacidad de la comunidad para abordar y resolver los problemas que surgen en el camino.