La lucha de la inteligencia artificial con la historia
La inteligencia artificial ha demostrado ser una herramienta poderosa en una variedad de campos, desde la programación hasta la creación de contenido multimedia. Sin embargo, recientes investigaciones han revelado que su desempeño en áreas que requieren un entendimiento profundo, como la historia, deja mucho que desear. Un nuevo estudio ha puesto de manifiesto las limitaciones de los modelos de lenguaje de gran tamaño (LLMs) al intentar responder a preguntas históricas complejas, un hallazgo que plantea preguntas sobre la efectividad de estas tecnologías en la investigación académica.
Un nuevo estándar de evaluación
Un equipo de investigadores ha desarrollado un nuevo estándar de evaluación, denominado Hist-LLM, para probar tres de los principales LLMs del mercado: GPT-4 de OpenAI, Llama de Meta y Gemini de Google. Este nuevo benchmark se basa en la Seshat Global History Databank, una vasta base de datos que recoge información histórica y que toma su nombre de la diosa egipcia de la sabiduría. El objetivo es evaluar la precisión de las respuestas de estos modelos a preguntas históricas específicas, y los resultados han sido desalentadores.
La presentación de estos resultados en la conferencia de inteligencia artificial NeurIPS, celebrada el mes pasado, dejó claro que, a pesar de la sofisticación de estos modelos, su capacidad para entender la historia en profundidad es limitada. El modelo que obtuvo el mejor rendimiento, GPT-4 Turbo, alcanzó solo un 46% de precisión en sus respuestas, un resultado que no se aleja mucho de lo que se podría esperar de una respuesta aleatoria.
Limitaciones en el entendimiento profundo
Maria del Rio-Chanona, coautora del estudio y profesora asociada de informática en University College London, ha destacado que la principal conclusión del estudio es que, aunque los LLMs son impresionantes, aún carecen de la profundidad de entendimiento necesaria para abordar preguntas históricas avanzadas. Si bien son útiles para recuperar datos básicos, no están preparados para indagar en cuestiones más complejas que requieren un conocimiento matizado, como las que se encuentran en un contexto académico de nivel doctoral.
Para ilustrar estas limitaciones, los investigadores compartieron ejemplos de preguntas históricas que los LLMs no lograron responder correctamente. Por ejemplo, se preguntó a GPT-4 Turbo si existía una armadura de escala durante un periodo específico de la antigua Egipto, a lo que el modelo respondió afirmativamente, a pesar de que esta tecnología no apareció en Egipto hasta 1,500 años más tarde. Este tipo de errores resalta la falta de comprensión histórica que poseen estos modelos.
La extrapolación de datos prominentes
Una de las preguntas que surge de este estudio es por qué los LLMs parecen tener un mejor rendimiento en tareas técnicas, como la programación, pero fallan en preguntas históricas. Del Rio-Chanona sugiere que esto se debe a que estos modelos tienden a extrapolar a partir de datos históricos que son más prominentes, teniendo dificultades para acceder a conocimientos históricos más oscuros o menos representados.
Por ejemplo, cuando se preguntó a GPT-4 si Egipto antiguo contaba con un ejército profesional durante un periodo histórico específico, el modelo erróneamente afirmó que sí. Este error probablemente se debe a la cantidad de información pública disponible sobre otros imperios antiguos, como Persia, que sí tenían ejércitos permanentes. Este fenómeno pone de relieve cómo los modelos de lenguaje pueden estar sesgados por la información que han procesado durante su entrenamiento.
"Si se te dice A y B 100 veces, y C 1 vez, y luego te hacen una pregunta sobre C, es probable que recuerdes A y B y trates de extrapolar a partir de eso", explica del Rio-Chanona.
Sesgos en los modelos de lenguaje
Los investigadores también identificaron tendencias adicionales en el rendimiento de los modelos, indicando que tanto OpenAI como Llama presentaron resultados más pobres en ciertas regiones, como África subsahariana. Este hallazgo sugiere la existencia de sesgos potenciales en los datos de entrenamiento utilizados para desarrollar estos modelos. La falta de diversidad en los datos puede llevar a que los LLMs no sean capaces de proporcionar respuestas precisas o justas sobre la historia de diferentes culturas y civilizaciones.
Este sesgo en el entrenamiento de los modelos de lenguaje plantea importantes cuestiones sobre su uso en la investigación histórica y cómo estas herramientas pueden ser mejoradas para proporcionar un conocimiento más equilibrado y preciso.
La esperanza de una colaboración futura
A pesar de los resultados decepcionantes, los investigadores se mantienen optimistas sobre el potencial de los LLMs para ayudar a los historiadores en el futuro. Están trabajando en la refinación de su benchmark para incluir más datos de regiones subrepresentadas y para agregar preguntas más complejas que puedan desafiar a estos modelos de manera más efectiva. La idea es que, aunque los resultados actuales resaltan áreas donde los LLMs necesitan mejorar, también subrayan el potencial que estos modelos tienen para contribuir a la investigación histórica.
La colaboración entre historiadores y desarrolladores de inteligencia artificial podría resultar en un avance significativo en la capacidad de estos modelos para manejar preguntas históricas. Si se pueden ajustar los datos de entrenamiento y se introducen nuevas metodologías, podría ser posible que los LLMs se conviertan en herramientas valiosas para la investigación en historia.
El futuro de la inteligencia artificial en la historia
El estudio presentado por los investigadores no solo pone de manifiesto las limitaciones actuales de la inteligencia artificial en el ámbito histórico, sino que también invita a una reflexión más profunda sobre cómo se pueden utilizar estas tecnologías de manera responsable. A medida que la inteligencia artificial continúa evolucionando, es fundamental que quienes desarrollan y aplican estas herramientas reconozcan las limitaciones y sesgos existentes. Esto no solo permitirá mejorar la precisión de los modelos, sino que también asegurará que se utilicen de manera ética en el ámbito académico.
"En general, mientras nuestros resultados destacan áreas donde los LLMs necesitan mejorar, también subrayan el potencial de estos modelos para ayudar en la investigación histórica", señala el documento de investigación.
La intersección entre la inteligencia artificial y la historia es un campo en crecimiento que promete ser un área de exploración fascinante en los próximos años. A medida que se desarrollen nuevas tecnologías y se realicen más investigaciones, será interesante observar cómo se transforman estas herramientas y su capacidad para entender y representar el pasado.
Otras noticias • IA
Calvin French-Owen expone desafíos de crecimiento en OpenAI
Calvin French-Owen, exingeniero de OpenAI, revela en su blog los desafíos de la rápida expansión de la empresa, que creció de 1,000 a 3,000 empleados....
Meta AI expone conversaciones privadas, genera alarma por seguridad
Un fallo de seguridad en Meta AI permitió a los usuarios acceder a conversaciones privadas de otros, generando preocupaciones sobre la privacidad. Aunque Meta corrigió...
Thinking Machines Lab recauda 2.000 millones y se posiciona fuerte
Thinking Machines Lab, fundada por Mira Murati, ha recaudado 2.000 millones de dólares, alcanzando una valoración de 12.000 millones. Con planes de lanzar un producto...
IA en Google Discover: ¿Amenaza para la calidad informativa?
La implementación de resúmenes de noticias generados por IA en Google Discover está transformando el ecosistema informativo, generando preocupación entre editores por la disminución del...
Investigadores piden supervisar cadenas de pensamiento en inteligencia artificial
Un grupo de investigadores destaca la necesidad de supervisar las "cadenas de pensamiento" (CoTs) en modelos de inteligencia artificial para garantizar su transparencia y seguridad....
Mistral presenta Voxtral, revolucionando la transcripción multilingüe accesible
Mistral lanza Voxtral, un modelo de audio abierto que permite transcripciones y comprensión multilingüe a un coste competitivo. Con capacidades avanzadas y accesibilidad, busca democratizar...
Grok 4 de xAI genera críticas por errores éticos graves
La controversia de Grok 4 de xAI destaca la responsabilidad ética en el desarrollo de inteligencia artificial. Errores graves, como respuestas antisemitas, han generado críticas...
Nvidia busca reanudar venta de chips H20 a China
Nvidia ha solicitado reanudar la venta de su chip H20 a China, reflejando las tensiones entre EE.UU. y China en el sector tecnológico. Las restricciones...
Lo más reciente
- 1
India impulsa computación cuántica con QpiAI y 32 millones
- 2
General Motors y Redwood Materials impulsan reciclaje de baterías eléctricas
- 3
Nvidia reanuda ventas de chip H20 AI en China
- 4
Activision intensifica medidas contra trampas en videojuegos multijugador
- 5
Caen ventas del Cybertruck mientras Tesla enfrenta creciente competencia
- 6
Bedrock Robotics revoluciona construcción con vehículos autónomos innovadores
- 7
Google lanza llamadas comerciales con IA para mejorar la comunicación