Antropía amplía la capacidad de su modelo de IA para conversar coherentemente durante horas

Antropía expande la ventana de contexto de su modelo de inteligencia artificial para generar texto

La memoria limitada ha sido un obstáculo para la utilidad de la inteligencia artificial generadora de texto, pero Antropía está tratando de cambiar eso. La startup de investigación de IA ha anunciado que ha expandido la ventana de contexto para su modelo de inteligencia artificial generadora de texto, llamado Claude, de 9.000 a 100.000 tokens.

El tamaño de la ventana de contexto se refiere al texto que el modelo considera antes de generar texto adicional, mientras que los tokens representan el texto sin procesar. Los modelos con ventanas de contexto pequeñas tienden a "olvidar" el contenido de las conversaciones, lo que los lleva a desviarse del tema. Además, después de unas pocas mil palabras, olvidan sus instrucciones iniciales y extrapolan su comportamiento a partir de la última información dentro de su ventana de contexto en lugar de la solicitud original.

Antropía afirma que, con una memoria más grande, Claude debería poder conversar de manera relativamente coherente durante horas, e incluso varios días, en lugar de minutos. Y lo que es más importante, debería ser menos propenso a salirse del tema. El modelo también puede analizar y sintetizar grandes cantidades de información, lo que puede tener aplicaciones en la comprensión de documentos financieros o informes de investigación, la identificación de riesgos y oportunidades para las empresas, la evaluación de la legislación y la lectura de documentación técnica.

Ventana de contexto más grande para Claude

Claude ahora tiene la ventana de contexto más grande disponible, superando a modelos como GPT-4 de OpenAI, que tiene una ventana de contexto de hasta 32.000 tokens. La expansión de la ventana de contexto ha sido un área de enfoque para los laboratorios de IA, y Antropía está en la vanguardia con esta última actualización.

La ventana de contexto más grande permite a Claude digerir y analizar cientos de páginas de materiales. La actualización también permite que el modelo recupere información de varios documentos o incluso de un libro, respondiendo a preguntas que requieren "síntesis de conocimiento" en varias partes del texto.

Antropía enumera algunas posibles aplicaciones, como la digestión, resumen y explicación de documentos financieros o de investigación, el análisis de riesgos y oportunidades para una empresa en función de sus informes anuales, la evaluación de los pros y los contras de una legislación, la identificación de riesgos, temas y diferentes formas de argumento en documentos legales y la lectura de documentación técnica.

Ventana de contexto más grande para la inteligencia artificial generadora de texto

La actualización de Antropía significa que Claude puede leer y analizar 100.000 tokens de texto en menos de un minuto. En una prueba, la startup cargó todo el texto de "El gran Gatsby" en Claude y modificó una línea para decir que el personaje era "un ingeniero de software que trabaja en herramientas de aprendizaje automático en Antropía". El modelo pudo detectar la diferencia en solo 22 segundos.

Sin embargo, la ventana de contexto más grande no resuelve los demás desafíos relacionados con la memoria en torno a los modelos de lenguaje grandes. Claude, como la mayoría de los modelos de su clase, no puede retener información de una sesión a otra. Y a diferencia del cerebro humano, trata cada pieza de información como igualmente importante, lo que lo convierte en un narrador no especialmente confiable. Algunos expertos creen que la solución a estos problemas requerirá arquitecturas de modelos completamente nuevas.

Aún así, Antropía parece estar a la vanguardia en la expansión de la ventana de contexto de los modelos de IA generadores de texto.