IA | Innovación

AI21 Labs lanza Jamba, modelo generativo de texto eficiente

AI21 Labs lanza Jamba, un modelo generativo de texto innovador

La industria de la inteligencia artificial se está moviendo cada vez más hacia modelos generativos de IA con contextos más largos. Pero los modelos con ventanas de contexto grandes tienden a ser intensivos en cómputo. Ori Goshen, CEO de la startup de IA AI21 Labs, afirma que esto no tiene por qué ser así, y su empresa está lanzando un modelo generativo para demostrarlo.

AI21 Labs ha presentado Jamba, un nuevo modelo de generación y análisis de texto, que puede realizar muchas de las mismas tareas que modelos como ChatGPT de OpenAI y Gemini de Google. Entrenado con una mezcla de datos públicos y propietarios, Jamba puede escribir texto en inglés, francés, español y portugués.

Un modelo eficiente y prometedor

Jamba puede manejar hasta 140,000 tokens mientras se ejecuta en una sola GPU con al menos 80GB de memoria. Esto se traduce en alrededor de 105,000 palabras, o 210 páginas, lo que equivale a una novela de tamaño decente. Por otro lado, Llama 2 de Meta tiene una ventana de contexto de 32,000 tokens, pero solo requiere una GPU con ~12GB de memoria para funcionar.

El corazón de Jamba: transformers y modelos de espacio estatal

Lo que hace único a Jamba es su combinación de dos arquitecturas de modelos: transformers y modelos de espacio estatal (SSM). Los transformers son la arquitectura preferida para tareas de razonamiento complejas, mientras que los SSM combinan cualidades de modelos de IA más antiguos para crear una arquitectura más eficiente computacionalmente capaz de manejar secuencias largas de datos.

Innovación y eficiencia

Jamba utiliza Mamba como modelo base, lo que según Goshen, proporciona tres veces la capacidad en contextos largos en comparación con modelos basados en transformers de tamaños comparables. Aunque se ha lanzado bajo la licencia Apache 2.0, Goshen destaca que es un lanzamiento de investigación y no está destinado a ser utilizado comercialmente.

Promesa de la arquitectura SSM

A pesar de sus limitaciones, Goshen asegura que Jamba demuestra el potencial de la arquitectura SSM incluso en esta etapa inicial. "El valor añadido de este modelo, tanto por su tamaño como por su arquitectura innovadora, es que se puede adaptar fácilmente a una sola GPU", afirmó. Se espera que el rendimiento mejore aún más a medida que Mamba reciba ajustes adicionales.


Podcast El Desván de las Paradojas
Publicidad


Otras noticias • IA

Sostenibilidad tecnológica

SpaceX prioriza acceso al agua en su OPI por sostenibilidad

SpaceX ha incluido una cláusula sobre el acceso al agua en su OPI, destacando la importancia de este recurso para sus centros de datos. Este...

Oferta pública

Anthropic busca OPI valorada en casi 1 billón de dólares

Anthropic, el laboratorio de inteligencia artificial detrás del modelo Claude, ha solicitado confidencialmente una oferta pública inicial (OPI) con una valoración cercana a 1 billón...

Predicción revolucionaria

WindBorne Systems transforma la predicción meteorológica con innovación

WindBorne Systems, fundada por estudiantes de Stanford, ha revolucionado la predicción meteorológica con su modelo WeatherMesh 6, que utiliza globos meteorológicos y aprendizaje profundo para...

Crecimiento privado

DuckDuckGo crece al priorizar privacidad y personalización en búsquedas

DuckDuckGo ha crecido significativamente al ofrecer una experiencia de búsqueda sin inteligencia artificial, capitalizando la creciente preocupación por la privacidad. Sus nuevas extensiones permiten a...

Descontento económico

Microsoft cambia facturación de GitHub Copilot y desata descontento

La modificación del modelo de facturación de Github Copilot por parte de Microsoft ha generado descontento entre pequeños desarrolladores, al pasar de una suscripción fija...

IA supervisada

Desarrolladores en 2026: IA y supervisión para calidad del código

En 2026, los desarrolladores dependen en gran medida de la IA para programar, aunque esto ha generado dudas sobre la calidad del código y el...

Colaboración tecnológica

Cognition recauda 1.000 millones para su agente de codificación Devin

Cognition, una startup valorada en 26.000 millones, ha recaudado 1.000 millones para su agente de codificación, Devin. Su CEO, Scott Wu, destaca que Devin asistirá...

Búsqueda empresarial

Glean revoluciona búsqueda empresarial con IA y 300 millones anuales

Glean se destaca en la búsqueda empresarial impulsada por IA, con ingresos recurrentes anuales de 300 millones de dólares. Su enfoque en el "context graph"...