IA | Innovación

AI21 Labs lanza Jamba, modelo generativo de texto eficiente

AI21 Labs lanza Jamba, un modelo generativo de texto innovador

La industria de la inteligencia artificial se está moviendo cada vez más hacia modelos generativos de IA con contextos más largos. Pero los modelos con ventanas de contexto grandes tienden a ser intensivos en cómputo. Ori Goshen, CEO de la startup de IA AI21 Labs, afirma que esto no tiene por qué ser así, y su empresa está lanzando un modelo generativo para demostrarlo.

AI21 Labs ha presentado Jamba, un nuevo modelo de generación y análisis de texto, que puede realizar muchas de las mismas tareas que modelos como ChatGPT de OpenAI y Gemini de Google. Entrenado con una mezcla de datos públicos y propietarios, Jamba puede escribir texto en inglés, francés, español y portugués.

Un modelo eficiente y prometedor

Jamba puede manejar hasta 140,000 tokens mientras se ejecuta en una sola GPU con al menos 80GB de memoria. Esto se traduce en alrededor de 105,000 palabras, o 210 páginas, lo que equivale a una novela de tamaño decente. Por otro lado, Llama 2 de Meta tiene una ventana de contexto de 32,000 tokens, pero solo requiere una GPU con ~12GB de memoria para funcionar.

El corazón de Jamba: transformers y modelos de espacio estatal

Lo que hace único a Jamba es su combinación de dos arquitecturas de modelos: transformers y modelos de espacio estatal (SSM). Los transformers son la arquitectura preferida para tareas de razonamiento complejas, mientras que los SSM combinan cualidades de modelos de IA más antiguos para crear una arquitectura más eficiente computacionalmente capaz de manejar secuencias largas de datos.

Innovación y eficiencia

Jamba utiliza Mamba como modelo base, lo que según Goshen, proporciona tres veces la capacidad en contextos largos en comparación con modelos basados en transformers de tamaños comparables. Aunque se ha lanzado bajo la licencia Apache 2.0, Goshen destaca que es un lanzamiento de investigación y no está destinado a ser utilizado comercialmente.

Promesa de la arquitectura SSM

A pesar de sus limitaciones, Goshen asegura que Jamba demuestra el potencial de la arquitectura SSM incluso en esta etapa inicial. "El valor añadido de este modelo, tanto por su tamaño como por su arquitectura innovadora, es que se puede adaptar fácilmente a una sola GPU", afirmó. Se espera que el rendimiento mejore aún más a medida que Mamba reciba ajustes adicionales.


Podcast El Desván de las Paradojas
Publicidad


Otras noticias • IA

Descontento juvenil

Estudiantes de Stanford protestan contra Google por ética empresarial

La protesta de estudiantes en la graduación de Stanford contra Sundar Pichai de Google refleja el descontento juvenil por la complicidad de la empresa en...

Incertidumbre tecnológica

Gobierno de EE.UU. genera incertidumbre en el sector tecnológico

La intervención del gobierno de EE.UU. en Anthropic, un laboratorio de IA, ha generado incertidumbre en el sector tecnológico. Las medidas de control de exportaciones...

Inteligencia artificial

Meta potencia Facebook con inteligencia artificial y nuevas funciones

Meta está intensificando sus esfuerzos en inteligencia artificial con nuevas funciones en Facebook, como el "AI Mode" para búsquedas más naturales y herramientas creativas para...

Adquisición estratégica

Salesforce compra Fin por 3.600 millones para mejorar atención

Salesforce ha adquirido Fin, una plataforma de servicio al cliente basada en inteligencia artificial, por 3.600 millones de dólares. Esta compra busca mejorar la experiencia...

Restricciones cibernéticas

Expertos piden a EE.UU. levantar restricciones a modelos de Anthropic

Un grupo de 76 expertos en ciberseguridad ha solicitado al gobierno de EE.UU. que levante las restricciones a los modelos Fable y Mythos de Anthropic,...

Inversión significativa

Sarvam recauda 234 millones y alcanza valoración de 1.500 millones

Sarvam, una startup india de inteligencia artificial, ha recaudado 234 millones de dólares, alcanzando una valoración de 1.500 millones. Con el apoyo de HCLTech, busca...

Ciberseguridad innovadora

NewCore recauda 66 millones para ciberseguridad e IA

NewCore, una startup de ciberseguridad, ha recaudado 66 millones de dólares para gestionar identidades humanas y de agentes de IA. Con un enfoque innovador y...

Tensiones geopolíticas

Meta cancela adquisición de Manus por tensiones geopolíticas con China

El desmantelamiento de la adquisición de Manus por parte de Meta refleja las crecientes tensiones geopolíticas entre Estados Unidos y China en el sector tecnológico....