IA | Innovación

AI21 Labs lanza Jamba, modelo generativo de texto eficiente

AI21 Labs lanza Jamba, un modelo generativo de texto innovador

La industria de la inteligencia artificial se está moviendo cada vez más hacia modelos generativos de IA con contextos más largos. Pero los modelos con ventanas de contexto grandes tienden a ser intensivos en cómputo. Ori Goshen, CEO de la startup de IA AI21 Labs, afirma que esto no tiene por qué ser así, y su empresa está lanzando un modelo generativo para demostrarlo.

AI21 Labs ha presentado Jamba, un nuevo modelo de generación y análisis de texto, que puede realizar muchas de las mismas tareas que modelos como ChatGPT de OpenAI y Gemini de Google. Entrenado con una mezcla de datos públicos y propietarios, Jamba puede escribir texto en inglés, francés, español y portugués.

Un modelo eficiente y prometedor

Jamba puede manejar hasta 140,000 tokens mientras se ejecuta en una sola GPU con al menos 80GB de memoria. Esto se traduce en alrededor de 105,000 palabras, o 210 páginas, lo que equivale a una novela de tamaño decente. Por otro lado, Llama 2 de Meta tiene una ventana de contexto de 32,000 tokens, pero solo requiere una GPU con ~12GB de memoria para funcionar.

El corazón de Jamba: transformers y modelos de espacio estatal

Lo que hace único a Jamba es su combinación de dos arquitecturas de modelos: transformers y modelos de espacio estatal (SSM). Los transformers son la arquitectura preferida para tareas de razonamiento complejas, mientras que los SSM combinan cualidades de modelos de IA más antiguos para crear una arquitectura más eficiente computacionalmente capaz de manejar secuencias largas de datos.

Innovación y eficiencia

Jamba utiliza Mamba como modelo base, lo que según Goshen, proporciona tres veces la capacidad en contextos largos en comparación con modelos basados en transformers de tamaños comparables. Aunque se ha lanzado bajo la licencia Apache 2.0, Goshen destaca que es un lanzamiento de investigación y no está destinado a ser utilizado comercialmente.

Promesa de la arquitectura SSM

A pesar de sus limitaciones, Goshen asegura que Jamba demuestra el potencial de la arquitectura SSM incluso en esta etapa inicial. "El valor añadido de este modelo, tanto por su tamaño como por su arquitectura innovadora, es que se puede adaptar fácilmente a una sola GPU", afirmó. Se espera que el rendimiento mejore aún más a medida que Mamba reciba ajustes adicionales.


Crear Canciones Personalizadas
Publicidad


Otras noticias • IA

Alexa Hindi

Amazon lanza Alexa+ en hindi para usuarios en India

Amazon lanza Alexa+ en hindi en India, invitando a usuarios a un programa beta para mejorar la inteligencia artificial conversacional. Este movimiento busca adaptarse a...

Acuerdo tecnológico

Reflection y SpaceX se unen en acuerdo de IA millonario

La startup de IA Reflection ha firmado un acuerdo con SpaceX para acceder a chips de IA avanzados, valorado en 6.3 mil millones de dólares....

Identidad digital

La inteligencia artificial redefine nuestra identidad y memoria digital

La búsqueda digital ha evolucionado con herramientas como In the Weights, que utilizan inteligencia artificial para explorar la identidad y la memoria digital. Este cambio...

Inteligencia artificial

India avanza en inteligencia artificial con Reliance y Mukesh Ambani

India, liderada por Mukesh Ambani y Reliance Industries, busca convertirse en un referente en inteligencia artificial. Con innovaciones como el Jio Call Agent y servicios...

Transformación tecnológica

Allbirds se convierte en Smartbird y se enfoca en IA

Allbirds se transforma en Smartbird, un proveedor de infraestructura de inteligencia artificial, tras vender su negocio de calzado. Con Nadia Carlsten como CEO, la empresa...

Adquisición tecnológica

Elastic compra DeductiveAI por 85 millones potenciando la IA

Elastic ha adquirido DeductiveAI por hasta 85 millones de dólares, destacando la creciente importancia de la inteligencia artificial en la ingeniería de confiabilidad del software....

Inteligencia artificial

Snap lanza Dotmo para revolucionar videojuegos con inteligencia artificial

Snap ha creado Dotmo, una empresa independiente centrada en inteligencia artificial generativa para videojuegos, buscando diversificar su modelo de negocio. Dotmo desarrollará experiencias interactivas y...

Fortalecimiento estratégico

OpenAI refuerza su equipo con expertos en IA y ética

OpenAI ha incorporado a Noam Shazeer y Dean Ball, fortaleciendo su equipo en un momento crítico. Shazeer, experto en IA generativa, y Ball, con experiencia...