IA | Innovación

AI21 Labs lanza Jamba, modelo generativo de texto eficiente

AI21 Labs lanza Jamba, un modelo generativo de texto innovador

La industria de la inteligencia artificial se está moviendo cada vez más hacia modelos generativos de IA con contextos más largos. Pero los modelos con ventanas de contexto grandes tienden a ser intensivos en cómputo. Ori Goshen, CEO de la startup de IA AI21 Labs, afirma que esto no tiene por qué ser así, y su empresa está lanzando un modelo generativo para demostrarlo.

AI21 Labs ha presentado Jamba, un nuevo modelo de generación y análisis de texto, que puede realizar muchas de las mismas tareas que modelos como ChatGPT de OpenAI y Gemini de Google. Entrenado con una mezcla de datos públicos y propietarios, Jamba puede escribir texto en inglés, francés, español y portugués.

Un modelo eficiente y prometedor

Jamba puede manejar hasta 140,000 tokens mientras se ejecuta en una sola GPU con al menos 80GB de memoria. Esto se traduce en alrededor de 105,000 palabras, o 210 páginas, lo que equivale a una novela de tamaño decente. Por otro lado, Llama 2 de Meta tiene una ventana de contexto de 32,000 tokens, pero solo requiere una GPU con ~12GB de memoria para funcionar.

El corazón de Jamba: transformers y modelos de espacio estatal

Lo que hace único a Jamba es su combinación de dos arquitecturas de modelos: transformers y modelos de espacio estatal (SSM). Los transformers son la arquitectura preferida para tareas de razonamiento complejas, mientras que los SSM combinan cualidades de modelos de IA más antiguos para crear una arquitectura más eficiente computacionalmente capaz de manejar secuencias largas de datos.

Innovación y eficiencia

Jamba utiliza Mamba como modelo base, lo que según Goshen, proporciona tres veces la capacidad en contextos largos en comparación con modelos basados en transformers de tamaños comparables. Aunque se ha lanzado bajo la licencia Apache 2.0, Goshen destaca que es un lanzamiento de investigación y no está destinado a ser utilizado comercialmente.

Promesa de la arquitectura SSM

A pesar de sus limitaciones, Goshen asegura que Jamba demuestra el potencial de la arquitectura SSM incluso en esta etapa inicial. "El valor añadido de este modelo, tanto por su tamaño como por su arquitectura innovadora, es que se puede adaptar fácilmente a una sola GPU", afirmó. Se espera que el rendimiento mejore aún más a medida que Mamba reciba ajustes adicionales.


Crear Canciones Personalizadas
Publicidad


Otras noticias • IA

Ética IA

Controversia por supuesto plagio de IA entre Moonshot y Anthropic

La controversia sobre el modelo Kimi K3 de la empresa china Moonshot, acusado de copiar el modelo Fable de Anthropic, ha generado un intenso debate...

Inversión estratégica

ServiceNow invierte 40 millones en BusinessNext para revolucionar banca

ServiceNow ha invertido 40 millones de dólares en BusinessNext, un especialista en software bancario en India, con el objetivo de expandir su presencia en el...

Resultados decepcionantes

IBM enfrenta caída histórica en acciones tras decepcionantes resultados financieros

IBM ha reportado resultados financieros decepcionantes, con una caída del 42% en su negocio de mainframes, lo que llevó a una histórica caída del 25%...

Crecimiento notable

Google Cloud crece un 82% gracias a soluciones de IA

Alphabet ha visto un crecimiento notable en Google Cloud, con un aumento del 82% en ingresos, impulsado por la adopción de soluciones de IA. A...

Tensiones tecnológicas

Tensiones EE. UU. y China por apropiación de tecnología AI

Las tensiones entre EE. UU. y China en inteligencia artificial se intensifican tras acusaciones de apropiación indebida de tecnología. El secretario del Tesoro advierte sobre...

Revolución robótica

Travis Kalanick recauda 1.700 millones para su empresa Atoms

Travis Kalanick ha recaudado 1.700 millones de dólares para su nueva empresa de robótica, Atoms, con el apoyo de Uber y Andreessen Horowitz. Su objetivo...

Vulnerabilidades cibernéticas

Incidente de OpenAI expone fallas en IA y ciberseguridad

El incidente de OpenAI revela vulnerabilidades en la IA y errores humanos en la ciberseguridad. La falta de un entorno de prueba seguro y la...

Conexión auténtica

Yope transforma la conexión social con micro comunidades auténticas

Yope es una nueva startup que busca transformar la conexión social en línea, ofreciendo una plataforma centrada en micro comunidades privadas sin algoritmos ni publicidad....