AI21 Labs lanza Jamba, un modelo generativo de texto innovador
La industria de la inteligencia artificial se está moviendo cada vez más hacia modelos generativos de IA con contextos más largos. Pero los modelos con ventanas de contexto grandes tienden a ser intensivos en cómputo. Ori Goshen, CEO de la startup de IA AI21 Labs, afirma que esto no tiene por qué ser así, y su empresa está lanzando un modelo generativo para demostrarlo.
AI21 Labs ha presentado Jamba, un nuevo modelo de generación y análisis de texto, que puede realizar muchas de las mismas tareas que modelos como ChatGPT de OpenAI y Gemini de Google. Entrenado con una mezcla de datos públicos y propietarios, Jamba puede escribir texto en inglés, francés, español y portugués.
Un modelo eficiente y prometedor
Jamba puede manejar hasta 140,000 tokens mientras se ejecuta en una sola GPU con al menos 80GB de memoria. Esto se traduce en alrededor de 105,000 palabras, o 210 páginas, lo que equivale a una novela de tamaño decente. Por otro lado, Llama 2 de Meta tiene una ventana de contexto de 32,000 tokens, pero solo requiere una GPU con ~12GB de memoria para funcionar.
El corazón de Jamba: transformers y modelos de espacio estatal
Lo que hace único a Jamba es su combinación de dos arquitecturas de modelos: transformers y modelos de espacio estatal (SSM). Los transformers son la arquitectura preferida para tareas de razonamiento complejas, mientras que los SSM combinan cualidades de modelos de IA más antiguos para crear una arquitectura más eficiente computacionalmente capaz de manejar secuencias largas de datos.
Innovación y eficiencia
Jamba utiliza Mamba como modelo base, lo que según Goshen, proporciona tres veces la capacidad en contextos largos en comparación con modelos basados en transformers de tamaños comparables. Aunque se ha lanzado bajo la licencia Apache 2.0, Goshen destaca que es un lanzamiento de investigación y no está destinado a ser utilizado comercialmente.
Promesa de la arquitectura SSM
A pesar de sus limitaciones, Goshen asegura que Jamba demuestra el potencial de la arquitectura SSM incluso en esta etapa inicial. "El valor añadido de este modelo, tanto por su tamaño como por su arquitectura innovadora, es que se puede adaptar fácilmente a una sola GPU", afirmó. Se espera que el rendimiento mejore aún más a medida que Mamba reciba ajustes adicionales.
Otras noticias • IA
Inteligencia artificial revoluciona el sector legal con Legora
La inteligencia artificial está transformando el sector legal, destacando la inversión de NVentures en Legora, una startup que optimiza el trabajo de abogados. La competencia...
Google presenta Gemini, la IA que transformará la conducción
Google lanzará su sistema de IA, Gemini, en vehículos con Google integrado, mejorando la interacción entre conductores y coches. Con funciones como conversaciones en tiempo...
BioticsAI transforma diagnóstico prenatal con IA y FDA aprobada
BioticsAI, cofundada por Robhy Bustami, está revolucionando el diagnóstico prenatal mediante un copiloto de IA para ultrasonidos. Con la aprobación de la FDA, la empresa...
Elon Musk revela desafíos éticos en distilación de IA
La distilación en inteligencia artificial, revelada por Elon Musk en un juicio contra OpenAI, plantea desafíos éticos y de competencia. Gigantes tecnológicos como OpenAI y...
OpenAI y Yubico lanzan llaves de seguridad para ChatGPT
OpenAI ha lanzado el sistema Advanced Account Security (AAS) en colaboración con Yubico, introduciendo llaves de seguridad para proteger cuentas de ChatGPT contra el phishing....
Stripe lanza Link, cartera digital con inteligencia artificial integrada
Stripe ha lanzado Link, una cartera digital que integra inteligencia artificial para facilitar pagos y gestionar finanzas. Permite vincular múltiples métodos de pago, rastrear gastos...
Elon Musk transforma X con inteligencia artificial para anunciantes
Elon Musk impulsa a X (antes Twitter) hacia una nueva era publicitaria con un sistema basado en inteligencia artificial, buscando recuperar la confianza de los...
Meta impulsa IA empresarial con herramientas gratuitas y monetización futura
Meta está revolucionando la inteligencia artificial en el ámbito empresarial, con un crecimiento notable en sus herramientas de IA y la adopción por pequeñas y...
Lo más reciente
- 1
ChatGPT Images 2.0 revoluciona la creatividad artística en India
- 2
Skio de Kennan Frost: éxito en pagos por suscripción
- 3
Apple reporta ingresos récord pero enfrenta escasez de chips
- 4
Rivian reestructura préstamo y se alía con Uber para robotaxis
- 5
Anthropic busca 50.000 millones para potenciar su crecimiento en IA
- 6
Apple crece un 6% en ventas de Mac por IA
- 7
Vulnerabilidad crítica en cPanel expone servidores web a hackers

