AI21 Labs lanza Jamba, un modelo generativo de texto innovador
La industria de la inteligencia artificial se está moviendo cada vez más hacia modelos generativos de IA con contextos más largos. Pero los modelos con ventanas de contexto grandes tienden a ser intensivos en cómputo. Ori Goshen, CEO de la startup de IA AI21 Labs, afirma que esto no tiene por qué ser así, y su empresa está lanzando un modelo generativo para demostrarlo.
AI21 Labs ha presentado Jamba, un nuevo modelo de generación y análisis de texto, que puede realizar muchas de las mismas tareas que modelos como ChatGPT de OpenAI y Gemini de Google. Entrenado con una mezcla de datos públicos y propietarios, Jamba puede escribir texto en inglés, francés, español y portugués.
Un modelo eficiente y prometedor
Jamba puede manejar hasta 140,000 tokens mientras se ejecuta en una sola GPU con al menos 80GB de memoria. Esto se traduce en alrededor de 105,000 palabras, o 210 páginas, lo que equivale a una novela de tamaño decente. Por otro lado, Llama 2 de Meta tiene una ventana de contexto de 32,000 tokens, pero solo requiere una GPU con ~12GB de memoria para funcionar.
El corazón de Jamba: transformers y modelos de espacio estatal
Lo que hace único a Jamba es su combinación de dos arquitecturas de modelos: transformers y modelos de espacio estatal (SSM). Los transformers son la arquitectura preferida para tareas de razonamiento complejas, mientras que los SSM combinan cualidades de modelos de IA más antiguos para crear una arquitectura más eficiente computacionalmente capaz de manejar secuencias largas de datos.
Innovación y eficiencia
Jamba utiliza Mamba como modelo base, lo que según Goshen, proporciona tres veces la capacidad en contextos largos en comparación con modelos basados en transformers de tamaños comparables. Aunque se ha lanzado bajo la licencia Apache 2.0, Goshen destaca que es un lanzamiento de investigación y no está destinado a ser utilizado comercialmente.
Promesa de la arquitectura SSM
A pesar de sus limitaciones, Goshen asegura que Jamba demuestra el potencial de la arquitectura SSM incluso en esta etapa inicial. "El valor añadido de este modelo, tanto por su tamaño como por su arquitectura innovadora, es que se puede adaptar fácilmente a una sola GPU", afirmó. Se espera que el rendimiento mejore aún más a medida que Mamba reciba ajustes adicionales.
Otras noticias • IA
YouTube combate contenido de baja calidad generado por IA
YouTube ha actualizado sus políticas para combatir el "contenido de baja calidad" generado por IA, clasificándolo en tres categorías. Estas medidas buscan fomentar la autenticidad...
Japón impulsa inteligencia artificial con 6.200 millones en Noetra
Japón busca liderar en inteligencia artificial física mediante la iniciativa Noetra, que involucra a 44 empresas y una inversión de 6.200 millones de dólares. Colaboraciones...
Nolan advierte sobre la amenaza de la inteligencia artificial en cine
Christopher Nolan expresa su preocupación sobre la inteligencia artificial en el cine, advirtiendo sobre su potencial amenaza y el rechazo del público, especialmente entre los...
Current AI impulsa inclusión y diversidad cultural en inteligencia artificial
Current AI, una organización sin ánimo de lucro, promueve la inclusión en la inteligencia artificial en India y otras regiones, desarrollando soluciones en múltiples idiomas...
Preocupación en EE. UU. por el modelo Kimi K3 de Moonshot AI
La presentación del modelo Kimi K3 por Moonshot AI ha generado preocupación en EE. UU. por la competencia en inteligencia artificial. Expertos advierten sobre los...
Databricks se valora en 188 mil millones y lidera IA
Databricks ha alcanzado una valoración de 188 mil millones de dólares tras una exitosa ronda de financiación, transformándose de proveedor de SaaS a líder en...
Agility Robotics inaugura nueva instalación para avanzar en robótica humanoide
Agility Robotics ha inaugurado una instalación de 60,000 pies cuadrados en Fremont, California, para avanzar en la robótica humanoide con su robot Digit. Con contratos...
Patreon y Cloudflare defienden derechos de creadores contra scraping
La lucha entre creadores de contenido y el scraping de inteligencia artificial se intensifica. Patreon, en colaboración con Cloudflare, implementa medidas para proteger los derechos...
Lo más reciente
- 1
Colossal Biosciences revive especies extintas y genera controversia ética
- 2
Debate intenso por acuerdo de 1.500 millones en IA
- 3
Crisis en regulación de IA tras renuncia de Chris Fall
- 4
MCP mejora interoperabilidad en IA con actualización "sin estado"
- 5
Alphabet lanza chip "Frozen v2" para revolucionar la IA
- 6
X lanza su nueva app Android con mejoras revolucionarias
- 7
Natural revoluciona pagos autónomos con 40 millones de dólares

