AI21 Labs lanza Jamba, un modelo generativo de texto innovador
La industria de la inteligencia artificial se está moviendo cada vez más hacia modelos generativos de IA con contextos más largos. Pero los modelos con ventanas de contexto grandes tienden a ser intensivos en cómputo. Ori Goshen, CEO de la startup de IA AI21 Labs, afirma que esto no tiene por qué ser así, y su empresa está lanzando un modelo generativo para demostrarlo.
AI21 Labs ha presentado Jamba, un nuevo modelo de generación y análisis de texto, que puede realizar muchas de las mismas tareas que modelos como ChatGPT de OpenAI y Gemini de Google. Entrenado con una mezcla de datos públicos y propietarios, Jamba puede escribir texto en inglés, francés, español y portugués.
Un modelo eficiente y prometedor
Jamba puede manejar hasta 140,000 tokens mientras se ejecuta en una sola GPU con al menos 80GB de memoria. Esto se traduce en alrededor de 105,000 palabras, o 210 páginas, lo que equivale a una novela de tamaño decente. Por otro lado, Llama 2 de Meta tiene una ventana de contexto de 32,000 tokens, pero solo requiere una GPU con ~12GB de memoria para funcionar.
El corazón de Jamba: transformers y modelos de espacio estatal
Lo que hace único a Jamba es su combinación de dos arquitecturas de modelos: transformers y modelos de espacio estatal (SSM). Los transformers son la arquitectura preferida para tareas de razonamiento complejas, mientras que los SSM combinan cualidades de modelos de IA más antiguos para crear una arquitectura más eficiente computacionalmente capaz de manejar secuencias largas de datos.
Innovación y eficiencia
Jamba utiliza Mamba como modelo base, lo que según Goshen, proporciona tres veces la capacidad en contextos largos en comparación con modelos basados en transformers de tamaños comparables. Aunque se ha lanzado bajo la licencia Apache 2.0, Goshen destaca que es un lanzamiento de investigación y no está destinado a ser utilizado comercialmente.
Promesa de la arquitectura SSM
A pesar de sus limitaciones, Goshen asegura que Jamba demuestra el potencial de la arquitectura SSM incluso en esta etapa inicial. "El valor añadido de este modelo, tanto por su tamaño como por su arquitectura innovadora, es que se puede adaptar fácilmente a una sola GPU", afirmó. Se espera que el rendimiento mejore aún más a medida que Mamba reciba ajustes adicionales.
Otras noticias • IA
Corporaciones aumentan deuda al invertir en inteligencia artificial
Las grandes corporaciones, como Amazon, están invirtiendo sumas astronómicas en inteligencia artificial, aumentando su deuda en un entorno económico incierto. A medida que la competencia...
Fable de Anthropic enfrenta críticas por restricciones excesivas en ciberseguridad
El lanzamiento de Fable por Anthropic ha generado críticas en ciberseguridad debido a sus restricciones excesivas, limitando su utilidad. Expertos como Valentina Palmiotti y Matt...
Inteligencia artificial: personalización puede comprometer precisión en respuestas
La adaptabilidad de la inteligencia artificial, aunque atractiva, puede comprometer la precisión de las respuestas al ajustarse demasiado a las preferencias del usuario. Investigaciones recientes...
Warner Music adquiere Sureel AI para proteger derechos de artistas
Warner Music Group ha adquirido Sureel AI, una startup que permite a artistas controlar el uso de su música por inteligencia artificial. Esta compra busca...
Meta y Reliance crean centro de datos de IA en India
Meta y Reliance Industries han unido fuerzas para crear un centro de datos de IA en Jamnagar, India, impulsados por políticas gubernamentales favorables. Esta colaboración...
Sabertooth Capital democratiza inversiones en startups tecnológicas para todos
Sabertooth Capital, dirigida por Justin Ernest, ofrece acceso a inversiones en startups tecnológicas a pequeños inversores mediante vehículos de propósito especial (SPVs). Su enfoque innovador...
Google reduce suscripción AI Plus a 4,99 dólares mensuales
Google ha reducido el precio de su suscripción AI Plus de 7,99 a 4,99 dólares al mes, duplicando el almacenamiento a 400 GB. Esta estrategia...
Sabertooth VC transforma inversiones en IA con enfoque innovador
Sabertooth VC, liderado por Justin Ernest, ha revolucionado el capital riesgo al facilitar el acceso a inversiones en startups de inteligencia artificial mediante Vehículos de...
Lo más reciente
- 1
Microsoft adquiere 37,000 toneladas de créditos de carbono en India
- 2
Andrew Redd lanza Endurance Energy para revolucionar la energía geotérmica
- 3
DoorDash presenta "Ask DoorDash", su nuevo chatbot de pedidos
- 4
Anthropic y TCS impulsan la IA en diversas industrias en India
- 5
Opendoor cierra en India, el futuro del trabajo offshore incierto
- 6
Exingeniero demanda a xAI y SpaceX por despido injusto
- 7
Hackers norcoreanos amenazan ciberseguridad con robos y suplantación

