AI21 Labs lanza Jamba, un modelo generativo de texto innovador
La industria de la inteligencia artificial se está moviendo cada vez más hacia modelos generativos de IA con contextos más largos. Pero los modelos con ventanas de contexto grandes tienden a ser intensivos en cómputo. Ori Goshen, CEO de la startup de IA AI21 Labs, afirma que esto no tiene por qué ser así, y su empresa está lanzando un modelo generativo para demostrarlo.
AI21 Labs ha presentado Jamba, un nuevo modelo de generación y análisis de texto, que puede realizar muchas de las mismas tareas que modelos como ChatGPT de OpenAI y Gemini de Google. Entrenado con una mezcla de datos públicos y propietarios, Jamba puede escribir texto en inglés, francés, español y portugués.
Un modelo eficiente y prometedor
Jamba puede manejar hasta 140,000 tokens mientras se ejecuta en una sola GPU con al menos 80GB de memoria. Esto se traduce en alrededor de 105,000 palabras, o 210 páginas, lo que equivale a una novela de tamaño decente. Por otro lado, Llama 2 de Meta tiene una ventana de contexto de 32,000 tokens, pero solo requiere una GPU con ~12GB de memoria para funcionar.
El corazón de Jamba: transformers y modelos de espacio estatal
Lo que hace único a Jamba es su combinación de dos arquitecturas de modelos: transformers y modelos de espacio estatal (SSM). Los transformers son la arquitectura preferida para tareas de razonamiento complejas, mientras que los SSM combinan cualidades de modelos de IA más antiguos para crear una arquitectura más eficiente computacionalmente capaz de manejar secuencias largas de datos.
Innovación y eficiencia
Jamba utiliza Mamba como modelo base, lo que según Goshen, proporciona tres veces la capacidad en contextos largos en comparación con modelos basados en transformers de tamaños comparables. Aunque se ha lanzado bajo la licencia Apache 2.0, Goshen destaca que es un lanzamiento de investigación y no está destinado a ser utilizado comercialmente.
Promesa de la arquitectura SSM
A pesar de sus limitaciones, Goshen asegura que Jamba demuestra el potencial de la arquitectura SSM incluso en esta etapa inicial. "El valor añadido de este modelo, tanto por su tamaño como por su arquitectura innovadora, es que se puede adaptar fácilmente a una sola GPU", afirmó. Se espera que el rendimiento mejore aún más a medida que Mamba reciba ajustes adicionales.
Otras noticias • IA
ChatGPT ahora permite interacción por voz para mayor eficiencia
OpenAI ha lanzado una actualización de ChatGPT que permite la interacción por voz, mejorando la eficiencia y naturalidad en el uso de la inteligencia artificial....
AMD lanza Helios para competir con Nvidia en IA
AMD ha lanzado Helios, un sistema de rack diseñado para revolucionar la computación en inteligencia artificial, desafiando a Nvidia. Con el procesador Venice-X en camino,...
AegisAI lucha contra el phishing impulsado por inteligencia artificial
La inteligencia artificial está potenciando ataques cibernéticos, especialmente a través del correo electrónico. AegisAI, una startup fundada por exejecutivos de Google, desarrolla soluciones innovadoras para...
Claude mejora rendimiento y se integra con Gmail y Slack
Anthropic ha actualizado su asistente virtual Claude, mejorando su rendimiento en conversaciones y permitiendo integración con aplicaciones como Gmail y Slack. La nueva versión ofrece...
ChatGPT Health transforma acceso médico pero plantea riesgos importantes
ChatGPT Health de OpenAI está revolucionando el acceso a información médica en EE. UU. Sin embargo, su uso plantea riesgos, como lo evidenció una demanda...
Gemini de Google supera 950 millones de usuarios mensuales
Google ha anunciado que su asistente AI, Gemini, ha alcanzado más de 950 millones de usuarios mensuales, triplicando su base en un año. Con innovaciones...
Colaboración NASA y Lunar Outpost impulsa exploración lunar sostenible
La exploración lunar avanza con la colaboración de empresas como Lunar Outpost y la NASA, utilizando tecnología como los chips Jetson de Nvidia en rovers....
Controversia por supuesto plagio de IA entre Moonshot y Anthropic
La controversia sobre el modelo Kimi K3 de la empresa china Moonshot, acusado de copiar el modelo Fable de Anthropic, ha generado un intenso debate...
Lo más reciente
- 1
Samuel Tunick y el dilema de la privacidad digital
- 2
Cognition adquiere Poke para humanizar asistentes de IA
- 3
Gobierno indio restringe Bitchat ante protestas estudiantiles y debate
- 4
Anthropic presenta Opus 5, la IA más accesible y flexible
- 5
Empresas de IA piden evitar restricciones para fomentar innovación
- 6
World recauda 52,5 millones para revolucionar verificación de identidad
- 7
Bluesky lanza Attie, asistente de IA para personalizar feeds

