Innovación | IA

AI21 Labs lanza Jamba, modelo generativo de texto eficiente

AI21 Labs lanza Jamba, un modelo generativo de texto innovador

La industria de la inteligencia artificial se está moviendo cada vez más hacia modelos generativos de IA con contextos más largos. Pero los modelos con ventanas de contexto grandes tienden a ser intensivos en cómputo. Ori Goshen, CEO de la startup de IA AI21 Labs, afirma que esto no tiene por qué ser así, y su empresa está lanzando un modelo generativo para demostrarlo.

AI21 Labs ha presentado Jamba, un nuevo modelo de generación y análisis de texto, que puede realizar muchas de las mismas tareas que modelos como ChatGPT de OpenAI y Gemini de Google. Entrenado con una mezcla de datos públicos y propietarios, Jamba puede escribir texto en inglés, francés, español y portugués.

Un modelo eficiente y prometedor

Jamba puede manejar hasta 140,000 tokens mientras se ejecuta en una sola GPU con al menos 80GB de memoria. Esto se traduce en alrededor de 105,000 palabras, o 210 páginas, lo que equivale a una novela de tamaño decente. Por otro lado, Llama 2 de Meta tiene una ventana de contexto de 32,000 tokens, pero solo requiere una GPU con ~12GB de memoria para funcionar.

El corazón de Jamba: transformers y modelos de espacio estatal

Lo que hace único a Jamba es su combinación de dos arquitecturas de modelos: transformers y modelos de espacio estatal (SSM). Los transformers son la arquitectura preferida para tareas de razonamiento complejas, mientras que los SSM combinan cualidades de modelos de IA más antiguos para crear una arquitectura más eficiente computacionalmente capaz de manejar secuencias largas de datos.

Innovación y eficiencia

Jamba utiliza Mamba como modelo base, lo que según Goshen, proporciona tres veces la capacidad en contextos largos en comparación con modelos basados en transformers de tamaños comparables. Aunque se ha lanzado bajo la licencia Apache 2.0, Goshen destaca que es un lanzamiento de investigación y no está destinado a ser utilizado comercialmente.

Promesa de la arquitectura SSM

A pesar de sus limitaciones, Goshen asegura que Jamba demuestra el potencial de la arquitectura SSM incluso en esta etapa inicial. "El valor añadido de este modelo, tanto por su tamaño como por su arquitectura innovadora, es que se puede adaptar fácilmente a una sola GPU", afirmó. Se espera que el rendimiento mejore aún más a medida que Mamba reciba ajustes adicionales.


Podcast El Desván de las Paradojas
Publicidad


Otras noticias • IA

Innovación

Apple revoluciona mercado con Apple Intelligence en WWDC 2024

Apple ha anunciado en la WWDC 2024 su incursión en el mercado de la inteligencia artificial con Apple Intelligence. Se esperan mejoras en iOS 18...

Actualización

Apple revoluciona iOS 18 con "Apple Intelligence" y funciones innovadoras

Apple ha presentado "Apple Intelligence" en iOS 18, permitiendo a los usuarios crear imágenes de IA personalizadas en sus conversaciones. También se incluyen funciones como...

Tecnología

Apple revoluciona desarrollo con IA en su Conferencia Mundial

Apple ha presentado nuevas herramientas de inteligencia artificial para desarrolladores en su Conferencia Mundial de Desarrolladores. Los SDK de Apple se han actualizado con nuevas...

Innovación

Apple sorprende con iOS 18: inteligencia artificial y rediseño completo

Apple revela detalles de iOS 18 en la WWDC, con enfoque en inteligencia artificial, personalización de iconos, actualización del centro de control, nuevas API, mejoras...

Tecnología

Apple presenta nueva IA en conferencia, mejorando privacidad y renovando Siri

Apple se prepara para revelar su nueva inteligencia artificial en la Worldwide Developers Conference, enfocándose en mejorar la fiabilidad, priorizar la privacidad y renovar a...

Gratis

Meta anuncia funciones de IA para WhatsApp Business sin coste

Meta ha anunciado nuevas funciones de IA para WhatsApp Business, como la creación de anuncios de clic para WhatsApp y respuestas automáticas a consultas frecuentes....

Regulaciones

Nuevas directrices de Google Play para aplicaciones de IA

Google ha emitido nuevas directrices para desarrolladores de aplicaciones de IA en Google Play, con el objetivo de evitar contenido inapropiado y prohibido. Se requiere...

Inteligencia

Google crea SurfPerch, herramienta IA para conservación de arrecifes de coral

Google ha desarrollado SurfPerch, una herramienta de IA para ayudar a biólogos marinos a comprender mejor la salud de los arrecifes de coral. Utilizando colaboración...