AI21 Labs lanza Jamba, un modelo generativo de texto innovador
La industria de la inteligencia artificial se está moviendo cada vez más hacia modelos generativos de IA con contextos más largos. Pero los modelos con ventanas de contexto grandes tienden a ser intensivos en cómputo. Ori Goshen, CEO de la startup de IA AI21 Labs, afirma que esto no tiene por qué ser así, y su empresa está lanzando un modelo generativo para demostrarlo.
AI21 Labs ha presentado Jamba, un nuevo modelo de generación y análisis de texto, que puede realizar muchas de las mismas tareas que modelos como ChatGPT de OpenAI y Gemini de Google. Entrenado con una mezcla de datos públicos y propietarios, Jamba puede escribir texto en inglés, francés, español y portugués.
Un modelo eficiente y prometedor
Jamba puede manejar hasta 140,000 tokens mientras se ejecuta en una sola GPU con al menos 80GB de memoria. Esto se traduce en alrededor de 105,000 palabras, o 210 páginas, lo que equivale a una novela de tamaño decente. Por otro lado, Llama 2 de Meta tiene una ventana de contexto de 32,000 tokens, pero solo requiere una GPU con ~12GB de memoria para funcionar.
El corazón de Jamba: transformers y modelos de espacio estatal
Lo que hace único a Jamba es su combinación de dos arquitecturas de modelos: transformers y modelos de espacio estatal (SSM). Los transformers son la arquitectura preferida para tareas de razonamiento complejas, mientras que los SSM combinan cualidades de modelos de IA más antiguos para crear una arquitectura más eficiente computacionalmente capaz de manejar secuencias largas de datos.
Innovación y eficiencia
Jamba utiliza Mamba como modelo base, lo que según Goshen, proporciona tres veces la capacidad en contextos largos en comparación con modelos basados en transformers de tamaños comparables. Aunque se ha lanzado bajo la licencia Apache 2.0, Goshen destaca que es un lanzamiento de investigación y no está destinado a ser utilizado comercialmente.
Promesa de la arquitectura SSM
A pesar de sus limitaciones, Goshen asegura que Jamba demuestra el potencial de la arquitectura SSM incluso en esta etapa inicial. "El valor añadido de este modelo, tanto por su tamaño como por su arquitectura innovadora, es que se puede adaptar fácilmente a una sola GPU", afirmó. Se espera que el rendimiento mejore aún más a medida que Mamba reciba ajustes adicionales.
Otras noticias • IA
Google lanza AI Overviews en Gmail para respuestas rápidas
Google ha presentado AI Overviews en Gmail, permitiendo a los usuarios obtener respuestas rápidas en lenguaje natural sin leer múltiples correos. Esta función, que también...
Google lanza Gemini, la nueva era de la automatización empresarial
Google ha presentado la Gemini Enterprise Agent Platform, una herramienta de inteligencia artificial destinada a optimizar la gestión empresarial. Con un enfoque en la seguridad...
OpenAI e Infosys unen fuerzas para revolucionar el desarrollo de software
OpenAI e Infosys han establecido una colaboración para integrar herramientas de inteligencia artificial en la plataforma Topaz AI, buscando transformar el desarrollo de software y...
Thinking Machines Lab y Google Cloud firman acuerdo multimillonario
Thinking Machines Lab y Google Cloud han firmado un acuerdo multimillonario que permitirá a la startup acceder a la infraestructura avanzada de Google, mejorando su...
Google revoluciona sus mapas con IA y análisis geoespacial
Google ha presentado innovaciones en su plataforma de mapas, incluyendo herramientas de IA para crear escenas realistas y analizar datos satelitales. Estas mejoras optimizan la...
SpaceX y Cursor se unen para revolucionar la inteligencia artificial
SpaceX ha formado una alianza estratégica con Cursor para desarrollar inteligencia artificial avanzada y ha considerado adquirir la empresa por 60.000 millones de dólares. Esta...
Vulnerabilidad en ciberseguridad de empresas tras acceso a Mythos
El acceso no autorizado a Mythos, herramienta de ciberseguridad de Anthropic, resalta la vulnerabilidad de las empresas ante terceros. Este incidente subraya la necesidad de...
ChatGPT Images 2.0 revoluciona diseño gráfico y publicidad creativa
La generación de imágenes por inteligencia artificial ha evolucionado con ChatGPT Images 2.0, que ofrece alta calidad, versatilidad y rapidez. Este avance transforma el diseño...
Lo más reciente
- 1
Musk genera inquietud por actualizaciones de hardware en Tesla
- 2
Google Workspace se renueva con inteligencia artificial y mejoras
- 3
Tesla crece en ingresos pero enfrenta caídas en entregas y beneficios
- 4
SpaceX busca diversificar con adquisición de Cursor por 60 mil millones
- 5
Artemis II revoluciona comunicaciones láser en la exploración espacial
- 6
Google Cloud lanza TPUs de octava generación para IA
- 7
Vulnerabilidad en iPhones permite acceso a mensajes eliminados

