AI21 Labs lanza Jamba, un modelo generativo de texto innovador
La industria de la inteligencia artificial se está moviendo cada vez más hacia modelos generativos de IA con contextos más largos. Pero los modelos con ventanas de contexto grandes tienden a ser intensivos en cómputo. Ori Goshen, CEO de la startup de IA AI21 Labs, afirma que esto no tiene por qué ser así, y su empresa está lanzando un modelo generativo para demostrarlo.
AI21 Labs ha presentado Jamba, un nuevo modelo de generación y análisis de texto, que puede realizar muchas de las mismas tareas que modelos como ChatGPT de OpenAI y Gemini de Google. Entrenado con una mezcla de datos públicos y propietarios, Jamba puede escribir texto en inglés, francés, español y portugués.
Un modelo eficiente y prometedor
Jamba puede manejar hasta 140,000 tokens mientras se ejecuta en una sola GPU con al menos 80GB de memoria. Esto se traduce en alrededor de 105,000 palabras, o 210 páginas, lo que equivale a una novela de tamaño decente. Por otro lado, Llama 2 de Meta tiene una ventana de contexto de 32,000 tokens, pero solo requiere una GPU con ~12GB de memoria para funcionar.
El corazón de Jamba: transformers y modelos de espacio estatal
Lo que hace único a Jamba es su combinación de dos arquitecturas de modelos: transformers y modelos de espacio estatal (SSM). Los transformers son la arquitectura preferida para tareas de razonamiento complejas, mientras que los SSM combinan cualidades de modelos de IA más antiguos para crear una arquitectura más eficiente computacionalmente capaz de manejar secuencias largas de datos.
Innovación y eficiencia
Jamba utiliza Mamba como modelo base, lo que según Goshen, proporciona tres veces la capacidad en contextos largos en comparación con modelos basados en transformers de tamaños comparables. Aunque se ha lanzado bajo la licencia Apache 2.0, Goshen destaca que es un lanzamiento de investigación y no está destinado a ser utilizado comercialmente.
Promesa de la arquitectura SSM
A pesar de sus limitaciones, Goshen asegura que Jamba demuestra el potencial de la arquitectura SSM incluso en esta etapa inicial. "El valor añadido de este modelo, tanto por su tamaño como por su arquitectura innovadora, es que se puede adaptar fácilmente a una sola GPU", afirmó. Se espera que el rendimiento mejore aún más a medida que Mamba reciba ajustes adicionales.
Otras noticias • IA
Google presenta "Audio Overview" para resumir documentos con IA
Google ha lanzado "Audio Overview" en NotebookLM, una función que permite escuchar resúmenes de documentos mediante anfitriones virtuales de inteligencia artificial. Aunque está en fase...
Mistral lanza Pixtral 12B, innovador modelo multimodal de IA
Mistral ha lanzado Pixtral 12B, su primer modelo multimodal con 12 mil millones de parámetros, capaz de procesar texto e imágenes. Disponible para pruebas en...
Apple decepciona con IA que no innova en iPhone 16
La inteligencia artificial de Apple ha decepcionado al no ofrecer funciones realmente innovadoras. Aunque mejora la privacidad y accesibilidad, sus capacidades son similares a herramientas...
Apple despierta expectativas con inteligencia artificial para iPhone 16
Apple ha generado expectación con su inteligencia artificial, prevista para el iPhone 16. Aunque promete innovaciones, su implementación gradual y limitaciones regionales podrían afectar las...
Musk desmiente colaboración entre Tesla y xAI ante preocupaciones
Elon Musk desmintió rumores sobre una colaboración formal entre Tesla y xAI para compartir ingresos. Aunque xAI tiene modelos ambiciosos, Musk enfatiza que Tesla no...
Imágenes sintéticas desnudas amenazan privacidad y seguridad personal
La proliferación de imágenes sintéticas desnudas plantea serios desafíos de privacidad y seguridad, especialmente en casos de pornografía de venganza. Microsoft ha colaborado con StopNCII...
Cosmos Institute lanza iniciativas para una IA humanista y ética
El Cosmos Institute busca transformar la inteligencia artificial mediante un enfoque humanista, creando el Human-Centered AI Lab en Oxford y la Cosmos Fellowship. También lanzan...
Canva eleva precios y usuarios critican pérdida de accesibilidad
Canva ha aumentado drásticamente los precios de sus planes, especialmente para Canva Teams, justificándolo por la inversión en inteligencia artificial. Este cambio ha generado descontento...
Lo más reciente
- 1
Spotify lanza controles parentales para cuentas de menores
- 2
Startups: Innovación y adaptación en un entorno volátil
- 3
Uber y Waymo lanzarán robotaxis en 2025 en Austin y Atlanta
- 4
Threads facilita compartir en el fediverse con nueva función
- 5
Meta oculta etiqueta de contenido editado por IA en menú
- 6
Keith Rabois impulsa Miami como nuevo Silicon Valley tecnológico
- 7
XP Health revoluciona atención visual con inteligencia artificial asequible