Nvidia revoluciona IA empresarial con plataforma NIM y alianzas estratégicas

Nvidia lanza una nueva plataforma de software para simplificar el despliegue de modelos de IA

En su conferencia GTC, Nvidia anunció hoy Nvidia NIM, una nueva plataforma de software diseñada para agilizar el despliegue de modelos de IA personalizados y pre-entrenados en entornos de producción. NIM aprovecha el trabajo de software que Nvidia ha realizado en torno a la inferencia y la optimización de modelos, haciéndolo fácilmente accesible al combinar un modelo dado con un motor de inferencia optimizado y empaquetarlo en un contenedor, convirtiéndolo en un microservicio accesible. "Normalmente, llevaría a los desarrolladores semanas, si no meses, enviar contenedores similares", argumenta Nvidia, "y eso si la empresa incluso tiene talento interno de IA. Con NIM, Nvidia claramente tiene como objetivo crear un ecosistema de contenedores listos para la IA que utilicen su hardware como capa fundamental con estos microservicios curados como la capa de software principal para las empresas que desean acelerar su hoja de ruta de IA".

Amplia gama de modelos y colaboraciones con grandes empresas tecnológicas

NIM actualmente incluye soporte para modelos de NVIDIA, A121, Adept, Cohere, Getty Images y Shutterstock, así como modelos abiertos de Google, Hugging Face, Meta, Microsoft, Mistral AI y Stability AI. Nvidia ya está trabajando con Amazon, Google y Microsoft para que estos microservicios de NIM estén disponibles en SageMaker, Kubernetes Engine y Azure AI, respectivamente. También se integrarán en frameworks como Deepset, LangChain y LlamaIndex. La empresa tiene como objetivo seguir añadiendo capacidades adicionales con el tiempo, como por ejemplo, hacer que el operador Nvidia RAG LLM esté disponible como un NIM, lo que promete facilitar la construcción de chatbots de IA generativos que pueden integrarse con datos personalizados.

Colaboraciones con clientes y socios estratégicos

Esta conferencia no estaría completa sin algunos anuncios de clientes y socios. Entre los usuarios actuales de NIM se encuentran empresas como Box, Cloudera, Cohesity, Datastax, Dropbox y NetApp. "Las plataformas empresariales establecidas están sentadas sobre una mina de oro de datos que pueden transformarse en copilotos de IA generativos", dijo Jensen Huang, fundador y CEO de NVIDIA. "Creados con nuestro ecosistema de socios, estos microservicios de IA en contenedores son los bloques de construcción para que las empresas de todos los sectores se conviertan en empresas de IA".

Impulso de Nvidia en el ámbito empresarial

En cuanto al motor de inferencia, Nvidia utilizará el Triton Inference Server, TensorRT y TensorRT-LLM. Algunos de los microservicios de Nvidia disponibles a través de NIM incluirán Riva para personalizar modelos de habla y traducción, cuOpt para optimizaciones de enrutamiento y el modelo Earth-2 para simulaciones meteorológicas y climáticas. "Creemos que la GPU de Nvidia es el mejor lugar para ejecutar la inferencia de estos modelos", dijo Manuvir Das, jefe de informática empresarial de Nvidia, "y creemos que NVIDIA NIM es el mejor paquete de software, el mejor tiempo de ejecución, para que los desarrolladores construyan encima y se centren en las aplicaciones empresariales, y dejen que Nvidia haga el trabajo de producir estos modelos para ellos de la manera más eficiente y de calidad empresarial, para que puedan hacer el resto de su trabajo".