Amazon AWS lanza SageMaker HyperPod para entrenar y ajustar modelos de lenguaje de gran tamaño
Amazon AWS, el brazo de servicios en la nube de Amazon, ha anunciado hoy en su conferencia re:Invent el lanzamiento de SageMaker HyperPod, un nuevo servicio diseñado específicamente para entrenar y ajustar modelos de lenguaje de gran tamaño. SageMaker HyperPod ya está disponible de manera general.
Amazon ha apostado durante mucho tiempo por SageMaker, su servicio para construir, entrenar e implementar modelos de aprendizaje automático, como el pilar de su estrategia de aprendizaje automático. Ahora, con la llegada de la inteligencia artificial generativa, no es de extrañar que también se apoye en SageMaker como producto principal para facilitar a sus usuarios el entrenamiento y ajuste de modelos de lenguaje de gran tamaño (LLMs).
“SageMaker HyperPod te ofrece la capacidad de crear un clúster distribuido con instancias aceleradas optimizadas para el entrenamiento disputado”, me explicó Ankur Mehrotra, director general de SageMaker de AWS, en una entrevista antes del anuncio de hoy. “Te proporciona las herramientas para distribuir eficientemente modelos y datos en todo el clúster, lo que acelera el proceso de entrenamiento”.
También destacó que SageMaker HyperPod permite a los usuarios guardar puntos de control con frecuencia, lo que les permite pausar, analizar y optimizar el proceso de entrenamiento sin tener que empezar de nuevo. El servicio también incluye una serie de medidas de seguridad para que, en caso de que una GPU se caiga por alguna razón, todo el proceso de entrenamiento no se vea afectado.
“Para un equipo de aprendizaje automático, por ejemplo, que solo está interesado en entrenar el modelo, se convierte en una experiencia prácticamente sin intervención y el clúster se convierte en una especie de clúster de autocuración en cierto sentido”, explicó Mehrotra. “En general, estas capacidades pueden ayudarte a entrenar modelos base hasta un 40% más rápido, lo cual, si consideras el costo y el tiempo de comercialización, es una gran ventaja”.
Los usuarios pueden optar por entrenar en los chips personalizados Trainium de Amazon (y ahora Trainium 2) o en instancias de GPU basadas en Nvidia, incluidas aquellas que utilizan el procesador H100. La compañía promete que HyperPod puede acelerar el proceso de entrenamiento hasta un 40%.
La compañía ya tiene experiencia en esto utilizando SageMaker para construir LLMs. Por ejemplo, el modelo Falcon 180B fue entrenado en SageMaker, utilizando un clúster de miles de GPU A100. Mehrotra señaló que AWS pudo aprovechar lo que aprendió de eso y de su experiencia previa en el escalado de SageMaker para construir HyperPod.
Aravind Srinivas, cofundador y CEO de Perplexity AI, me dijo que su compañía tuvo acceso anticipado al servicio durante su versión beta privada. Señaló que su equipo inicialmente estaba escéptico sobre el uso de AWS para el entrenamiento y ajuste de sus modelos.
“No habíamos trabajado con AWS antes”, dijo. “Había un mito —un mito, no un hecho— de que AWS no tiene una gran infraestructura para el entrenamiento de modelos grandes y, obviamente, no teníamos tiempo para hacer una debida diligencia, así que lo creímos”. Sin embargo, el equipo se puso en contacto con AWS y los ingenieros les pidieron que probaran el servicio (gratis). También destacó que ha sido fácil obtener soporte de AWS y acceder a suficientes GPUs para el caso de uso de Perplexity. Obviamente, les ayudó que el equipo ya estaba familiarizado con la inferencia en AWS.
Srinivas también destacó que el equipo de HyperPod de AWS se centró en acelerar las interconexiones que enlazan las tarjetas gráficas de Nvidia. “Optimizaron las primitivas —las diversas primitivas de Nvidia— que te permiten comunicar estos gradientes y parámetros entre diferentes nodos”, explicó.
Otras noticias • IA
Imágenes sintéticas desnudas amenazan privacidad y seguridad personal
La proliferación de imágenes sintéticas desnudas plantea serios desafíos de privacidad y seguridad, especialmente en casos de pornografía de venganza. Microsoft ha colaborado con StopNCII...
Cosmos Institute lanza iniciativas para una IA humanista y ética
El Cosmos Institute busca transformar la inteligencia artificial mediante un enfoque humanista, creando el Human-Centered AI Lab en Oxford y la Cosmos Fellowship. También lanzan...
Canva eleva precios y usuarios critican pérdida de accesibilidad
Canva ha aumentado drásticamente los precios de sus planes, especialmente para Canva Teams, justificándolo por la inversión en inteligencia artificial. Este cambio ha generado descontento...
Google refuerza IA y plataformas para combatir desinformación electoral
Google implementa restricciones en su inteligencia artificial generativa para evitar la desinformación durante las elecciones presidenciales de EE. UU. Además, mejora su motor de búsqueda...
LAION presenta Re-LAION-5B para combatir contenido ilegal y NSFW
LAION ha lanzado Re-LAION-5B, un conjunto de datos depurado de enlaces a material de abuso sexual infantil y contenido NSFW. Este esfuerzo responde a recomendaciones...
Gmail integra Gemini para mejorar gestión de correos electrónicos
Gmail ha integrado el asistente de inteligencia artificial Gemini, permitiendo a los usuarios hacer preguntas sobre sus correos electrónicos y recibir resúmenes. Esta función, disponible...
Reliance Industries impulsa inteligencia artificial con nuevos centros de datos
Reliance Industries, liderada por Mukesh Ambani, apuesta por la inteligencia artificial con la creación de centros de datos en Gujarat y el desarrollo de Jio...
Incertidumbre en OpenAI por falta de anuncios de Converge 2
El programa de aceleración Converge 2 de OpenAI ha generado incertidumbre por la falta de comunicación sobre las startups seleccionadas. A diferencia de su primera...
Lo más reciente
- 1
Byju's enfrenta crisis tras renuncia de auditor BDO
- 2
Ciberataque interrumpe servicios de TfL y genera preocupación pública
- 3
Meta debe permitir interoperabilidad entre WhatsApp y otras apps
- 4
Lanzamiento del cohete New Glenn se pospone hasta 2025
- 5
Eagles y Packers enfrentan retos en partido histórico en Brasil
- 6
Thunder Power Holdings enfrenta crisis financiera y cargos criminales
- 7
Karo simplifica la gestión de tareas para grupos y empresas