Amazon AWS lanza SageMaker HyperPod, revolucionario servicio de entrenamiento de modelos de lenguaje

Amazon AWS lanza SageMaker HyperPod para entrenar y ajustar modelos de lenguaje de gran tamaño

Amazon AWS, el brazo de servicios en la nube de Amazon, ha anunciado hoy en su conferencia re:Invent el lanzamiento de SageMaker HyperPod, un nuevo servicio diseñado específicamente para entrenar y ajustar modelos de lenguaje de gran tamaño. SageMaker HyperPod ya está disponible de manera general.

Amazon ha apostado durante mucho tiempo por SageMaker, su servicio para construir, entrenar e implementar modelos de aprendizaje automático, como el pilar de su estrategia de aprendizaje automático. Ahora, con la llegada de la inteligencia artificial generativa, no es de extrañar que también se apoye en SageMaker como producto principal para facilitar a sus usuarios el entrenamiento y ajuste de modelos de lenguaje de gran tamaño (LLMs).

“SageMaker HyperPod te ofrece la capacidad de crear un clúster distribuido con instancias aceleradas optimizadas para el entrenamiento disputado”, me explicó Ankur Mehrotra, director general de SageMaker de AWS, en una entrevista antes del anuncio de hoy. “Te proporciona las herramientas para distribuir eficientemente modelos y datos en todo el clúster, lo que acelera el proceso de entrenamiento”.

También destacó que SageMaker HyperPod permite a los usuarios guardar puntos de control con frecuencia, lo que les permite pausar, analizar y optimizar el proceso de entrenamiento sin tener que empezar de nuevo. El servicio también incluye una serie de medidas de seguridad para que, en caso de que una GPU se caiga por alguna razón, todo el proceso de entrenamiento no se vea afectado.

“Para un equipo de aprendizaje automático, por ejemplo, que solo está interesado en entrenar el modelo, se convierte en una experiencia prácticamente sin intervención y el clúster se convierte en una especie de clúster de autocuración en cierto sentido”, explicó Mehrotra. “En general, estas capacidades pueden ayudarte a entrenar modelos base hasta un 40% más rápido, lo cual, si consideras el costo y el tiempo de comercialización, es una gran ventaja”.

Los usuarios pueden optar por entrenar en los chips personalizados Trainium de Amazon (y ahora Trainium 2) o en instancias de GPU basadas en Nvidia, incluidas aquellas que utilizan el procesador H100. La compañía promete que HyperPod puede acelerar el proceso de entrenamiento hasta un 40%.

La compañía ya tiene experiencia en esto utilizando SageMaker para construir LLMs. Por ejemplo, el modelo Falcon 180B fue entrenado en SageMaker, utilizando un clúster de miles de GPU A100. Mehrotra señaló que AWS pudo aprovechar lo que aprendió de eso y de su experiencia previa en el escalado de SageMaker para construir HyperPod.

Aravind Srinivas, cofundador y CEO de Perplexity AI, me dijo que su compañía tuvo acceso anticipado al servicio durante su versión beta privada. Señaló que su equipo inicialmente estaba escéptico sobre el uso de AWS para el entrenamiento y ajuste de sus modelos.

“No habíamos trabajado con AWS antes”, dijo. “Había un mito —un mito, no un hecho— de que AWS no tiene una gran infraestructura para el entrenamiento de modelos grandes y, obviamente, no teníamos tiempo para hacer una debida diligencia, así que lo creímos”. Sin embargo, el equipo se puso en contacto con AWS y los ingenieros les pidieron que probaran el servicio (gratis). También destacó que ha sido fácil obtener soporte de AWS y acceder a suficientes GPUs para el caso de uso de Perplexity. Obviamente, les ayudó que el equipo ya estaba familiarizado con la inferencia en AWS.

Srinivas también destacó que el equipo de HyperPod de AWS se centró en acelerar las interconexiones que enlazan las tarjetas gráficas de Nvidia. “Optimizaron las primitivas —las diversas primitivas de Nvidia— que te permiten comunicar estos gradientes y parámetros entre diferentes nodos”, explicó.