Innovador | IA

Amazon AWS lanza SageMaker HyperPod, revolucionario servicio de entrenamiento de modelos de lenguaje

Amazon AWS lanza SageMaker HyperPod para entrenar y ajustar modelos de lenguaje de gran tamaño

Amazon AWS, el brazo de servicios en la nube de Amazon, ha anunciado hoy en su conferencia re:Invent el lanzamiento de SageMaker HyperPod, un nuevo servicio diseñado específicamente para entrenar y ajustar modelos de lenguaje de gran tamaño. SageMaker HyperPod ya está disponible de manera general.

Amazon ha apostado durante mucho tiempo por SageMaker, su servicio para construir, entrenar e implementar modelos de aprendizaje automático, como el pilar de su estrategia de aprendizaje automático. Ahora, con la llegada de la inteligencia artificial generativa, no es de extrañar que también se apoye en SageMaker como producto principal para facilitar a sus usuarios el entrenamiento y ajuste de modelos de lenguaje de gran tamaño (LLMs).

“SageMaker HyperPod te ofrece la capacidad de crear un clúster distribuido con instancias aceleradas optimizadas para el entrenamiento disputado”, me explicó Ankur Mehrotra, director general de SageMaker de AWS, en una entrevista antes del anuncio de hoy. “Te proporciona las herramientas para distribuir eficientemente modelos y datos en todo el clúster, lo que acelera el proceso de entrenamiento”.

También destacó que SageMaker HyperPod permite a los usuarios guardar puntos de control con frecuencia, lo que les permite pausar, analizar y optimizar el proceso de entrenamiento sin tener que empezar de nuevo. El servicio también incluye una serie de medidas de seguridad para que, en caso de que una GPU se caiga por alguna razón, todo el proceso de entrenamiento no se vea afectado.

“Para un equipo de aprendizaje automático, por ejemplo, que solo está interesado en entrenar el modelo, se convierte en una experiencia prácticamente sin intervención y el clúster se convierte en una especie de clúster de autocuración en cierto sentido”, explicó Mehrotra. “En general, estas capacidades pueden ayudarte a entrenar modelos base hasta un 40% más rápido, lo cual, si consideras el costo y el tiempo de comercialización, es una gran ventaja”.

Los usuarios pueden optar por entrenar en los chips personalizados Trainium de Amazon (y ahora Trainium 2) o en instancias de GPU basadas en Nvidia, incluidas aquellas que utilizan el procesador H100. La compañía promete que HyperPod puede acelerar el proceso de entrenamiento hasta un 40%.

La compañía ya tiene experiencia en esto utilizando SageMaker para construir LLMs. Por ejemplo, el modelo Falcon 180B fue entrenado en SageMaker, utilizando un clúster de miles de GPU A100. Mehrotra señaló que AWS pudo aprovechar lo que aprendió de eso y de su experiencia previa en el escalado de SageMaker para construir HyperPod.

Aravind Srinivas, cofundador y CEO de Perplexity AI, me dijo que su compañía tuvo acceso anticipado al servicio durante su versión beta privada. Señaló que su equipo inicialmente estaba escéptico sobre el uso de AWS para el entrenamiento y ajuste de sus modelos.

“No habíamos trabajado con AWS antes”, dijo. “Había un mito —un mito, no un hecho— de que AWS no tiene una gran infraestructura para el entrenamiento de modelos grandes y, obviamente, no teníamos tiempo para hacer una debida diligencia, así que lo creímos”. Sin embargo, el equipo se puso en contacto con AWS y los ingenieros les pidieron que probaran el servicio (gratis). También destacó que ha sido fácil obtener soporte de AWS y acceder a suficientes GPUs para el caso de uso de Perplexity. Obviamente, les ayudó que el equipo ya estaba familiarizado con la inferencia en AWS.

Srinivas también destacó que el equipo de HyperPod de AWS se centró en acelerar las interconexiones que enlazan las tarjetas gráficas de Nvidia. “Optimizaron las primitivas —las diversas primitivas de Nvidia— que te permiten comunicar estos gradientes y parámetros entre diferentes nodos”, explicó.


Podcast El Desván de las Paradojas
Publicidad


Otras noticias • IA

Transformación

La IA revoluciona redes sociales, plantea retos de privacidad ética

La inteligencia artificial ha transformado las redes sociales, mejorando la interacción y personalización a través de asistentes virtuales y herramientas creativas. Sin embargo, surgen preocupaciones...

Inquietud

Preocupaciones sobre privacidad en el uso de biometría escolar

El uso de tecnología biométrica en escuelas, como el reconocimiento facial y huellas dactilares, genera preocupaciones sobre privacidad y consentimiento. Es esencial que las instituciones...

Revolución

La inteligencia artificial transforma el diseño gráfico y plantea desafíos

La inteligencia artificial está revolucionando el diseño gráfico, optimizando procesos creativos y facilitando la generación de imágenes. Aunque potencia la creatividad humana, plantea desafíos éticos...

Revolución

La IA generativa transforma empresas con innovación y sostenibilidad

La IA generativa está revolucionando el mundo empresarial al permitir la creación de contenido original, mejorar la personalización y optimizar procesos. Aunque presenta desafíos en...

Mejora

Samsung potencia su inteligencia artificial con Oxford Semantic Technologies

Samsung ha adquirido Oxford Semantic Technologies para mejorar su inteligencia artificial con grafos de conocimiento. La startup británica ofrece un motor de razonamiento de IA...

Innovación

Microsoft revoluciona diseño con app Designer en iOS y Android

Microsoft lanza la aplicación Designer para iOS y Android, que permite a los usuarios crear imágenes y diseños con indicaciones de texto. También ofrece edición...

Indagación

Investigación en UK por contratación de equipo de Inflection AI por Microsoft

La Autoridad de Competencia y Mercados del Reino Unido está investigando la contratación por parte de Microsoft del equipo de Inflection AI, lo que podría...

Innovación

La IA generativa es clave para el éxito empresarial actual

La inteligencia artificial generativa es crucial en el mundo empresarial actual, ya que puede mejorar la experiencia del usuario y conducir a mejores métricas comerciales....