Innovador | IA

Amazon AWS lanza SageMaker HyperPod, revolucionario servicio de entrenamiento de modelos de lenguaje

Amazon AWS lanza SageMaker HyperPod para entrenar y ajustar modelos de lenguaje de gran tamaño

Amazon AWS, el brazo de servicios en la nube de Amazon, ha anunciado hoy en su conferencia re:Invent el lanzamiento de SageMaker HyperPod, un nuevo servicio diseñado específicamente para entrenar y ajustar modelos de lenguaje de gran tamaño. SageMaker HyperPod ya está disponible de manera general.

Amazon ha apostado durante mucho tiempo por SageMaker, su servicio para construir, entrenar e implementar modelos de aprendizaje automático, como el pilar de su estrategia de aprendizaje automático. Ahora, con la llegada de la inteligencia artificial generativa, no es de extrañar que también se apoye en SageMaker como producto principal para facilitar a sus usuarios el entrenamiento y ajuste de modelos de lenguaje de gran tamaño (LLMs).

“SageMaker HyperPod te ofrece la capacidad de crear un clúster distribuido con instancias aceleradas optimizadas para el entrenamiento disputado”, me explicó Ankur Mehrotra, director general de SageMaker de AWS, en una entrevista antes del anuncio de hoy. “Te proporciona las herramientas para distribuir eficientemente modelos y datos en todo el clúster, lo que acelera el proceso de entrenamiento”.

También destacó que SageMaker HyperPod permite a los usuarios guardar puntos de control con frecuencia, lo que les permite pausar, analizar y optimizar el proceso de entrenamiento sin tener que empezar de nuevo. El servicio también incluye una serie de medidas de seguridad para que, en caso de que una GPU se caiga por alguna razón, todo el proceso de entrenamiento no se vea afectado.

“Para un equipo de aprendizaje automático, por ejemplo, que solo está interesado en entrenar el modelo, se convierte en una experiencia prácticamente sin intervención y el clúster se convierte en una especie de clúster de autocuración en cierto sentido”, explicó Mehrotra. “En general, estas capacidades pueden ayudarte a entrenar modelos base hasta un 40% más rápido, lo cual, si consideras el costo y el tiempo de comercialización, es una gran ventaja”.

Los usuarios pueden optar por entrenar en los chips personalizados Trainium de Amazon (y ahora Trainium 2) o en instancias de GPU basadas en Nvidia, incluidas aquellas que utilizan el procesador H100. La compañía promete que HyperPod puede acelerar el proceso de entrenamiento hasta un 40%.

La compañía ya tiene experiencia en esto utilizando SageMaker para construir LLMs. Por ejemplo, el modelo Falcon 180B fue entrenado en SageMaker, utilizando un clúster de miles de GPU A100. Mehrotra señaló que AWS pudo aprovechar lo que aprendió de eso y de su experiencia previa en el escalado de SageMaker para construir HyperPod.

Aravind Srinivas, cofundador y CEO de Perplexity AI, me dijo que su compañía tuvo acceso anticipado al servicio durante su versión beta privada. Señaló que su equipo inicialmente estaba escéptico sobre el uso de AWS para el entrenamiento y ajuste de sus modelos.

“No habíamos trabajado con AWS antes”, dijo. “Había un mito —un mito, no un hecho— de que AWS no tiene una gran infraestructura para el entrenamiento de modelos grandes y, obviamente, no teníamos tiempo para hacer una debida diligencia, así que lo creímos”. Sin embargo, el equipo se puso en contacto con AWS y los ingenieros les pidieron que probaran el servicio (gratis). También destacó que ha sido fácil obtener soporte de AWS y acceder a suficientes GPUs para el caso de uso de Perplexity. Obviamente, les ayudó que el equipo ya estaba familiarizado con la inferencia en AWS.

Srinivas también destacó que el equipo de HyperPod de AWS se centró en acelerar las interconexiones que enlazan las tarjetas gráficas de Nvidia. “Optimizaron las primitivas —las diversas primitivas de Nvidia— que te permiten comunicar estos gradientes y parámetros entre diferentes nodos”, explicó.


Podcast El Desván de las Paradojas
Publicidad


Otras noticias • IA

Control

Expertos piden regulación estricta de deepfakes para proteger sociedad

Expertos en inteligencia artificial piden regulación estricta de deepfakes para proteger a la sociedad de su uso malicioso, incluyendo la criminalización de los deepfakes de...

Inteligencia

Google presenta familia Gemma: modelos ligeros de IA inspirados en Gemini

Google ha lanzado Gemma, una nueva familia de modelos ligeros de IA inspirados en Gemini. Estos modelos, como Gemma 2B y Gemma 7B, están disponibles...

Legislativo

Congreso de EE. UU. crea Grupo de Trabajo sobre inteligencia artificial

El Congreso de los EE. UU. ha creado un Grupo de Trabajo sobre inteligencia artificial para abordar regulaciones y acciones legislativas necesarias en el campo,...

Innovación

Bioptimus recauda $35 millones para revolucionar medicina con inteligencia artificial

Bioptimus, una nueva startup de inteligencia artificial generativa centrada en biología con sede en París, recauda $35 millones en una ronda de financiación liderada por...

Alianza

Empresas tecnológicas se unen para combatir deepfakes electorales

Varias empresas tecnológicas, incluyendo Microsoft, Meta, Google, Amazon, Adobe e IBM, han firmado un acuerdo para combatir los deepfakes relacionados con las elecciones. Las empresas...

Innovación

Startup de IA crea tecnología para combatir desinformación electoral

La startup de IA Anthropic está probando Prompt Shield, una tecnología que detecta cuando los usuarios preguntan sobre temas políticos y los redirige a fuentes...

Innovación

Clubhouse lanza función de mensajes de voz personalizados en EE.UU

Clubhouse ha anunciado una nueva función que permite a los usuarios enviar mensajes de texto a sus amigos y escucharlos en la voz personalizada del...

Innovador

OpenAI presenta Sora, el revolucionario generador de vídeos realistas

OpenAI ha presentado su nuevo modelo de generación de vídeos llamado Sora, capaz de crear simulaciones digitales realistas. Sora puede generar vídeos de cualquier resolución...