OctoML lanza plataforma de IA autooptimizada para implementación fácil y eficiente de aplicaciones de aprendizaje automático

OctoML lanza una plataforma de inteligencia artificial autooptimizada para ayudar a las empresas a implementar aplicaciones basadas en aprendizaje automático de manera más fácil y eficiente. La plataforma, llamada OctoAI, permite a los usuarios ajustar modelos de código abierto con sus propios datos o utilizar la plataforma para alojar sus propios modelos personalizados.

La evolución de OctoML

OctoML, fundada en 2019, se centró inicialmente en optimizar modelos de aprendizaje automático. Desde entonces, la compañía ha añadido características que facilitan la implementación de modelos de aprendizaje automático y ha recaudado 132 millones de dólares. Con la nueva plataforma, OctoAI, la compañía cambia su enfoque de la optimización de modelos al uso de modelos de código abierto y a ayudar a las empresas a implementar aplicaciones basadas en aprendizaje automático de manera más fácil y eficiente.

La nueva plataforma

OctoAI es un servicio de computación autooptimizado para la inteligencia artificial, con un énfasis especial en la inteligencia artificial generativa. La plataforma ayuda a las empresas a construir aplicaciones basadas en aprendizaje automático y ponerlas en producción sin tener que preocuparse por la infraestructura subyacente. Con OctoAI, los usuarios simplemente deciden qué priorizar (latencia vs. costo) y la plataforma elegirá automáticamente el hardware adecuado para ellos. La plataforma también optimiza automáticamente estos modelos y decide si es mejor ejecutarlos en las GPUs de Nvidia o en las máquinas Inferentia de AWS.

Facilidad de uso

La plataforma de OctoAI elimina gran parte de la complejidad de poner modelos en producción, algo que todavía es un obstáculo para muchos proyectos de aprendizaje automático. Los usuarios que deseen tener un control total sobre cómo se ejecutan sus modelos pueden, por supuesto, establecer sus propios parámetros y decidir en qué hardware deben ejecutarse. Sin embargo, el CEO de OctoML, Luis Ceze, cree que la mayoría de los usuarios optarán por dejar que OctoAI gestione todo esto por ellos.

Aceleración de modelos

La plataforma también ofrece versiones aceleradas de modelos fundamentales populares, como Dolly 2, Whisper, FILM, FLAN-UL2 y Stable Diffusion, de serie, con más modelos en camino. OctoML logró hacer que Stable Diffusion funcionara tres veces más rápido y reducir el costo en un 5x en comparación con la ejecución del modelo básico.

Futuro de OctoML

Aunque OctoML seguirá trabajando con los clientes existentes que sólo quieran utilizar el servicio para optimizar sus modelos, la compañía se centrará en esta nueva plataforma de computación en el futuro. Con OctoAI, la empresa espera democratizar el uso de la inteligencia artificial en las empresas, permitiendo a más empresas aprovechar esta tecnología para mejorar sus procesos y servicios.