OctoML lanza OctoAI para optimizar modelos de IA generativa

OctoML lanza OctoAI, un servicio de computación auto-optimizado para IA

La empresa OctoML ha presentado OctoAI, su nuevo servicio de extremo a extremo para implementar modelos de IA generativa en la nube privada de una empresa, ya sea en las instalaciones o en una nube privada virtual de uno de los principales proveedores, incluidos AWS, Google, Microsoft y Azure, así como Coreweave, Lambda Labs, Snowflake y otros.

**En sus primeros días, OctoAI se centró casi exclusivamente en optimizar modelos para que funcionaran de manera más efectiva. Basándose en el marco de compilador de aprendizaje automático Apache TVM, la empresa lanzó su plataforma TVM-as-a-Service y, con el tiempo, la expandió a una oferta de servidores de modelos completamente desarrollada que combinaba sus habilidades de optimización con una plataforma DevOps. Con el auge de la IA generativa, el equipo lanzó la plataforma OctoAI totalmente gestionada para ayudar a sus usuarios a servir y ajustar modelos existentes. OctoStack, en su núcleo, es esa plataforma OctoAI, pero para implementaciones privadas.

**Hoy, el CEO y cofundador de OctoAI, Luis Ceze, me dijo que la empresa tiene más de 25.000 desarrolladores en la plataforma y cientos de clientes de pago en producción. Muchas de estas empresas, según Ceze, son empresas nativas de GenAI. El mercado de empresas tradicionales que desean adoptar la IA generativa es significativamente más grande, por lo que quizás no sea sorprendente que OctoAI ahora también las esté persiguiendo con OctoStack.

**Ceze señaló que el equipo llevaba tiempo desarrollando la arquitectura para ofrecer tanto su plataforma SaaS como la alojada. Y aunque la plataforma SaaS está optimizada para hardware Nvidia, OctoStack puede admitir una gama mucho más amplia de hardware, incluidas las GPU de AMD y el acelerador Inferentia de AWS, lo que hace que el desafío de optimización sea bastante difícil (a la vez que juega a favor de las fortalezas de OctoAI).

**La implementación de OctoStack debería ser sencilla para la mayoría de las empresas, ya que OctoAI entrega la plataforma con contenedores listos para usar y sus gráficos de Helm asociados para las implementaciones. Para los desarrolladores, la API sigue siendo la misma, independientemente de si están apuntando al producto SaaS o a OctoAI en su nube privada.

**El caso de uso empresarial canónico sigue siendo el uso de la sumarización de texto y RAG para permitir a los usuarios chatear con sus documentos internos, pero algunas empresas también están ajustando estos modelos en sus bases de código internas para ejecutar sus propios modelos de generación de código (similar a lo que GitHub ofrece ahora a los usuarios empresariales de Copilot).

**Para muchas empresas, poder hacer esto en un entorno seguro que esté estrictamente bajo su control es lo que ahora les permite poner estas tecnologías en producción para sus empleados y clientes.