Optimización | Empresas

OctoML lanza OctoAI para optimizar modelos de IA generativa

OctoML lanza OctoAI, un servicio de computación auto-optimizado para IA

La empresa OctoML ha presentado OctoAI, su nuevo servicio de extremo a extremo para implementar modelos de IA generativa en la nube privada de una empresa, ya sea en las instalaciones o en una nube privada virtual de uno de los principales proveedores, incluidos AWS, Google, Microsoft y Azure, así como Coreweave, Lambda Labs, Snowflake y otros.

**En sus primeros días, OctoAI se centró casi exclusivamente en optimizar modelos para que funcionaran de manera más efectiva. Basándose en el marco de compilador de aprendizaje automático Apache TVM, la empresa lanzó su plataforma TVM-as-a-Service y, con el tiempo, la expandió a una oferta de servidores de modelos completamente desarrollada que combinaba sus habilidades de optimización con una plataforma DevOps. Con el auge de la IA generativa, el equipo lanzó la plataforma OctoAI totalmente gestionada para ayudar a sus usuarios a servir y ajustar modelos existentes. OctoStack, en su núcleo, es esa plataforma OctoAI, pero para implementaciones privadas.

**Hoy, el CEO y cofundador de OctoAI, Luis Ceze, me dijo que la empresa tiene más de 25.000 desarrolladores en la plataforma y cientos de clientes de pago en producción. Muchas de estas empresas, según Ceze, son empresas nativas de GenAI. El mercado de empresas tradicionales que desean adoptar la IA generativa es significativamente más grande, por lo que quizás no sea sorprendente que OctoAI ahora también las esté persiguiendo con OctoStack.

**Ceze señaló que el equipo llevaba tiempo desarrollando la arquitectura para ofrecer tanto su plataforma SaaS como la alojada. Y aunque la plataforma SaaS está optimizada para hardware Nvidia, OctoStack puede admitir una gama mucho más amplia de hardware, incluidas las GPU de AMD y el acelerador Inferentia de AWS, lo que hace que el desafío de optimización sea bastante difícil (a la vez que juega a favor de las fortalezas de OctoAI).

**La implementación de OctoStack debería ser sencilla para la mayoría de las empresas, ya que OctoAI entrega la plataforma con contenedores listos para usar y sus gráficos de Helm asociados para las implementaciones. Para los desarrolladores, la API sigue siendo la misma, independientemente de si están apuntando al producto SaaS o a OctoAI en su nube privada.

**El caso de uso empresarial canónico sigue siendo el uso de la sumarización de texto y RAG para permitir a los usuarios chatear con sus documentos internos, pero algunas empresas también están ajustando estos modelos en sus bases de código internas para ejecutar sus propios modelos de generación de código (similar a lo que GitHub ofrece ahora a los usuarios empresariales de Copilot).

**Para muchas empresas, poder hacer esto en un entorno seguro que esté estrictamente bajo su control es lo que ahora les permite poner estas tecnologías en producción para sus empleados y clientes.


Podcast El Desván de las Paradojas
Publicidad


Otras noticias • Empresas

Innovación

Day.ai revoluciona CRM con inteligencia artificial generativa automatizada

Day.ai es un nuevo CRM que utiliza inteligencia artificial generativa para recopilar información de clientes de forma automática, sin necesidad de introducción manual de datos....

Financiación

Hero, fintech francesa, recauda 11,3 millones de euros para pymes

Hero, una nueva fintech francesa, recauda 11,3 millones de euros en una ronda de financiación liderada por Valar Ventures. Ofrece servicios financieros integrados para pequeñas...

Adquisición

Investigación de CMA sobre adquisición de Juniper por Hewlett Packard

La Autoridad de Competencia y Mercados del Reino Unido investiga la adquisición de Juniper Networks por parte de Hewlett Packard Enterprise para evaluar posibles impactos...

Innovación

Kilimo revoluciona la gestión del agua en cultivos agrícolas

Kilimo es una empresa innovadora que ayuda a los agricultores a gestionar de manera sostenible el agua en sus cultivos, a través de herramientas de...

Innovación

SewerAI revoluciona gestión de aguas residuales con inteligencia artificial

SewerAI utiliza inteligencia artificial para mejorar la gestión de aguas residuales a través de herramientas de inspección de alcantarillado. Con una inversión de 25 millones...

Innovación

Tender Food Inc. revoluciona mercado con tecnología de carne vegetal

La startup de alimentos tecnológicos Tender Food Inc. está ganando terreno en el mercado con su tecnología de carne a base de plantas. Han asegurado...

Innovación

Unigrid revoluciona mercado con baterías de sodio-ion seguras y económicas

Unigrid está desarrollando baterías de sodio-ion más seguras y económicas que las de litio-ion, con una química innovadora y planes de producción en colaboración con...

Innovación

Startup recicla aguas residuales de fábricas de baterías para economía circular

Startup recicla aguas residuales de fábricas de baterías para crear una economía circular. Utilizan electrolizadores para convertir desechos en materias primas. Han recaudado $8 millones...