OctoML lanza OctoAI, un servicio de computación auto-optimizado para IA
La empresa OctoML ha presentado OctoAI, su nuevo servicio de extremo a extremo para implementar modelos de IA generativa en la nube privada de una empresa, ya sea en las instalaciones o en una nube privada virtual de uno de los principales proveedores, incluidos AWS, Google, Microsoft y Azure, así como Coreweave, Lambda Labs, Snowflake y otros.
**En sus primeros días, OctoAI se centró casi exclusivamente en optimizar modelos para que funcionaran de manera más efectiva. Basándose en el marco de compilador de aprendizaje automático Apache TVM, la empresa lanzó su plataforma TVM-as-a-Service y, con el tiempo, la expandió a una oferta de servidores de modelos completamente desarrollada que combinaba sus habilidades de optimización con una plataforma DevOps. Con el auge de la IA generativa, el equipo lanzó la plataforma OctoAI totalmente gestionada para ayudar a sus usuarios a servir y ajustar modelos existentes. OctoStack, en su núcleo, es esa plataforma OctoAI, pero para implementaciones privadas.
**Hoy, el CEO y cofundador de OctoAI, Luis Ceze, me dijo que la empresa tiene más de 25.000 desarrolladores en la plataforma y cientos de clientes de pago en producción. Muchas de estas empresas, según Ceze, son empresas nativas de GenAI. El mercado de empresas tradicionales que desean adoptar la IA generativa es significativamente más grande, por lo que quizás no sea sorprendente que OctoAI ahora también las esté persiguiendo con OctoStack.
**Ceze señaló que el equipo llevaba tiempo desarrollando la arquitectura para ofrecer tanto su plataforma SaaS como la alojada. Y aunque la plataforma SaaS está optimizada para hardware Nvidia, OctoStack puede admitir una gama mucho más amplia de hardware, incluidas las GPU de AMD y el acelerador Inferentia de AWS, lo que hace que el desafío de optimización sea bastante difícil (a la vez que juega a favor de las fortalezas de OctoAI).
**La implementación de OctoStack debería ser sencilla para la mayoría de las empresas, ya que OctoAI entrega la plataforma con contenedores listos para usar y sus gráficos de Helm asociados para las implementaciones. Para los desarrolladores, la API sigue siendo la misma, independientemente de si están apuntando al producto SaaS o a OctoAI en su nube privada.
**El caso de uso empresarial canónico sigue siendo el uso de la sumarización de texto y RAG para permitir a los usuarios chatear con sus documentos internos, pero algunas empresas también están ajustando estos modelos en sus bases de código internas para ejecutar sus propios modelos de generación de código (similar a lo que GitHub ofrece ahora a los usuarios empresariales de Copilot).
**Para muchas empresas, poder hacer esto en un entorno seguro que esté estrictamente bajo su control es lo que ahora les permite poner estas tecnologías en producción para sus empleados y clientes.
Otras noticias • Empresas
Harness recauda 240 millones y alcanza valoración de 5.5 mil millones
Harness, startup de DevOps fundada en 2017, ha recaudado 240 millones de dólares en su ronda Serie E, alcanzando una valoración de 5.5 mil millones....
Runware revoluciona el desarrollo multimedia con 50 millones de inversión
Runware, fundada en 2023 por Flaviu Radulescu e Ioana Hreninciuc, ofrece herramientas de desarrollo para generar contenido multimedia en tiempo real. Con más de 100,000...
Port recibe 100 millones para revolucionar el desarrollo de software
Port, una startup israelí fundada en 2022, ofrece una innovadora plataforma para gestionar herramientas de desarrollo y agentes de IA. Con una reciente financiación de...
AI Santa transforma la Navidad pero genera inquietudes infantiles
La inteligencia artificial ha llegado a la Navidad con AI Santa de Tavus, que permite a los niños interactuar virtualmente con Santa Claus. Aunque la...
Amazon invertirá 35.000 millones en India para digitalizar negocios
Amazon ha anunciado una inversión de 35.000 millones de dólares en India para 2030, elevando su compromiso total a 75.000 millones. La inversión se centrará...
Inito recauda 29 millones para revolucionar salud femenina en casa
Inito, una startup de salud femenina, ha recaudado 29 millones de dólares para escalar su plataforma de diagnósticos en casa. Utilizando inteligencia artificial, desarrolla anticuerpos...
Meesho brilla en bolsa con 46% de aumento inicial
La salida a bolsa de Meesho, con un aumento del 46% en su primer día, destaca su modelo de comercio social que conecta a pequeños...
Tiger Global busca 2.2 mil millones con enfoque cauteloso
Tiger Global está recaudando un nuevo fondo de 2.2 mil millones de dólares, adoptando un enfoque más cauteloso tras el colapso del capital riesgo en...
Lo más reciente
- 1
TIME Magazine honra a líderes en la revolución de la IA
- 2
On Me revoluciona tarjetas de regalo digitales personalizadas y sostenibles
- 3
Disney y OpenAI invierten mil millones en creación de contenido
- 4
Vulnerabilidades en Freedom Chat amenazan la privacidad de usuarios
- 5
Neon de Opera: Navegador con IA para experiencia personalizada
- 6
Microbios transforman petróleo abandonado en hidrógeno sostenible
- 7
Spoor protege aves cerca de parques eólicos con tecnología avanzada

