OctoML lanza OctoAI, un servicio de computación auto-optimizado para IA
La empresa OctoML ha presentado OctoAI, su nuevo servicio de extremo a extremo para implementar modelos de IA generativa en la nube privada de una empresa, ya sea en las instalaciones o en una nube privada virtual de uno de los principales proveedores, incluidos AWS, Google, Microsoft y Azure, así como Coreweave, Lambda Labs, Snowflake y otros.
**En sus primeros días, OctoAI se centró casi exclusivamente en optimizar modelos para que funcionaran de manera más efectiva. Basándose en el marco de compilador de aprendizaje automático Apache TVM, la empresa lanzó su plataforma TVM-as-a-Service y, con el tiempo, la expandió a una oferta de servidores de modelos completamente desarrollada que combinaba sus habilidades de optimización con una plataforma DevOps. Con el auge de la IA generativa, el equipo lanzó la plataforma OctoAI totalmente gestionada para ayudar a sus usuarios a servir y ajustar modelos existentes. OctoStack, en su núcleo, es esa plataforma OctoAI, pero para implementaciones privadas.
**Hoy, el CEO y cofundador de OctoAI, Luis Ceze, me dijo que la empresa tiene más de 25.000 desarrolladores en la plataforma y cientos de clientes de pago en producción. Muchas de estas empresas, según Ceze, son empresas nativas de GenAI. El mercado de empresas tradicionales que desean adoptar la IA generativa es significativamente más grande, por lo que quizás no sea sorprendente que OctoAI ahora también las esté persiguiendo con OctoStack.
**Ceze señaló que el equipo llevaba tiempo desarrollando la arquitectura para ofrecer tanto su plataforma SaaS como la alojada. Y aunque la plataforma SaaS está optimizada para hardware Nvidia, OctoStack puede admitir una gama mucho más amplia de hardware, incluidas las GPU de AMD y el acelerador Inferentia de AWS, lo que hace que el desafío de optimización sea bastante difícil (a la vez que juega a favor de las fortalezas de OctoAI).
**La implementación de OctoStack debería ser sencilla para la mayoría de las empresas, ya que OctoAI entrega la plataforma con contenedores listos para usar y sus gráficos de Helm asociados para las implementaciones. Para los desarrolladores, la API sigue siendo la misma, independientemente de si están apuntando al producto SaaS o a OctoAI en su nube privada.
**El caso de uso empresarial canónico sigue siendo el uso de la sumarización de texto y RAG para permitir a los usuarios chatear con sus documentos internos, pero algunas empresas también están ajustando estos modelos en sus bases de código internas para ejecutar sus propios modelos de generación de código (similar a lo que GitHub ofrece ahora a los usuarios empresariales de Copilot).
**Para muchas empresas, poder hacer esto en un entorno seguro que esté estrictamente bajo su control es lo que ahora les permite poner estas tecnologías en producción para sus empleados y clientes.
Otras noticias • Empresas
Salesforce compra Own Company por 1.900 millones para seguridad
Salesforce ha adquirido Own Company por 1.900 millones de dólares, reforzando su enfoque en la gestión y protección de datos. Esta compra, la mayor desde...
Reonic impulsa la autosuficiencia energética con software innovador
Reonic, una startup alemana, proporciona software integral para instaladores de energías renovables, facilitando la integración de tecnologías como bombas de calor y paneles solares. Con...
Startups impulsan innovación y empleo en eventos como Disrupt
El ecosistema de startups impulsa la innovación y el empleo. Eventos como Disrupt fomentan la comunidad entre emprendedores e inversores, ofreciendo herramientas y networking. Con...
Joshua Lu impulsa innovación en videojuegos con inteligencia artificial
Joshua Lu, inversor en Andreessen Horowitz, destaca la evolución constante del sector de los videojuegos, impulsada por la inteligencia artificial y nuevas plataformas como Discord....
Validus recibe 50 millones para impulsar inclusión financiera en Indonesia
Validus, plataforma de préstamos digitales en Singapur, ha obtenido 50 millones de dólares de HSBC para mejorar la inclusión financiera de las MSMEs en Indonesia....
Bolt y Silverbear Capital en conflicto por comunicación deficiente
Bolt enfrenta un conflicto con Silverbear Capital tras acusaciones de mala comunicación y la posibilidad de acciones legales. La fintech busca recaudar 200 millones de...
OpenAI busca financiación para alcanzar una valoración de 100 mil millones
OpenAI está en conversaciones para recaudar financiación que podría valorar la empresa en más de 100.000 millones de dólares. Con un crecimiento de ingresos significativo...
VerSe sufre caída del 42% en valoración pero busca crecimiento
La valoración de VerSe ha caído un 42% a 2.900 millones de dólares, reflejando una tendencia global de ajuste en el mercado de startups. A...
Lo más reciente
- 1
Starliner regresa exitosamente de la ISS tras misión exitosa
- 2
Warp enfrenta críticas por comentarios racistas de un vinculado
- 3
Byju's enfrenta crisis tras renuncia de auditor BDO
- 4
Ciberataque interrumpe servicios de TfL y genera preocupación pública
- 5
Meta debe permitir interoperabilidad entre WhatsApp y otras apps
- 6
Lanzamiento del cohete New Glenn se pospone hasta 2025
- 7
Eagles y Packers enfrentan retos en partido histórico en Brasil