LanceDB revoluciona IA con base de datos multimodal de código abierto

LanceDB revoluciona el mundo de la inteligencia artificial con su base de datos de código abierto

Chang She, anteriormente vicepresidente de ingeniería en Tubi y veterano de Cloudera, ha lanzado junto al ingeniero de software Lei Xu LanceDB, una base de datos de código abierto que promete revolucionar el espacio de la inteligencia artificial. She, uno de los co-creadores de Pandas, se encontró con problemas en la infraestructura de datos tradicional al trabajar en el espacio de la IA, lo que le impedía llevar modelos de IA a producción.

"Los ingenieros de machine learning e investigadores de IA a menudo se encuentran con una experiencia de desarrollo deficiente", dijo She en una entrevista. "Las empresas de infraestructura de datos no comprenden realmente el problema de los datos de machine learning a un nivel fundamental".

LanceDB está diseñando el software de base de datos de código abierto LanceDB, que está diseñado para admitir modelos de IA multimodales: modelos que se entrenan y generan imágenes, videos y más además de texto. Respaldado por Y Combinator, LanceDB recaudó $8 millones en una ronda de financiación inicial este mes, liderada por CRV, Essence VC y Swift Ventures, lo que eleva su recaudación total a $11 millones.

"Si la IA multimodal es fundamental para el éxito futuro de su empresa, quiere que su equipo de IA muy costoso se centre en el modelo y en unir la IA con el valor empresarial", dijo Chang. "Desafortunadamente, hoy en día, los equipos de IA pasan la mayor parte de su tiempo lidiando con detalles de infraestructura de datos de bajo nivel. LanceDB proporciona la base que los equipos de IA necesitan para poder centrarse en lo que realmente importa para el valor empresarial y llevar productos de IA al mercado mucho más rápido de lo que sería posible de otra manera".

LanceDB es esencialmente una base de datos de vectores: una base de datos que contiene series de números ("vectores") que codifican el significado de datos no estructurados (por ejemplo, imágenes, texto, etc.).

Como escribió recientemente mi colega Paul Sawers, las bases de datos de vectores están en auge a medida que el ciclo de hype de la IA alcanza su punto máximo. Esto se debe a que son útiles para todo tipo de aplicaciones de IA, desde recomendaciones de contenido en plataformas de comercio electrónico y redes sociales hasta la reducción de alucinaciones.

La competencia en las bases de datos de vectores es feroz, con empresas como Qdrant, Vespa, Weaviate, Pinecone y Chroma, entre otros (sin contar los gigantes de la tecnología). ¿Qué hace único a LanceDB? Mejor flexibilidad, rendimiento y escalabilidad, según Chang.

Por un lado, Chang afirma que LanceDB, que se basa en Apache Arrow, está impulsado por un formato de datos personalizado, Lance Format, optimizado para el entrenamiento y análisis de IA multimodal. Lance Format permite a LanceDB manejar hasta miles de millones de vectores y petabytes de texto, imágenes y videos, y permitir a los ingenieros gestionar diversas formas de metadatos asociados con esos datos.

"Hasta ahora, nunca ha existido un sistema que pueda unir el entrenamiento, la exploración, la búsqueda y el procesamiento de datos a gran escala", dijo Chang. "Lance Format permite a los investigadores y ingenieros de IA tener una única fuente de verdad y obtener un rendimiento ultrarrápido en todo su pipeline de IA. No se trata solo de almacenar vectores".

LanceDB obtiene ingresos vendiendo versiones completamente gestionadas de su software de código abierto con características adicionales como aceleración de hardware y controles de gobierno, y parece que el negocio va viento en popa. La lista de clientes de la empresa incluye a plataformas como Midjourney, Character.ai, WeRide y Airtable.

Chang insistió en que el respaldo reciente de VC de LanceDB no desviará su atención del proyecto de código abierto, que según él ahora está viendo alrededor de 600.000 descargas al mes. "Queríamos crear algo que hiciera 10 veces más fácil el trabajo de los equipos de IA con datos multimodales a gran escala", dijo. "LanceDB ofrece, y seguirá ofreciendo, un conjunto muy rico de integraciones de ecosistemas para minimizar el esfuerzo de adopción".