Databricks revoluciona la gestión de datos al unificar y gobernar información de múltiples plataformas

Databricks lanza su nueva funcionalidad de Federación Lakehouse

Databricks anunció hoy el lanzamiento de su nueva funcionalidad llamada Federación Lakehouse en su Data + AI Summit. Con esta nueva capacidad, las empresas pueden unir sus diversos sistemas de datos aislados y descubrir, consultar y gestionar sus datos en una amplia variedad de plataformas, incluyendo bases de datos MySQL y PostgreSQL, así como Amazon Redshift, Snowflake, Azure SQL Database, Azure Synapse y Google BigQuery, con las características de gobierno proporcionadas por el Catálogo Unity de Databricks.

"[Federación Lakehouse] es un esfuerzo para ampliar nuestra plataforma y gestionar y consultar datos en otros sistemas también", me explicó Matei Zaharia, cofundador y principal tecnólogo de Databricks. Una de las características principales de esta nueva capacidad es la federación de consultas, explicó, que permite a los usuarios conectar diferentes fuentes de datos y consultarlos de manera eficiente, al tiempo que los ven como una base de datos estándar dentro de Databricks.

A menudo, una empresa puede tener datos en tiempo real en una base de datos PostgreSQL que alimenta una aplicación, pero un analista puede querer combinar esto con datos históricos de un almacén de datos y consultar en ambos sistemas. Con la Federación Lakehouse, Databricks ahora puede manejar la planificación de consultas para esto (y almacenar en caché los datos según sea necesario para mantener el rendimiento del sistema).

Idealmente, por supuesto, Databricks querría que todos usaran su plataforma, pero la realidad es que aunque las empresas quieran simplificar su infraestructura, es muy difícil mover las plataformas de datos. "Esto te permite al menos tener una única interfaz para los usuarios y un único lugar para gestionarlo", explicó Zaharia. A menudo, las empresas intentan construir un sistema como este internamente, lo cual tiende a ser costoso y complicado (y a menudo falla).

Zaharia también señaló que Databricks tiene una ventaja interesante aquí porque su producto está construido sobre Apache Spark, y el ecosistema de código abierto de Spark incluye una amplia variedad de conectores, que Databricks puede utilizar para construir un producto como la Federación Lakehouse sin tener que reconstruir muchas de las herramientas de integración principales.

Una ventaja aquí es que Databricks también está añadiendo sus características de gobierno de datos a esto, permitiendo a las empresas gestionar más fácilmente el acceso a sus datos en diferentes plataformas. Esto es algo en lo que Microsoft ha apostado desde hace mucho tiempo con su solución de gobierno Purview, por ejemplo. Ahora más que nunca, el gobierno de datos es algo en lo que las empresas están enfocadas.

"Estamos dando a las organizaciones acceso a todos los datos que necesitan a través de un solo sistema, lo que llevará a más innovación, y la mejor parte de esa innovación es que no sacrifica la seguridad. Al permitir a los clientes aplicar fácilmente las reglas de manera consistente en todas las plataformas y rastrear el uso de los datos, les ayudaremos a cumplir con los requisitos de cumplimiento mientras impulsan sus negocios", dijo Zaharia.