Análise de Rendemento en Plataformas Data Lakehouse: Snowflake e Databricks

Abstract

[Resumo]: Este traballo compara o rendemento de dúas das plataformas Data Lakehouse máis populares na actualidade: Snowflake e Databricks, mediante a execución de benchmarks de referencia no seu ámbito, como é o caso de TPC-DS. A análise dos resultados permitiu coñecer en profundidade as distintas configuracións e optimizacións que permiten ambas plataformas. As principais recomendacións e conclusións subliñan a importancia de non sobredimensionar os recursos de cómputo, senón adaptalos ao tamaño dos datos cos que traballar para lograr unha eficiencia óptima. Ademais, tamén se descubriu que o uso de AWS como provedor de cloud para Snowflake pode mellorar o seu rendemento respecto a Azure e GCP. Por último, para aqueles escenarios que implican a carga frecuente de grandes volumes de datos, Databricks demostrou ser máis eficaz.[Abstract]: This work compares the performance of two of the most popular Data Lakehouse platforms at the moment: Snowflake and Databricks, by running reference benchmarks in their field, such as TPC-DS. The analysis of the results provided in-depth knowledge of the different configurations and optimizations available on both platforms. Key recommendations and conclusions include the importance of not oversizing computational resources but rather tailoring them to match the data workload for optimal efficiency. Additionally, it was found that using AWS as the cloud provider for Snowflake can enhance performance. Lastly, for scenarios involving frequent loading of large datasets, Databricks proved to be more effective.