1. Modernizando el rol de un
Data Lake en una
arquitectura Data Fabric
W E B I N A R
Pablo Alvarez Yanez
Director Global de Gestion de Producto | Denodo

2. 2
El auge y caída del Hadoop Data Lake
• Los Data Lakes fueron a menudo las iniciativas principales
de los Proyecto de la era Hadoop
• Sin embargo, pocos proyectos de Data Lakes cumplieron
sus expectativas, y muchos fallaron en producir los
resultados esperados
• En lugar de Data Lakes, se convirtieron en “data swamps”,
donde datos sin control ni gobernanza hacia su uso
inapropiado
• Pero esta primera era también propicio importantes
avances en la tecnología que perviven en las nuevas
generaciones de Data Lakes

3. 3
El nacimiento de los Object Storage
• Los Object Storage son una forma de almacenamiento de datos no
estructurados que elimina las limitaciones de escalado de las
formas de almacenamiento tradicionales
• En otras palabras, almacenamiento sin limites de
capacidad
• Se deriva de las iniciativas de Big Data de comienzos de los
2010’s, especialmente el Hadoop File System o HDFS
• Su popularidad creció con los proveedores de servicios en la nube
• Actualmente, Amazon S3 (Simple Storage Service) y Azure ADLS
(Azure Data Lake Storage) son los más populares
• Aunque hay muchas otras alternativas similares de otros
proveedores (Google, Oracle, IBM, etc.) y alternativas
open-source , como MinIO

4. 4
Los Object Storage: los cimientos de los
datos en la nube
• Los Sistema de gestión de datos en la nube modernos, como los EDW
en la nube o los Lakehouse, han evolucionado basados en la premisa
de separación de procesado y almacenamiento
• Al contrario que los EDW tradicionales, la capacidad de
procesado no esta atada al espacio de disco
• Las tecnologías de Object storage proporcionaron la capacidad
de almacenamiento ilimitada que se necesitaba, en la nube y,
lo mas importante, con un coste muy reducido
• Formatos de ficheros open-source, como Parquet y Avro,
especialmente diseñados para interoperabilidad entre plataformas
analíticas y de data science, ayudo a su crecimiento y adopción

5. 5
Su versatilidad los ha
convertido en herramientas
clave mas allá de simples
sistemas de almacenamiento
La nueva era de los Data
Lakes, es mas bien la era del
Object Storage

6. 6
✓ Data science
✓ Almacenamiento de bajo coste para datos “fríos”
✓ Offloading de cargas no-criticas desde sistemas mas
caros (P. ej. EDW)
✓ Infraestructura para compartir datos con terceros (p. ej.
Partners)
✓ Revivir antiguos proyectos Hadoop en infraestructura
mas moderna
✓ Y muchos otros
Nuevos usos para nuevos Data Lakes

7. 7
El Object Storage necesita de otras piezas
para ser útil
1. Para procesar datos masivos de forma eficiente, necesitamos un motor MPP (Massive
Parallel Processing) que se capaz de trabajar en paralelo con volúmenes grandes de
datos
1. Pero el motor solo no es suficiente. Ahí se quedo la primera generación,
fallida, de Data Lakes
2. Necesitamos funcionalidad de gestión de datos mas amplia:
• Control de acceso y seguridad de datos de grano mas fino, incluyendo las
ultimas tendencias de definición de seguridad como políticas basadas en
atributos (ABAC en Inglés)
• Documentación, clasificación, búsqueda, controles de gobierno de datos, etc.
• Capacidades de integración de datos externos, para cargar, modificar, y
exponer la información en el formato adecuado
3. También hay que tener en cuenta que los datos en el Object Sotrage solo son una
pequeña proporción de todos los datos de la organización
1. Todos los datos tienen valor y deben poder accederse y utilizarse
2. Todos los datos deben ser gestionados, gobernados y “securizados” con
consistencia, al margen de su localización

8. 8
Notas de campo - AWS re:Invent 2022

9. 9
Para adaptarse a esta
nueva realidad, Denodo
incluye un motor MPP
basado en Presto como
parte de su Plataforma

10. 10
Por qué hemos elegido Presto?
• Diseñado para alto rendimiento
• Originariamente creado por Facebook para proporcionar
una plataforma interna de autoservicio para analíticas
• Curtido en batalla
• Uso a gran escala con datos masivos en compañías como
Facebook (100 PB, 30k queries/día) o Uber (100M+
queries/día, 8k nodos)
• Código abierto y Comunidad abierta
• Presto es gestionado por la Linux foundation y un
consorcio de múltiples proveedores incluyendo a Meta
(Facebook), HP, Uber, Intel, Twitter, AliBaba, Ahana y
Denodo
• Esto garantiza una evolución firme y estable, sin que un
Proyecto monopolice el desarrollo o decida cambiar la
licencia en el futuro
Growth of the Presto community, 2019-2022

11. 11
Por qué hemos elegido Presto?
Datos críticos para analítica
empresarial
__
Fuertes capacidades
transaccionales
__
Formatos propietarios
Trabajos largos en batch
con grandes volúmenes
__
Uso para ML y IA
__
Integración con plataformas
de streaming
Queries interactivas
__
Alta concurrencia
__
Datos en formatos
abiertos
Denodo MPP

12. 12
Arquitectura de Referencia
Denodo
Virtualization
Server
Denodo
Data Catalog
Denodo
Web Services
On-prem
data
Other Apps
IdP
Denodo
MPP
Warehouse A
Warehouse B
AWS S3 bucket
AWS Aurora

13. 13
Cómo funciona?
• Procesado eficiente y
altamente escalable de
contenido en el Object
Sotrage
• Uso native como cache y para
capacidades de query
acceleration
• Seguridad y gobernanza
integrada con la Plataforma
Denodo
Logical Layer MPP Coordinator
MPP worker
MPP worker
MPP worker
MPP worker
Object
Storage

14. 14
Cómo funciona?
• Despliegue automatizado utilizando Kubernetes y
Helm charts
• Soporte para versiones on-prem,
OpenShift, y en nube (AKS en Azure, EKS
en AWS, etc.)
• Soporte native para autoescalado
• Exploración grafica del Object Storage desde la
interfaz web del Design Studio
• Reconocimiento automático de archivos de datos
(P. ej. Parquet), particiones, etc.

15. Demo

16. 16
Conclusiones
1. Las tecnologías de Object Storage, especialmente en la nube
(S3, ADLS, etc.), ofrecen una solución flexible y atractiva para
almacenamiento de grandes volúmenes de datos con bajo
costo
2. Los motores MPP de nueva generación proporcionan
procesado eficiente a gran escala sobre los datos
almacenados en el Object Storage, definiendo una nueva
generación de Data Lakes y Lakehouses
3. Una capa lógica, como Denodo, proporciona las capacidades
de seguridad, gobierno, e integración de datos necesarias
para introducir el Object Sotrage como parte de una
estrategia global de gestión de datos, como el Data Fabric

17. Q&A

18. DENODO DATAFEST EMEA 2023
The Agile Data Management
and Analytics Conference
OCTOBER 25-26 2023 | BARCELONA, SPAIN
REGISTER NOW
www.denododatafest.com/EMEA

19. Thanks!
www.denodo.com info@denodo.com
© Copyright Denodo Technologies. All rights reserved
Unless otherwise specified, no part of this PDF file may be reproduced or utilized in any for or by any means, electronic or mechanical, including photocopying
and microfilm, without prior the written authorization from Denodo Technologies.