Iván del Prado, CEO de Datasalt y uno de los creadores de Pangool Hadoop API y Splout SQL repasó las necesidades de usar tecnologías y procesos BigData y las alternativas libres para abordar proyectos de diversa índole.

1. Iván de Prado Alonso – CEO of Datasalt
www.datasalt.es
@ivanprado
@datasalt
Big Data
Una visión pragmática

2. Consultoría y formación
Big Data

3. Success stories
Deep Knowledge
Analyzing credit
card transactions
Pangool
Revamped Hadoop API
Extracting insights
from Social Networks
Splout SQL
Making Hadoop data accessible
Dealing with thousands
of millions of classifieds
Managing billions
of events per day
Building the future
ICDM 2012

4. Big Data Hype

5. Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
BIG
“MAC”
DATA
5 / 27

6. 1. Definición de Big Data
2. Lo disruptivo
3. Ejemplos sectoriales
4. Conclusiones
Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Agenda
6 / 27

7. ●
Datos
–
–
–
●
●
–
–
Variedad
Cruce de datos
●
●
Redes sociales
Sensores, etc
●
Esquemas en lectura
–
Velocidad
No tires ni un dato
–
Volumen
Inteligencia de negocio
Filosofía de desarrollo
Tolerancia a fallos humanos
Herramientas
–
Hadoop
–
NoSQL
–
Sistemas distribuidos
7 / 27
Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Definición del Big Data – 4 puntos de vista

8. Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Confusión
8 / 27

9. Big Da
ta
La “caja” del Big Data pinta muy bien ...

10. ¿Pero hay algo realmente nuevo y disruptivo dentro?

12. 1. Definición de Big Data
2. Lo disruptivo
3. Ejemplos sectoriales
4. Conclusiones
Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Agenda
12 / 27

13. ●
●
●
●
Big Data → Nuevas tecnologías relevantes
– Capaces de hacer viable lo que antes era inviable
Distribuidas
– Aprovechan el potencial de varias máquinas
– Abstraen al programador de las complejidades de
coordinación
● Pero siguen siendo complejas
Open Source (la mayoría)
De bajo coste
13 / 27
Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Tecnologías disruptivas

16. 1. Definición de Big Data
2. Lo disruptivo
3. Ejemplos sectoriales
4. Conclusiones
Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Agenda
16 / 27

17. ●
Lo que se podía antes del Big Data
–
Hacer portales de clasificados (inmobiliarios, etc) a nivel de un país
–
Tecnologías principales:
●
●
Bases de datos relacionales (i.e. MySQL)
Lo que era casi imposible y ahora es muy razonable
–
Hacer un buscador de clasificados de escala mundial
–
Tecnologías principales:
●
●
●
Hadoop, Hbase, Storm
Solr, ElasticSearch
Ejemplos
17 / 27
Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Anuncios clasificados (I)

18. Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Anuncios clasificados (II)
18 / 27

19. ●
Lo que se podía antes del Big Data
–
Restringido al poder de una máquina (análisis locales)
–
Tecnologías principales:
●
Bases de datos relacionales (i.e. MySQL)
●
●
Analítica monomáquina
Lo que era casi imposible y ahora es muy razonable
–
Analizar la influencia de todos los individuos en una red social
–
Tecnologías principales:
●
Hadoop, Hbase, Storm
●
NoSQL: Voldemort, Cassandra
●
●
Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Análisis de influencia online y en redes
sociales (I)
Hamma, Giraph
Ejemplos
19 / 27

20. Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Análisis de influencia online y en redes
sociales (II)
20 / 27

21. ●
Lo que se podía antes del Big Data
–
Datos en silos
–
Presos de los DW (muy poco flexibles)
–
Tecnologías principales:
●
●
EDW MPP
Lo que era casi imposible y ahora es muy razonable
–
Explotar de nuevas maneras los datos y dar valor a terceros
–
Tecnologías principales:
●
Hadoop
●
NoSQL
●
●
Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Explotar datos agregados (I)
Gestores geográficos
Ejemplos
21 / 27

22. Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Explotar datos agregados (II)
22 / 27

23. ●
Lo que se podía antes del Big Data
–
Estadísticas básicas en Bds relacionales a clientes
–
Agregados de muy alto nivel (se pierde el grano fino)
–
Tecnologías principales:
●
●
Bds relacionales (i.e. MySql, Oracle)
Lo que era casi imposible y ahora es muy razonable
–
No tirar un sólo dato
–
Estadísticas muy ricas y de gran detalle para cada cliente
–
Tecnologías principales:
●
Hadoop
●
●
Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Redes de anuncios (Ad networks)
NoSQL, Splout SQL
Ejemplos
23 / 27

24. ●
Lo que se podía antes del Big Data
–
Recibir y procesar el gran nivel de eventos era casi imposible
–
Tecnologías principales:
●
Bds relacionales (i.e. MySql, Oracle)
●
●
Sistema de colas con consumidores
Lo que era casi imposible y ahora es muy razonable
–
Estadísticas y respuesta a eventos en tiempo real
–
Tecnologías principales:
●
Storm, Erlang
●
●
Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Juegos online
NoSQL
Ejemplos
24 / 27

25. 1. Definición de Big Data
2. Lo disruptivo
3. Ejemplos sectoriales
4. Conclusiones
Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Agenda
25 / 27

26. ●
●
●
●
●
El Big Data es algo disruptivo
Razón principal: Nuevas tecnologías
– Que hacen posibles aplicaciones antes casi imposibles
Tecnologías aún no maduras y muy dispersas
– Salvo Hadoop, con alto grado de madurez y que resuelve gran parte de
problemas
Oportunidad: arriesgar y abrazar estas tecnologías
– Hay cierto riesgo (bajo grado de madurez)
– Pero puede suponer una ventaja estratégica
– Apostar por equipos pequeños pero capaces
No centrarse únicamente en tecnología
– Preparar equipos humanos Big Data (científicos de datos)
26 / 27
Copyright © 2012 Datasalt Systems S.L. All rights reserved. Not to be reproduced without prior written consent.
Conclusión

27. Gracias
Creative Commons images:
http://www.flickr.com/photos/83633410@N07/7658298768/
http://www.flickr.com/photos/meatheadmovers/5346219239/in/photostream/
http://www.flickr.com/photos/meatheadmovers/5346220901/in/photostream/
http://www.flickr.com/photos/jepoirrier/8319130269/
Iván de Prado Alonso
ivan@datasalt.com
@ivanprado
www.datasalt.com