Big data se refiere a datos de alto volumen, velocidad y variedad que requieren formas innovadoras y rentables de procesamiento de información para obtener conocimientos y apoyar la toma de decisiones. El documento describe cómo las oficinas nacionales de estadística están explorando el uso de big data a través de proyectos piloto, y la necesidad de nuevas habilidades como el procesamiento de grandes cantidades de datos y el análisis visual para aprovechar completamente big data.

1. @abxda

3. ¿Qué es Big Data?
@abxda

4. ¿Qué es Big Data?
http://datascience.berkeley.edu/what-is-big-data/
@abxda

5. ¿Qué es Big Data?
@abxda

6. ¿Qué es Big Data?
@abxda

7. Según Gartner:
Big data is high-volume, high-velocity
and high-variety information assets
that demand cost-effective,
innovative forms of information
processing for enhanced insight and
decision making.
http://www.ft.com/intl/cms/e91a32d0-2bac-11e3-bfe2-00144feab7de.pdf @abxda

8. ¿Qué es Big Data?
Diciembre 2004
Octubre 2003
@abxda

9. ¿Qué es Big Data?
2006
> 100,000 Artículos
2007
@abxda

10. Hadoop (2006 - 2008)
@abxda

11. Hadoop (2006 - 2008)
@abxda

12. ¿Qué es Big Data? (2009 – 2016…)
@abxda

13. Matei Zaharia Ion Stoica
(2009 – 2016…)
@abxda

14. (2013)
@abxda

15. Big Data en las Oficinas Nacionales de
Estadística
http://www1.unece.org/stat/platform/download/attachments/58492100/Big+Data+HLG+Final.docx?version=1&modificationDate=1362939424184
Comisión Económica de las Naciones Unidas para Europa
@abxda

16. • It is clear that during the next two years there is
a need to identify a few pilot projects that will
serve as proof of concept.
• Statistical organisations are, therefore,
encouraged to address formally Big data issues
in their annual and multi-annual work
programmes by undertaking research and pilot
projects in selected areas and by allocating
appropriate resources for that purpose.
Big Data en las Oficinas Nacionales de
Estadística
@abxda

17. • 'new' exploration and analysis methods are
required: Visualization methods, Text mining, and
High Performance Computing.
• To use Big data, statisticians are needed with a
different mind-set and new skills. The
processing of more and more data for official
statistics requires statistically aware people with an
analytical mind-set, an affinity for IT (e.g.
programming skills)
Big Data en las Oficinas Nacionales de
Estadística
@abxda

18. @abxda

19. Experto en
computación y
desarrollo
avanzados
(Big Data)
Experto en
Modelado
Estadístico
Experto en
el dominio de
datos
Unicornio
Zona
peligrosa!
Investigación
tradicional
Machine
learning
CIENCIA
DE
DATOS
http://www.anlytcs.com/2014/01/data-science-venn-diagram-v20.html
@abxda

20. Equipo Big Data
• Expertos en el Dominio de los Datos, Especialistas en el área de
interés.(Economistas, Expertos en percepción remota, Psiquiatras,
etc…)
• Científicos de Datos, expertos en integracion de soluciones Big
Data (MapReduce, Scala, Machine Learning, Spark, R, Estadística).
• Estadisticos, expertos en modelado estadistico, enfoque en
aprendizaje estadístico (R).
• Desarrolladores de Software, expertos en desarrollo de software
(JavaScript, Arquitecturas de Software, Patrones de Diseño, Api’s
REST).
• Diseñadores Gráficos, expertos en presentación de información
(HTML5, CSS3, JavaScript, Twitter Bootstrap).
• Administradores de Sistemas, expertos en arquitecturas de
computo, infraestructura. Desde redes a clusters de computadoras
(Linux).
#sgvirtual
@abxda

21. Internet de las cosas
Internet de las personas
Internet de las ideas
Internet del todo
Datos
Crudos
hdfs://
Información
(Significado)
Tomar
Decisiones
Actuar
¿quién?
¿cuántos?
¿por qué?
¿qué?¿Dónde?
Análisis de Datos
Estadística Machine Learning
Estratificaciones
Análisis de Regresión
Muestreo
Mucho más…
Análisis de Redes (Grafos)
Minería de Datos
Volumen
Ciencia de Datos
(Transforma/Modela)
Cómputo Distribuido y Paralelo
Arquitectura
Big Data/Ciencia de Datos
@abxda

22. %Acceso a Internet, %Pc, %Telefono Celular, %Automovil
En la misma Pc de 4 Procesadores:
(2013)
Software Tiempo Manzanas
Big Data
(Spark)
8 Seg. 1’221,18
0
Tradicional
(R)
8 Seg. 2,666
https://spark.apache.org/
2013
@abxda

23. Twitter como fuente de Big Data (Primer
Proyecto Piloto)
Para medir el pulso emotivo de México
…y mucho más …
@abxda

24. Hydra
Octubre 2013
INEGI
@abxda

25. Visualización de la Base de Datos
200 Millones de Tuits
400 Gb
800 Mb Diarios
@abxda

26. Visualización de la Base de Datos
~100 Millones de Tuits
@abxda

27. Frecuencia de Tuiteo
# Tuits
Frecuencia por hora del día
~1,000,000 Tuiteros generaron
~ 100 Millones de Tuits

28. Movilidad de los Tuiteros
4’469,550 de desplazamientos inter-municipales
347,157 Tuiteros
@abxda

29. Equipo de Trabajo
Y el apoyo de:
Y en la parte de visualización:
@abxda

30. @abxda

31. DENUE & Twitter
@abxda

32. DENUE & Twitter
@abxda

33. DENUE & Twitter
@abxda

34. Horarios de Tuiteo cerca de algún sector
@abxda

35. 4.9 M de Polígonos de Voronoi (DENUE)
@abxda

36. Big Spatial Join
(4.9 M DENUE +60 M Tweets)
@abxda

37. SpatialSpark (Nov. 2015)
@abxda

38. SpatialSpark: Open Source
@abxda

39. DENUE - Twitter
@abxda

40. Siguientes Pasos
• Colaboraciones Internacionales con ONU, para
explorar el uso de Big Data en el calculo de los
Indicadores de Desarrollo Sostenible.
• Ampliar los trabajos a mas Fuentes de Big Data:
Datos de Telefonía Móvil, Imágenes de Satélite, etc.
• Salud Mental en Adolescentes con Data2x y
Instituto Nacional de Psiquiatría
• Producto del Ánimo Tuitero en Tiempo Real
@abxda

41. Preguntas
@abxda

42. abel.coronado@inegi.org.mx
@abxda