Geo Big Data
Liberando el potencial de los datos geográficos
Python, R y Apache Spark
Abel Coronado @abxda
Objetivos
● Revisión de algunos conceptos básicos de los Datos
Geográficos (la teoría)
● Invitarlos experimentar (la ciencia) con Datos Abiertos
● Acercamiento práctico (la tecnología) al manejo de los datos
geográficos con herramientas de Big Data (la Infraestructura)
● ¿Dónde se concentran los Gamers en todo México?
(la pregunta)
La Teoría
Conceptos básicos para el manejo de información
geográfica.
Gracias a Sandra Borjon: sgborjon@gmail.com
¿Que es un
Dato
Geográfico?
Representación digital de
un dato espacial o rasgo
geográfico que puede
referirse espacial y
temporalmente, que está
dotado de atributos y cuya
simple representación
oculta su complejidad
propia.
Dato Geográfico
Espacio Geográfico
Representación
del Dato
Geográfico
El modelo vectorial se sirve
normalmente de tres
elementos geométricos
para representar la realidad:
Punto, Línea y Polígono.
Representación Vectorial
Archivos en formato GeoPackage Archivos en formato Shapefile
Representación
del Dato
Geográfico
El modelo ráster, en su
forma más simple, un ráster
consta de una matriz de
celdas (o píxeles)
organizadas en filas y
columnas en la que cada
celda contiene un valor que
representa información.
Representación Ráster
Archivos en formato Tiff
Un sistema de coordenadas
es un sistema de referencia
que se utiliza para
representar la ubicación de
entidades geográficas,
imágenes y observaciones
(como las localizaciones
GPS) dentro de un marco
geográfico común.
Sistemas de
coordenadas y
proyecciones
En el análisis de información geográfica se utilizan
habitualmente dos tipos de sistemas de
coordenadas:
● Sistemas de Coordenadas Geográficas o geodésicas
○ EPSG:4326 (https://epsg.io/4326)
● Sistemas Geográficas proyectadas también llamadas Proyecciones
● Proyecciones equidistantes, si conserva las
distancias.
● Proyecciones equivalentes, si conservan las
superficies.
● Proyecciones conformes, si conservan las formas
(o, lo que es lo mismo, los ángulos).
Tipos de Proyecciones
Proyecciones usadas en México
Proyección Cónica Conforme de Lambert (CCL)
Esta proyección es una de las más indicadas para las latitudes medias. Representa
la forma con más precisión que el área.
Sistema de
Información
Geográfica
(GIS)
Conjunto integrado de medios
y métodos informáticos, capaz
de recoger, verificar,
almacenar, gestionar,
actualizar, manipular,
recuperar, transformar,
analizar, mostrar y transferir
datos espacialmente referidos
a la Tierra.
https://www.qgis.org/es/site/
Para llevar:
Si al poner los datos de diferentes fuentes no
coinciden, probablemente debas revisar el
parámetro:
SRC: Sistema de Referencia Espacial.
Todo se reduce a una operación de:
Guardar Como:
Datos Abiertos
INEGI: Censo de Población y Vivienda 2020
https://www.facebook.com/INEGIInforma/
https://twitter.com/INEGI_INFORMA
¿Dónde están los datos?
Datos Estadísticos
https://www.inegi.org.mx/programas/ccpv/2020/
#Datos_abiertos
¿Dónde están los datos?
Datos Estadísticos
conjunto_de_datos_ageb_urbana_01_cpv2020.csv
¿Dónde están los datos?
Datos Estadísticos
diccionario_datos_ageb_urbana_01_cpv2020.csv
¿Dónde están los datos?
Datos Estadísticos
diccionario_datos_ageb_urbana_01_cpv2020.csv
¿Dónde están los datos?
Datos Geográficos
https://www.inegi.org.mx/app/biblioteca/ficha.ht
ml?upc=889463807469
¿Dónde están los datos?
La Tecnología y la
infraestructura
Tutoriales de Python, R y Spark
https://abxda.medium.com/
Un Evento Decenal de Datos Abiertos
https://abxda.medium.com/un-evento-decenal-de-datos-abiertos-68c6d232c70b
Un Evento Decenal de Datos Abiertos
https://abxda.medium.com/un-evento-decenal-de-datos-abiertos-68c6d232c70b
Integración de los Datos del Censo 2020 usando Python
https://abxda.medium.com/integraci%C3%B3n-de-los-datos-del-censo-2020-
usando-python-c%C3%B3digo-incluido-880b39296998
Integración de los Datos del Censo 2020 usando Python
https://abxda.medium.com/integraci%C3%B3n-de-los-datos-del-censo-2020-
usando-python-c%C3%B3digo-incluido-880b39296998
● Instalación de Anaconda
● Bibliotecas de Python y Jupyter Lab paso a paso
● Y todo el código de python para descargar todos los datos del censo e
integrarlos en archivos vectoriales llamados GeoPackage
Integración de los Datos del Censo 2020 usando Python
https://abxda.medium.com/integraci%C3%B3n-de-los-datos-del-censo-2020-
usando-python-c%C3%B3digo-incluido-880b39296998
R Espacial y el Tidyverso con Datos Censales 2020
https://abxda.medium.com/r-espacial-y-el-tidyverso-con-datos-censales-2020-
f28e5314f157
R Espacial y el Tidyverso con Datos Censales 2020
https://abxda.medium.com/r-espacial-y-el-tidyverso-con-datos-censales-2020-
f28e5314f157
R Espacial y el Tidyverso con Datos Censales 2020
https://abxda.medium.com/r-espacial-y-el-tidyverso-con-datos-censales-2020-
f28e5314f157
Datos Resultantes
Capas de Información Geográfica
¿Dónde están los Gamers?
¿Dónde están los Gamers? GeoBigData + KMedias
https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata-
kmedias-65aaac9d415a
¿Dónde están los Gamers? GeoBigData + KMedias
https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata-
kmedias-65aaac9d415a
¿Dónde están los Gamers? GeoBigData + KMedias
https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata-
kmedias-65aaac9d415a
¿Dónde están los Gamers? GeoBigData + KMedias
https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata-
kmedias-65aaac9d415a
¿Dónde están los Gamers? GeoBigData + KMedias
https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata-
kmedias-65aaac9d415a
¿Dónde están los Gamers? GeoBigData + KMedias
https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata-
kmedias-65aaac9d415a
¿Dónde están los Gamers? GeoBigData + KMedias
https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata-
kmedias-65aaac9d415a
¿Dónde están los Gamers? GeoBigData + KMedias
https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata-
kmedias-65aaac9d415a
¿Dónde están los Gamers? GeoBigData + KMedias
https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata-
kmedias-65aaac9d415a
¿Dónde están los Gamers? GeoBigData + KMedias
https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata-
kmedias-65aaac9d415a
¿Dónde están los Gamers? GeoBigData + KMedias
¿Dónde están los Gamers? GeoBigData + KMedias
GRACIAS
Twitter: https://twitter.com/abxda
Facebook:
https://www.facebook.com/abxda
Medium (Tutoriales):
https://abxda.medium.com/

Geo Big Data 4 Datalab

  • 1.
    Geo Big Data Liberandoel potencial de los datos geográficos Python, R y Apache Spark Abel Coronado @abxda
  • 2.
    Objetivos ● Revisión dealgunos conceptos básicos de los Datos Geográficos (la teoría) ● Invitarlos experimentar (la ciencia) con Datos Abiertos ● Acercamiento práctico (la tecnología) al manejo de los datos geográficos con herramientas de Big Data (la Infraestructura) ● ¿Dónde se concentran los Gamers en todo México? (la pregunta)
  • 3.
    La Teoría Conceptos básicospara el manejo de información geográfica. Gracias a Sandra Borjon: sgborjon@gmail.com
  • 4.
    ¿Que es un Dato Geográfico? Representacióndigital de un dato espacial o rasgo geográfico que puede referirse espacial y temporalmente, que está dotado de atributos y cuya simple representación oculta su complejidad propia.
  • 5.
  • 6.
    Representación del Dato Geográfico El modelovectorial se sirve normalmente de tres elementos geométricos para representar la realidad: Punto, Línea y Polígono.
  • 7.
    Representación Vectorial Archivos enformato GeoPackage Archivos en formato Shapefile
  • 8.
    Representación del Dato Geográfico El modeloráster, en su forma más simple, un ráster consta de una matriz de celdas (o píxeles) organizadas en filas y columnas en la que cada celda contiene un valor que representa información.
  • 9.
  • 10.
    Un sistema decoordenadas es un sistema de referencia que se utiliza para representar la ubicación de entidades geográficas, imágenes y observaciones (como las localizaciones GPS) dentro de un marco geográfico común. Sistemas de coordenadas y proyecciones
  • 11.
    En el análisisde información geográfica se utilizan habitualmente dos tipos de sistemas de coordenadas: ● Sistemas de Coordenadas Geográficas o geodésicas ○ EPSG:4326 (https://epsg.io/4326) ● Sistemas Geográficas proyectadas también llamadas Proyecciones ● Proyecciones equidistantes, si conserva las distancias. ● Proyecciones equivalentes, si conservan las superficies. ● Proyecciones conformes, si conservan las formas (o, lo que es lo mismo, los ángulos).
  • 12.
  • 13.
    Proyecciones usadas enMéxico Proyección Cónica Conforme de Lambert (CCL) Esta proyección es una de las más indicadas para las latitudes medias. Representa la forma con más precisión que el área.
  • 14.
    Sistema de Información Geográfica (GIS) Conjunto integradode medios y métodos informáticos, capaz de recoger, verificar, almacenar, gestionar, actualizar, manipular, recuperar, transformar, analizar, mostrar y transferir datos espacialmente referidos a la Tierra.
  • 15.
  • 16.
    Para llevar: Si alponer los datos de diferentes fuentes no coinciden, probablemente debas revisar el parámetro: SRC: Sistema de Referencia Espacial.
  • 17.
    Todo se reducea una operación de: Guardar Como:
  • 18.
  • 19.
    INEGI: Censo dePoblación y Vivienda 2020 https://www.facebook.com/INEGIInforma/ https://twitter.com/INEGI_INFORMA
  • 20.
    ¿Dónde están losdatos? Datos Estadísticos https://www.inegi.org.mx/programas/ccpv/2020/ #Datos_abiertos
  • 21.
    ¿Dónde están losdatos? Datos Estadísticos conjunto_de_datos_ageb_urbana_01_cpv2020.csv
  • 22.
    ¿Dónde están losdatos? Datos Estadísticos diccionario_datos_ageb_urbana_01_cpv2020.csv
  • 23.
    ¿Dónde están losdatos? Datos Estadísticos diccionario_datos_ageb_urbana_01_cpv2020.csv
  • 24.
    ¿Dónde están losdatos? Datos Geográficos https://www.inegi.org.mx/app/biblioteca/ficha.ht ml?upc=889463807469
  • 25.
  • 26.
    La Tecnología yla infraestructura Tutoriales de Python, R y Spark https://abxda.medium.com/
  • 27.
    Un Evento Decenalde Datos Abiertos https://abxda.medium.com/un-evento-decenal-de-datos-abiertos-68c6d232c70b
  • 28.
    Un Evento Decenalde Datos Abiertos https://abxda.medium.com/un-evento-decenal-de-datos-abiertos-68c6d232c70b
  • 29.
    Integración de losDatos del Censo 2020 usando Python https://abxda.medium.com/integraci%C3%B3n-de-los-datos-del-censo-2020- usando-python-c%C3%B3digo-incluido-880b39296998
  • 30.
    Integración de losDatos del Censo 2020 usando Python https://abxda.medium.com/integraci%C3%B3n-de-los-datos-del-censo-2020- usando-python-c%C3%B3digo-incluido-880b39296998 ● Instalación de Anaconda ● Bibliotecas de Python y Jupyter Lab paso a paso ● Y todo el código de python para descargar todos los datos del censo e integrarlos en archivos vectoriales llamados GeoPackage
  • 31.
    Integración de losDatos del Censo 2020 usando Python https://abxda.medium.com/integraci%C3%B3n-de-los-datos-del-censo-2020- usando-python-c%C3%B3digo-incluido-880b39296998
  • 32.
    R Espacial yel Tidyverso con Datos Censales 2020 https://abxda.medium.com/r-espacial-y-el-tidyverso-con-datos-censales-2020- f28e5314f157
  • 33.
    R Espacial yel Tidyverso con Datos Censales 2020 https://abxda.medium.com/r-espacial-y-el-tidyverso-con-datos-censales-2020- f28e5314f157
  • 34.
    R Espacial yel Tidyverso con Datos Censales 2020 https://abxda.medium.com/r-espacial-y-el-tidyverso-con-datos-censales-2020- f28e5314f157
  • 35.
  • 36.
  • 37.
  • 38.
    ¿Dónde están losGamers? GeoBigData + KMedias https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata- kmedias-65aaac9d415a
  • 39.
    ¿Dónde están losGamers? GeoBigData + KMedias https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata- kmedias-65aaac9d415a
  • 40.
    ¿Dónde están losGamers? GeoBigData + KMedias https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata- kmedias-65aaac9d415a
  • 41.
    ¿Dónde están losGamers? GeoBigData + KMedias https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata- kmedias-65aaac9d415a
  • 42.
    ¿Dónde están losGamers? GeoBigData + KMedias https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata- kmedias-65aaac9d415a
  • 43.
    ¿Dónde están losGamers? GeoBigData + KMedias https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata- kmedias-65aaac9d415a
  • 44.
    ¿Dónde están losGamers? GeoBigData + KMedias https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata- kmedias-65aaac9d415a
  • 45.
    ¿Dónde están losGamers? GeoBigData + KMedias https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata- kmedias-65aaac9d415a
  • 46.
    ¿Dónde están losGamers? GeoBigData + KMedias https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata- kmedias-65aaac9d415a
  • 47.
    ¿Dónde están losGamers? GeoBigData + KMedias https://abxda.medium.com/d%C3%B3nde-est%C3%A1n-los-gamers-geobigdata- kmedias-65aaac9d415a
  • 48.
    ¿Dónde están losGamers? GeoBigData + KMedias
  • 49.
    ¿Dónde están losGamers? GeoBigData + KMedias
  • 50.