O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Real-Time y Big Data: descubre el poder de tus datos

158 visualizações

Publicada em

Ponencia de la Sesión técnica 1 de la Conferencia Esri España 2018

Publicada em: Dados e análise
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Real-Time y Big Data: descubre el poder de tus datos

  1. 1. CONFERENCIA ESRI ESPAÑA 2018 CONFERENCIA ESRI ESPAÑA 2018 24-25 DE OCTUBRE | IFEMA, MADRID REAL-TIME Y BIG DATA: DESCUBRE EL PODER DE TUS DATOS MARTA DÁVILA Y LUIS RODRÍGUEZ ESRI ESPAÑA
  2. 2. CONFERENCIA ESRI ESPAÑA 2018 Agenda CONFERENCIA ESRI ESPAÑA 2018 1. Introducción 2. Flujo de trabajo con Real-Time y Big Data • Captura de información en tiempo real • Análisis y enriquecimiento de los datos • Seguimiento de eventos y generación de alertas • Consulta y visualización de Big Data • Análisis con Big Data 3. Casos de uso 4. Conclusiones
  3. 3. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Introducción
  4. 4. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 ¿Qué es el GIS hoy? Un sistema para gestionar, analizar y aplicar información geográfica …y resolver problemas Comunicación …mapas y visualización Utilizar la ubicación… …y la tecnología Integración Ciencia geográfica… …y modelización Análisis Comprender… Una plataforma para organizaciones… ….y para la sociedad
  5. 5. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Integración Información en tiempo real • Integración de datos en tiempo real • Flujos de datos de alta velocidad • Monitorización y alertas • Análisis en tiempo real GeoEvent Server Datos tiempo real Monitorización Análisis Alertas
  6. 6. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Análisis GIS avanzado Big Data Geoprocesamiento y Análisis Espacial Big Data GeoAnalytics Exploración Interactiva
  7. 7. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Comunicación Integrado en la plataforma ArcGIS Operaciones Trabajadores de campo Profesionales del GIS Técnicos Ejecutivos Usuarios Apps Analistas Ciudadanos
  8. 8. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Flujo de trabajo con Real- Time y Big Data
  9. 9. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Real-Time y Big Data en la plataforma ArcGIS Enterprise GeoEvent Server spatiotemporal big data store ingesta actuación GeoAnalytics Server análisisalmacenamiento visualización Entidades en tiempo real Stream services Tiempo real e histórico Agregaciones y entidades Apps Desktop APIs
  10. 10. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Captura de información en tiempo real ArcGIS GeoEvent Server
  11. 11. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 ¿Qué tipos de datos hay en tiempo real? Cosas que se mueven aviones barcos vehículos satélites Sensores estacionarios estaciones meteorológicas sensores del tráfico calidad del aire válvulas Cosas que ocurren “de pronto” crímenes rayos accidentes tweets tormentas trenes animales gente
  12. 12. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Arquitectura conceptual GeoEvent Server Entradas Inputs GeoEvent Definitions Outputs GeoEvent Services ArcGIS Enterprise Base Deployment Salidas
  13. 13. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Ingesta de datos Inputs GeoEvent Services Inputs Outputs Puedes crear tus propios conectores de entrada Poll an ArcGIS Server for Features OutoftheBox Poll an external website for GeoJSON, JSON, or XMLHTTP Receive Features, GeoJSON, JSON, or XML on a REST endpointREST Receive GeoJSON or JSON on a WebSocketWS Receive RSS Receive Text from a TCP or UDP Socket Subscribe to an external WebSocket for GeoJSON or JSONWS Watch a Folder for new CSV, GeoJSON, or JSON Files.csv EsriGallery ActiveMQ AIS Common Alerting Protocol Cursor-on-Target Exploitation Support Data Transit Feeds (GTFS) Instagram Kafka KML MQTT NMEA 0183 RabbitMQ Sierra Wireless (RAP) Trimble (TAIP) Twitter AIS Amazon IoT Azure IoT CompassLDE enviroCar exactEarth AIS FAA (ASDI) GNIP Networkfleet OSIsoft Valarm Waze Zonar PartnerGallery
  14. 14. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Captura de datos en tiempo real Waze
  15. 15. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Análisis y enriquecimiento de los datos ArcGIS GeoEvent Server
  16. 16. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Análisis en tiempo real • Un servicio de GeoEvent configura un flujo de geoeventos • Filtros y procesos encadenados • Entradas • Salidas
  17. 17. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Procesadores para analizar en tiempo real Processors GeoEvent Services Inputs Outputs Buffer Creator Convex Hull Creator Difference Creator Envelope Creator Field Calculator Field Enricher Field Mapper Geotagger Incident Detector Intersector Projector Simplifier Symmetric Difference Track Gap Detector Field Reducer Union Creator OutoftheBox Add XYZ EsriGallery Bearing Ellipse Event Volume Control Extent Enricher Field Grouper GeoNames Lookup Range Fan Reverse Geocoder Service Area Creator Symbol Lookup Track Idle Detector Unit Converter Visibility Motion Calculator Query Report Puedes crear tus propios procesadores
  18. 18. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018
  19. 19. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Operadores espaciales intersect disjoint touches contains crosses equals overlaps within inside outside enter exit
  20. 20. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Geofences Sincronización • Desde un feature service • Importar - geofences estáticos • Sincronizar - geofences dinámicos • Desde un stream service • Actualización constante – geofences dinámicos Evento Geometry Inside Any RestrictedZone/.* Evento filtrado GeoFences • Category (e.g. “RestricedZone”) o SecurityPavilion o LoadingDock o ObservationHanger Importar (una vez) Sincronizar (polling) Feature Service
  21. 21. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Seguimiento de eventos en tiempo real ArcGIS GeoEvent Server
  22. 22. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Salida de datos en tiempo real Outputs GeoEvent Services Inputs Outputs Puedes crear tus propios conectores de salida OutoftheBox Add or Update a Feature Publish Text to a UDP Socket Push GeoJSON or JSON to an external WebsiteHTTP Push GeoJSON or JSON to an external WebSocketWS Push Text to an external TCP Socket Send a Text Message Send an Email Send an Instant Messageim Send Features to a Stream Service Write to a CSV, GeoJSON, or JSON File.csv Add a Feature to a spatiotemporal big data store Update a feature in a spatiotemporal big data store EsriGallery Amazon IoT Azure IoT ActiveMQ Cursor-on-Target Hadoop Kafka MongoDB MQTT RabbitMQ Twitter
  23. 23. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Visualización y seguimiento de eventos • Stream Layers • Apps se suscriben para visualizar inmediatamente las observaciones • No requiere almacenamiento, baja latencia, siempre se accede al último dato • Map & Feature Layer • Apps realizan peticiones periódicamente para mostrar las observaciones más recientes • Requiere una BBDD (Enterprise GDB) o un Spatiotemporal big data store (SBDS) • Se puede acceder al dato histórico Stream Layer Map Layer Feature Layer ArcGIS Enterprise Stream Service Enviar entidades a un Stream Service subscribe (push) polling (pull) Map Service Feature Service Añadir una entidad a BDS Actualizar una entidad en BDS spatiotemporal big data store Añadir o actualizar una entidad EGDBGeoEvent Server Apps Desktop APIs
  24. 24. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Análisis y seguimiento de datos en tiempo real Waze, balsa minera
  25. 25. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Consulta y visualización de Big Data Spatiotemporal Big Data Store
  26. 26. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Visualización de datos en Spatiotemporal Big Data Store • Almacenando en Spatiotemporal Big Data Store • Agregaciones al vuelo • 4 tipos de índices geohash square triangle pointy triangle flat hexagon flat hexagon pointy
  27. 27. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Replicación en nodos Spatiotemporal Big Data Store spatiotemporal big data store GeoEvent Server GeoAnalytics Server node 1 node 2 node 3node 4 node 5 T1 T3 T2 T2 r = 1 T1 T3
  28. 28. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Rebalanceado automático Spatiotemporal Big Data Store spatiotemporal big data store node 2 node 3node 4 node 5 T1 T3 T2 T2 r = 1 x T1 T3 T1 T1T3 GeoEvent Server GeoAnalytics Server
  29. 29. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Consulta de datos en Spatiotemporal Big Data Store Waze
  30. 30. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Análisis de Big Data ArcGIS GeoAnalytics Server
  31. 31. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 ArcGIS GeoAnalytics Server ArcGIS GeoAnalytics Server utiliza la potencia de la computación distribuida para procesar y analizar rápidamente grandes cantidades de datos vectoriales y tabulares con componente espacial y temporal.
  32. 32. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 ¿Por qué GeoAnalytics? Responde preguntas difíciles con grandes volúmenes de datos en minutos u horas en lugar de días o semanas. Análisis potentes Procesado y análisis distribuidos Modelo de geoinformación de ArcGIS Enterprise
  33. 33. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 ¿Qué tipos de análisis ofrece GeoAnalytics? Aggregate Points Build Multi-Variable Grid Join Features Reconstruct Tracks Summarize Attributes Summarize Within Resumir datos Buscar ubicacionesAnalizar patrones Utilizar proximidadGestionar datos Detect Incidents Find Similar Locations Geocode Locations Calculate Density Create Space Time Cube Find Hot Spots Find Point Clusters Create BuffersAppend Data Calculate Field Copy to Data Store Overlay Layers
  34. 34. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 ¿Cómo funciona GeoAnalytics? Web GIS Layers Utiliza las capas de resultados desde toda la plataforma ArcGIS Data Store Feature Services ArcGIS Relational Data Store ArcGIS Spatiotemporal Big Data Store Big Data File Share Portal for ArcGIS GeoAnalytics Server
  35. 35. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 ¿Con qué datos trabaja GeoAnalytics? • Entrada • Datos GIS • Capas que ya estén en tu Web GIS • Fuentes de datos big data: big data file shares • Fuentes soportadas • Ficheros compartidos • HDFS • Hive • Cloud Stores • AWS S3 • Microsoft Azure Blob container/Data Lake • Formato ficheros • Delimited files (.csv, .tsv, .txt) • Shapefiles • Parquet files • ORC files • Salida • Hosted feature layer • Por defecto, los datos de los resultados se almacenan en Spatiotemporal Big Data Store • Fichero local NetCDF (Create Space Time Cube) feature tabular real-time
  36. 36. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 ¿Cómo interactúo con las herramientas de GeoAnalytics? ArcGIS Pro
  37. 37. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 ¿Cómo interactúo con las herramientas de GeoAnalytics? ArcGIS Pro Visor de mapa de ArcGIS Enterprise
  38. 38. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 ¿Cómo interactúo con las herramientas de GeoAnalytics? ArcGIS Pro Visor de mapa de ArcGIS Enterprise ArcGIS API for Python
  39. 39. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 ¿Cómo interactúo con las herramientas de GeoAnalytics? ArcGIS Pro Visor de mapa de ArcGIS Enterprise ArcGIS API for Python ArcGIS REST API
  40. 40. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Análisis de datos históricos Waze, BiciMAD
  41. 41. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Casos de uso reales
  42. 42. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 EMT Madrid • Inputs: Colas RabbitMQ • Outputs: Ultima posición e histórico de posiciones • Consumo de los datos: GeoAnalytics, Cuadros de mando e Insights
  43. 43. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 SASEMAR (Salvamento Marítimo) • Inputs: Tráfico marítimo AIS, WebService de INAER y WebServices SASEMAR • Análisis en tiempo real • Outputs: Ultima posición e histórico de posiciones • Consumo de los datos: Cuadros de mando y aplicaciones Web desarrolladas con Web AppBuilder
  44. 44. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Conclusiones
  45. 45. CONFERENCIA ESRI ESPAÑA 2018CONFERENCIA ESRI ESPAÑA 2018 Flujo de trabajo con Real-Time y Big Data Spatiotemporal Big Data Store GeoAnalytics Server IoT GeoEvent Server Big Data System of Insight Visualización
  46. 46. CONFERENCIA ESRI ESPAÑA 2018 SESIÓN SALA HORARIO CONFERENCIA ESRI ESPAÑA 2018 Otras ponencias relacionadas Integrando BIM y GIS en la gestión de ciudades inteligentes Selecciona la app correcta para los trabajos en campo de tu organización: ArcGIS Apps • Sala 106 • Sala 105 • 12:30 – 13:30 • 12:30 – 13:30
  47. 47. CONFERENCIA ESRI ESPAÑA 2018

×