O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

AWS Initiate Day Mexico City | Big Data y AI - Impulsando la información y agregando inteligencia a sus soluciones

45 visualizações

Publicada em

Big Data y AI - Impulsando la información y agregando inteligencia a sus soluciones.Ponente:Ángel León

Publicada em: Tecnologia
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

AWS Initiate Day Mexico City | Big Data y AI - Impulsando la información y agregando inteligencia a sus soluciones

  1. 1. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Big data en contacto con la IA Obtención de información detallada e inclusión de inteligencia en sus soluciones Eduardo Patiño Balaguera Arquitecto de soluciones para Sector Público Email: balague@amazon.com
  2. 2. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Contenido • Por qué big data es importante para las organizaciones • Retos habituales: cuál, qué, cómo... • Big Data conduce a Machine Learning • Arquitecturas de ejemplo
  3. 3. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. VisualizaciónVariabilidad Big data se define de muchas formas diferentes Volumen Velocidad Variedad Veracidad Valor
  4. 4. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. https://www.promptcloud.com https://john-popelaars.blogspot.com https://www.signiant.com https://www.linkedin.com/pulse/world-today-data-rich-information-poor-guru-p-mohapatra-pmp/ ¿Qué dicen los analistas?
  5. 5. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Las organizaciones que generen con éxito valor comercial a partir de sus datos se impondrán a otras organizaciones homólogas. En una encuesta realizada por Aberdeen se pudo constatar que las organizaciones que habían implementado un Datalake superaron a empresas similares con un 9 % de aumento orgánico de sus ingresos.* 24 % 15 % Líderes Seguidores Aumento orgánico de los ingresos *Aberdeen: Angling for Insight in Today’s Data Lake, Michael Lock, vicepresidente sénior de Análisis e Inteligencia de Negocio Factor más importante: obtener valor a partir de los datos
  6. 6. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Los datos están cambiando  Adopción de los análisis Captura y almacenamiento de datos nuevos a escala de PB-EB Nuevos análisis de gran rentabilidad • Aprendizaje automático • Procesamiento de big data • Análisis en tiempo real • Búsqueda de texto completo Nuevos tipos de análisis
  7. 7. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Los Data Lakes amplían el método tradicional Almacén de datos Inteligencia empresarial OLTP ERP CRM LOB • Datos relacionales y no relacionales • Escala de TB-EB • Diferentes motores de análisis • Análisis y almacenamiento de bajo costo Dispositivos inteligentes Web Sensores Redes sociales Lago de datos Procesamiento de big data, aprendizaje automático en tiempo real
  8. 8. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Datalakes en AWS Análisis • Nivel de durabilidad y disponibilidad sin igual a escala de EB • Las mejores capacidades de seguridad, conformidad y auditoría • Controles de nivel de objeto para un acceso preciso • El rendimiento más rápido a la hora de recuperar subconjuntos de datos • La mayor variedad de sistemas para introducir datos • El doble de integraciones con socios • Análisis con el mayor conjunto de servicios de análisis y ML Aprendizaje automático Movimiento de datosMovimiento de datos Lago de datos en AWS en tiempo realen las instalaciones
  9. 9. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Amazon S3 tiene trillones de objetos y alcanza a tener picos de millones de solicitudes por segundo.
  10. 10. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Servicio de ML administrado AMI de aprendizaje profundo Reconocimiento de imágenes y vídeos Interfaces de conversación Cámara de vídeo compatible con el aprendizaje profundo Procesamiento de lenguaje natural Traducción de idiomas Reconocimiento de voz Texto a voz Análisis interactivo Hadoop y Spark Almacenamiento de datos Búsqueda de texto completo Análisis en tiempo real Paneles y visualizaciones Conexión de red dedicada Dispositivos seguros Contenedor de envío reforzado Migración de bases de datos Conectar dispositivos a AWS Streaming de datos en tiempo real Streaming de vídeo en tiempo real Lago de datos en AWSAlmacenamiento | Almacenamiento para archivado | Catálogo de datos AnálisisAprendizaje automático Movimiento de datosMovimiento de datos en tiempo realen las instalaciones Datalakes, análisis y Servicios de IoT en AWS El conjunto más completo y variado de servicios de análisis
  11. 11. Catálogo y búsqueda Obtenga acceso a y busque metadatos Interfaz de usuario y acceso Proporcione asususuarios un acceso seguroyfácil DynamoDB Elasticsearch API Gateway Identity & Access Management Cognito Quick Sight Amazon AI EMR Redshift Athena Kinesis RDS Almacenamiento central Almacenamiento seguro y rentable en Amazon S3 S3 Snowball Database Migration Service Kinesis Firehose ETL de Glue Adquisición de datos Introduzca susdatosen S3 de formarápidaysegura Protección y seguridad Utilice el sistema de concesión de derechos para proteger sus datos y asegurarse de que se verifican las identidades de los usuarios Procesamiento y análisis Use análisis predictivos y prescriptivos para comprender mejor sus datos Security Token Service CloudWatch CloudTrail Key Management Service Componentes de un Datalake Catálogo y búsqueda Obtenga acceso a y busque metadatos Interfaz de usuario y acceso Proporcione asususuarios un acceso seguroyfácil DynamoDB Elasticsearch API Gateway Identity & Access Management Cognito Quick Sight Almacenamiento central Almacenamiento seguro y rentable en Amazon S3 Metadatos Acceso del usuario Seguridad y gobernanza Movimiento de datos Análisis y aprendizaje automático
  12. 12. Catálogo y búsqueda Obtenga acceso a y busque metadatos Interfaz de usuario y acceso Proporcione asususuarios un acceso seguroyfácil DynamoDB Elasticsearch API Gateway Identity & Access Management Cognito Quick Sight Amazon AI EMR Redshift Athena Kinesis RDS Almacenamiento central Almacenamiento seguro y rentable en Amazon S3 S3 Snowball Database Migration Service Kinesis Firehose ETL de Glue Adquisición de datos Introduzca susdatosen S3 de formarápidaysegura Protección y seguridad Utilice el sistema de concesión de derechos para proteger sus datos y asegurarse de que se verifican las identidades de los usuarios Procesamiento y análisis Use análisis predictivos y prescriptivos para comprender mejor sus datos Security Token Service CloudWatch CloudTrail Key Management Service Componentes de un Datalake Catálogo y búsqueda Obtenga acceso a y busque metadatos Interfaz de usuario y acceso Proporcione asususuarios un acceso seguroyfácil DynamoDB Elasticsearch API Gateway Identity & Access Management Cognito Quick Sight A Almacenamiento central Almacenamiento seguro y rentable en Amazon S3 ETL de Glue
  13. 13. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. ¿QUÉ herramienta debo usar? Una herramienta que no realiza ninguna de sus funciones muy bien. Conjunto de herramientas bien organizadas que cumplen su objetivo a la perfección.
  14. 14. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Motores personalizados. La herramienta adecuada para el trabajo adecuado. ¿QUÉ herramienta debo usar?
  15. 15. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. ¿QUÉ herramientas existen?
  16. 16. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. ¿QUÉ datos tengo? Gartner: "Durante el año 2018, el 80 % de los datalakes no incluirán capacidades de administración de metadatos, lo que hará que sean poco eficientes". Lago de datos en AWSAlmacenamiento | Almacenamiento para archivado | Catálogo de datos
  17. 17. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Creación de trabajosCatálogo de datos Ejecución de trabajos Compatible con el metastore de Apache Hive Integrado con servicios de AWS Rastreo automático Detección Genera automáticamente código ETL Python y Apache Spark Edición, depuración y uso compartido Desarrollo Ejecución sin servidor Programación flexible Monitorización y alertas Implementación ¿QUÉ datos tengo?: AWS Glue
  18. 18. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Datos en las instalaciones Datos de aplicación web Amazon RDS Otras bases de datos Streaming de datos Sus datos AMAZON QUICKSIGHT ¿QUÉ datos tengo?
  19. 19. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Otras maneras de llenar el catálogo de datos Llamar a la API CreateTable de AWS Glue Crear una tabla manualmente Ejecutar una instrucción DDL en Hive Metaalmacén de Apache Hive AWS GLUE ETL CATÁLOGO DE DATOS DE AWS GLUE Importar desde el metaalmacén de Apache Hive
  20. 20. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. LO MÁS importante: seleccione un marco ágil. Comience con una herramienta que sea apta para su objetivo. ¿CÓMO puedo empezar? Experimente, pruebe, itere, adopte.
  21. 21. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Agilidad de análisis Amazon SageMaker AMI de aprendizaje profundo de AWS Amazon Rekognition Amazon Lex AWS DeepLens Amazon Comprehend Amazon Translate Amazon Transcribe Amazon Polly Amazon Athena Amazon EMR Amazon Redshift Amazon Elasticsearch Service Amazon Kinesis Amazon QuickSight Conexión directa AWS AWS Snowball AWS Snowmobile AWS Database Migration Service AWS IoT Core Amazon Kinesis Data Firehose Amazon Kinesis Data Streams Amazon Kinesis Video Streams Lago de datos en AWSAlmacenamiento | Almacenamiento para archivado | Catálogo de datos AnálisisAprendizaje automático Movimiento de datosMovimiento de datos en tiempo realen las instalaciones
  22. 22. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Agilidad: análisis de Hadoop o Spark • Procesamiento distribuido • Análisis diversos • Lote/Script (Hive/Pig) • Interactivos (Spark, Presto) • En tiempo real (Spark) • Aprendizaje automático (Spark) • NoSQL (HBase) • Para muchos casos de uso • Análisis de registros y secuencias de clics • Aprendizaje automático • Análisis en tiempo real • Análisis a gran escala • Genómica • ETL YARN (administrador de recursos de Hadoop) NoSQLAprendizaje automático Tiempo realInteractivoScriptLote Lago de datos en AWS
  23. 23. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Agilidad: análisis de Hadoop/Spark en AWS YARN (administrador de recursos de Hadoop) NoSQLAprendizaje automático Tiempo real InteractivoScriptLote Lago de datos en AWS Amazon S3 Amazon EMR Hadoop/Spark administrado Almacenamiento de objetos
  24. 24. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Amazon S3 – Fuente de confianza, varios clústeres Amazon S3 Clúster de Spark interactivo Amazon EMR Amazon EMR HDFS HDFS Memoria de la instancia EC2 Intermedios almacenados en el disco local o HDFS Local HDFS Memoria de la instancia EC2 Intermedios almacenados en el disco local o HDFS Local Trabajo de ETL transitorio Origen de confianza HDFS HDFS HDFS HDFS/almacenamiento intermedio local HDFS/almacenamiento intermedio local
  25. 25. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Inclusión en el catálogo de datos común Amazon S3 Clúster de Spark interactivo Amazon EMR Amazon EMR HDFS Trabajo de ETL transitorio Origen de confianza HDFS Describe datos en S3 Instancia de base de datos MySQL Losclientesdisponen deopciones Catálogo de datos de Glue
  26. 26. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Amazon Athena es un servicio interactivo de consultas que facilita el análisis de datos directamente desde Amazon S3 con SQL estándar
  27. 27. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Aprendizaje automático y big data
  28. 28. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Impulsión del aprendizaje automático con big data Mejores decisiones Almacenamiento de objetos Bases de datos Almacén de datos Análisis de streaming BI Hadoop Spark/Presto Elasticsearch Mejores productos Aprendizaje automático Aprendizaje profundo/ inteligencia artificial Más usuarios Más datos Secuencia de clics Actividad de usuario Contenido generado Compras Clics Número de Me gusta Datos de sensor
  29. 29. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Agilidad en el aprendizaje automático Amazon SageMaker AMI de aprendizaje profundo de AWS Amazon Rekognition Amazon Lex AWS DeepLens Amazon Comprehend Amazon Translate Amazon Transcribe Amazon Polly Amazon Athena Amazon EMR Amazon Redshift Amazon Elasticsearch Service Amazon Kinesis Amazon QuickSight Conexión directa AWS AWS Snowball AWS Snowmobile AWS Database Migration Service AWS IoT Core Amazon Kinesis Data Firehose Amazon Kinesis Data Streams Amazon Kinesis Video Streams Lago de datos en AWSAlmacenamiento | Almacenamiento para archivado | Catálogo de datos AnálisisAprendizaje automático Movimiento de datosMovimiento de datos en tiempo realen las instalaciones
  30. 30. El aprendizaje automático necesita nuevas herramientas e interfaces Aprendizaje automático/Aprendizaje profundo Informes de negocios Científicos de datos Ingeniero de datos IDE Catálogo de datos Almacenamiento central Sagemaker
  31. 31. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. Agilidad en el aprendizaje automático para todos los usuarios Servicios de aplicaciones • Diseñado para desarrolladores de aplicaciones • Modelos preconstruidos orientados a las soluciones disponibles por medio de API • Análisis de imágenes, conversión de texto a voz, UX de conversación Plataformas • Diseñadas para satisfacer las necesidades comunes de los científicos de datos • Plataforma totalmente administrada para la creación de modelos • Reduce la carga pesada en la creación y la implementación de modelos Marcos • Diseñados para satisfacer las necesidades avanzadas y emergentes de los científicos de datos • Ofrece la máxima flexibilidad para el desarrollo en los marcos principales de inteligencia artificial • Permite desarrollar e implementar sistemas de inteligencia artificial expertos
  32. 32. Mediante la migración a AWS, FINRA, la Autoridad Reguladora de la Industria Financiera, creó una plataforma flexible que se puede adaptar a los cambios en las dinámicas del mercado y que ofrece a los analistas herramientas para consultar, de forma interactiva, conjuntos de datos de varios petabytes. FINRA trasladó alrededor del 90% del volumen de sus datos a Amazon Web Services. FINRA utiliza AWS para recopilar, analizar y almacenar una cantidad diaria de 37 000 millones de registros.
  33. 33. Ideas Clave • Bajo acoplamiento, pero de alto rendimiento • Almacenamiento, análisis, administración de metadatos, etc.. • Proteja sus análisis de cara al futuro • Elección de la herramienta más adecuada para el trabajo • Elasticidad y numerosos clústeres para objetivos exclusivos • Sustitución de la planificación de capacidad por el modelo de consumo • No se olvide de administrar los metadatos
  34. 34. Use la capa de almacenamiento adecuada Estructura de datos → Esquema fijo, JSON, clave-valor Patrones de acceso → Almacene los datos en el formato en que vaya a obtener acceso a ellos Características de los datos → Calientes, templados, fríos Costo → Costo adecuado
  35. 35. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. http://bit.ly/2JF0rOS
  36. 36. 2019, Amazon Web Services, Inc. o sus empresas afiliadas. Todos los derechos reservados. ¡Gracias!

×