O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Big data con Hadoop y SSIS 2016

635 visualizações

Publicada em

Introducción a Hadoop y sus herramientas. Presentación de las herramientas de integración que ofrece SQL Server Integration Services 2016 con Hadoop y HDInsight

Publicada em: Dados e análise
  • Entre para ver os comentários

  • Seja a primeira pessoa a gostar disto

Big data con Hadoop y SSIS 2016

  1. 1. ##SQLSatMadrid Big Data con Hadoop en SQL Server SSIS 2016 Ángel M. Rayo
  2. 2. ##SQLSatMadrid ¿Quién soy?  Ángel M. Rayo  twitter.com/oyara  Technology Lead Expert en Netmind  Más de 9.000 horas de experiencia formativa  Microsoft Certified Trainer desde 2005  MCDBA SQL 2000 – MCSA SQL 2014
  3. 3. ##SQLSatMadrid Agenda  Hadoop  HDInsight  SQL Server SSIS 2016  Referencias
  4. 4. ##SQLSatMadrid HADOOP Big Data con Hadoop en SQL Server SSIS 2016
  5. 5. ##SQLSatMadrid Hadoop Procesado distribuido Grandes conjuntos de datos Clústeres de ordenadores Modelos de programación sencillos Apache™ Hadoop®
  6. 6. ##SQLSatMadrid Hadoop • 2003 – Google File System • 2004 – MapReduce • 2006 – Hadoop 0.1.0 • 2011 – Hadoop 1.0 • 2015 – Hadoop 1.7 • 25 de agosto de 2016 – Hadoop 2.7.3
  7. 7. ##SQLSatMadrid Hadoop – Componentes Hadoop Common Hadoop Distributed File System (HDFS™) Hadoop YARN Hadoop MapReduce Apache™ Hadoop®
  8. 8. ##SQLSatMadrid Hadoop – Otros componentes
  9. 9. ##SQLSatMadrid Hadoop
  10. 10. ##SQLSatMadrid HDINSIGHT Big Data con Hadoop en SQL Server SSIS 2016
  11. 11. ##SQLSatMadrid HDInsight • Servicio Hadoop alojado en Microsoft Azure • Gestión de clústeres • Framework diseñado para: • Gestión • Análisis • Reporting • Utiliza la distribución Hortonworks Data Platform (HDP)
  12. 12. ##SQLSatMadrid HDInsight
  13. 13. ##SQLSatMadrid HDInsight – Uso • Hadoop as a Service (HaaS) • Crear soluciones y servicios Big Data • Administrar y monitorizar clústeres Hadoop • Analizar y generar estadísticas de: • Disponibilidad • Utilización
  14. 14. ##SQLSatMadrid HDInsight – Creación
  15. 15. ##SQLSatMadrid SQL SERVER SSIS 2016 Big Data con Hadoop en SQL Server SSIS 2016
  16. 16. ##SQLSatMadrid SQL Server • ¿Hace falta decir qué es? ;-) • Sistema gestor de bases de datos relacionales Microsoft • 1989 – SQL Server 1.0 • 1 de junio de 2016 – SQL Server 2016 (14.0)
  17. 17. ##SQLSatMadrid SQL Server 2016 – Servicios y herramientas Service Broker Replication Services Analysis Services Reporting Services Notification Services Visual Studio Integration Services SQL Server Management Studio Full Text Search Service Business Intelligence Dev Studio SQLCMD
  18. 18. ##SQLSatMadrid SQL Server 2016 SSIS • Plataforma de integración datos y aplicaciones de flujos de trabajo • Herramienta Data Warehouse rápida y flexible • ETL • Extraction • Transformation • Loading
  19. 19. ##SQLSatMadrid SQL Server 2016 SSIS Data Transformation Services (DTS) SQL Server Integration Services (SSIS) Disponible desde SQL Server 6.5 a SQL Server 2000 Disponible desde SQL Server 2005 .NET como base de ejecución Control Flow Data Flow Event Handlers Package Explorer
  20. 20. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Situación desde SQL Server 2016 • Se incluye Hadoop como fuente de datos • SSIS 2016 se integra con soluciones Big Data Situación hasta SQL Server 2014 • Podemos utilizar Hadoop mediante conexión ODBC • Acceso a recursos con scripts PowerShell
  21. 21. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Gestor de conexiones • WebHCat – API REST Apache™ Hive • WebHDFS – API REST HDFS
  22. 22. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Tareas de flujo de control (Control Flow) Hadoop File System Task Hadoop Hive Task Hadoop Pig Task
  23. 23. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Hadoop File System Task Funcionamiento • Obtiene, copia o mueve ficheros • Utiliza la API REST del clúster • El acceso es directo al almacén HDFS
  24. 24. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Hadoop File System Task
  25. 25. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Hadoop Hive Task Funcionamiento • Envía consultas HiveQL • Utiliza la API REST WebHCat (aka Templeton) • Funcionamiento mediante sistema de colas
  26. 26. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Hadoop Hive Task
  27. 27. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Hadoop Pig Task Funcionamiento • Envía scripts Pig • Pig Latin + API REST de WebHCat (aka Templeton) • Funcionamiento mediante sistema de colas
  28. 28. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Hadoop Pig Task
  29. 29. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Tareas de flujo de datos (Control Flow) HDFS File Source HDFS File Destination
  30. 30. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop HDFS File Source
  31. 31. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop HDFS File Destination
  32. 32. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Otros componentes • Azure Feature Pack for Integration Services (SSIS) • Componentes: • Gestores de conexiones Azure • Tareas • Componentes de flujo de datos (Data Flow) • Azure Blob Enumerator • https://www.microsoft.com/en-us/download/details.aspx?id=49492
  33. 33. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Gestores de conexiones Azure Azure Storage Connection Manager Azure Subscription Connection Manager
  34. 34. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Tareas Azure HDInsight Hive Task Azure HDInsight Pig Task Azure HDInsight Create Cluster Task Azure HDInsight Delete Cluster Task Azure Blob Upload Task Azure Blob Download Task
  35. 35. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Componentes Data Flow Azure Blob Source Azure Blob Destionation
  36. 36. ##SQLSatMadrid SQL Server 2016 SSIS + Hadoop Azure Blob Enumerator
  37. 37. ##SQLSatMadrid Referencias Hadoop • http://hadoop.apache.org/ HDInsight • https://azure.microsoft.com/es-es/services/hdinsight/ SQL Server 2016 • http://www.microsoft.com/es-es/server-cloud/products/sql-server/default.aspx
  38. 38. ##SQLSatMadrid Gracias ¡GRACIAS! @oyara @netmindIT
  39. 39. ##SQLSatMadrid BIG Thanks to SQLSatMadrid Sponsors
  40. 40. ##SQLSatMadrid 4 Sponsor Sessions at 11:40 Don’t miss them, they might be getting distributing some awesome prizes!  HPE  SolidQ  KABEL  TSD Consulting Also BIG Raffle prizes at the end of the event provided by: Plainconcepts, SolidQ, Kabel, TSD Consulting, Pyramid Analytics & sqlpass.es

×