Introducción a SSIS y a los exámenes de certificación de SQL Server 2012/2014. Sesión presencial en ITPros-dc

2. • Ingeniero de Diseño & Automatización Electrónica
• Especialista en Gerencia y Tecnologías de Información
• MCT-MCSA-MCITP-MCTS en SQL SERVER
• Synergy TPC SAS como consultor especializado en
bases de datos SQL Server
Julián
Castiblanco
Andrés
Useche
• Ingeniero de Sistemas
• Especialista en Teleinformática
• MCP SQL SERVER 2012
• Terpel como ingeniero de infraestructura IT - DBA

3. Agenda General
Dev
Optimización de
consultas
Admin
Optimización de
Servidores
SSIS
Optimización de
paquetes ETLs

4. https://www.microsoft.com/learning/en-us/mcsa-sql-certification.aspx

5. http://www.microsoftvirtualacademy.com/colleges/mcsa-sql

6. Para pasar el examen….
http://www.amazon.com/Training-Kit-Exam-70-461-Microsoft/dp/0735666059/ref=sr_1_1?ie=UTF8&qid=1406662496&sr=8-1&keywords=70-461
http://www.amazon.com/Training-Kit-Exam-70-462-Administering/dp/0735666075/ref=sr_1_1?ie=UTF8&qid=1406662577&sr=8-1&keywords=70-462
http://www.amazon.com/Training-Kit-Exam-70-463-Implementing/dp/0735666091/ref=sr_1_1?ie=UTF8&qid=1406662601&sr=8-1&keywords=70-463

7. Trabajo si hay!!!!

8. Agenda
• Introducción a SSIS en Azure
• SQL Server Data Tools
• SSIS Catalog
• Data Profiler

9. En el principio la vida era
simple…

10. pero…

11. Nuestra información
necesitaba…

12. Seguir creciendo. (The Spider
web)
SOURCE: William H. Inmon

13. Cuadro comparativo de Bases de
datos
Bodegas de datos Sistemas transaccionales
Orientadas a objetivo Orientada a transacciones
Grandes (cientos de GB a varios TB) Medianas (MB a varios GB)
Información histórica Datos actuales
Estructura no normalizada (pocas
tablas, muchas columnas por tabla)
Estructura normalizada
Actualización en batch Actualización por transacción
Usualmente consultas complejas Consultas simples y complejas

14. Diferencias en diseño
Star Schema
Bodegas de datosSistemas transaccionales
ER Diagram

15. Data Warehouses, Data Marts,
and Operational Data Stores
• Data Warehouse – base de consulta de la organización.
Compuesta de la unión de varios data marts.
• Data Mart – subconjunto lógico de la bodega. Ofrece
vistas de ciertos procesos de negocio (finanzas, crédito,
productividad) o de varios procesos que le interesan a un
grupo de la compañía.
• Almacén de datos operacional (ODS) – bases de datos
que soportan el negocio a nivel transaccional. (reservas,
inventarios, mantenimientos en aerolineas).
SOURCE: Ralph Kimball

16. Construyendo una bodega
• analisis
• diseño
• Importar información
• Instalar herramientas de
exploración
• Probar y desplegar
Ciclo de vida de las bodegas de datos

17. Analisis
• Identificar:
• Preguntas claves
• Necesidades de información
• Línea de tiempo
• granularidad
• Crear un diccionario de datos
• Analisis dimensional
• Identificar tablas de hechos y dimensiones

18. diseño
• Modelo estrella, bola de nieve
• Transformación de datos
• agrupaciones
• Valores precalculados
• Arquitectura de
HW/SW
Dimensional Modeling

19. Modelamiento dimensional
• Tabla de hechos– tabla principal del modelo
contiene las medidas que interesan al negocio.
• Dimensiones– es un conjunto de tablas que da
sentido a la tabla de hechos. La mayoria contiene
atributos de texto que definen el dominio que fue
medido en la tabla de hechos.
SOURCE: Ralph Kimball

20. Importación de datos
• Identificar orígen de datos
• Extraer información de
sistemas operacionales a tablas
de staging
• Transformar y limpiar datos
• Resolver conflictos de tipos de
dats
• Resolver problemas de nombres
y llaves
• Remover, corregir o alertar
información sucia
• Crear dimensiones
• Cargar información en la
bodega de datos

21. Importar datos
OLTP 1
OLTP 2
OLTP 3
Data Staging Area Data
Warehouse
Operational Systems
(source systems)

22. Importar datos 2
• Ejemplo de carga de e-commerce
• Multiples filtors (usando “joins” de información), grabando registros
errados,antes de agrupar y guardar.
Invoice
line items
Split
Date-
time
Filter
invalid
Join
Filter
invalid
Invalid
dates/times
Invalid
items
Item
records
Filter
non -
match
Invalid
customers
Group by
customer
Customer
balance
Customer
records

23. Herramientas de Usuarios
• Reporting Services
• Excel
• Herramientas de mineria
• GIS
• Etc.

24. Pruebas y despliegue
• Pruebas de uso
• Instalación de software
• Entrenamiento a usuarios
• Ejecución de pruebas de carga

25. Pruebas y despliegue

26. SQL Server 2012 BI Platform
 Data acquisition
from source
systems and
integration
 Data transformation
and synthesis
 Data enrichment,
with business logic,
hierarchical views
 Data discovery via
data mining
 Data presentation
and distribution
 Data access for
the masses
Integrate Analyze Report
MS SQL Server
Integration
Services 2012
MS SQL Server
Analysis
Services 2012
MS SQL Server
Reporting
Services 2012

28. SQL SERVER DATA
TOOLS

29. CONTROL FLOW
• Ejemplos de los procesos que pueden realizarse:
• File System and FTP access
• External Processes
• SQL Server Administration operations
• Operating system inspection
• Send Mail
• SQL Server Analysis Services Processing
• Data profiling
• Data mining queries

30. CONNECTION MANAGERS
• Los administradores de conexión son utilizados por los flujo de datos, que extraen y cargan datos en
diferentes tipos de almacenes de datos, y por los proveedores de registro que escriben registros en un
servidor, tabla o archivo de SQL Server.
Tipo Descripción
ADO Se conecta a los objetos de Objetos de datos ActiveX (ADO).
ADO.NET Se conecta a un origen de datos mediante un proveedor .NET.
DQS
Conecta a un servidor de Data Quality Services y una base de datos
de Data Quality Services en el servidor.
EXCEL Se conecta a un archivo de libro de Excel.
FILE Se conecta a un archivo o carpeta.
FLATFILE Se conecta a los datos en un solo archivo plano.
FTP Se conecta a un servidor FTP.
HTTP Se conecta a un servidor web.
OLEDB Se conecta a un origen de datos mediante un proveedor OLE DB.
ODBC Se conecta a un origen de datos mediante ODBC.
SMTP Se conecta a un servidor de correo SMTP.

31. CONTROL FLOW TASKS AND CONTAINERS
• El flujo de control define las operaciones y las relaciones entre ellas, estableciendo el orden y las
condiciones de su ejecución. Las operaciones de un flujo de control están representados por las
tareas de control de flujo.

32. Planning a Complex Data
Movement
• Algunos datos requieren transformaciones especiales, SSIS soporta
algunas como:

33. Data Flow Tasks Database Tasks File and Internet Tasks
• Data Flow • Data Profiling
• Bulk Insert
• Execute SQL
• Execute T-SQL
• CDC Control
• File System
• FTP
• XML
• Web Service
• Send Mail
Process
Execution Tasks WMI Tasks Custom Logic Tasks
• Execute Package
• Execute Process
• WMI Data Reader
• WMI Event Watcher
• Script
• Custom Tasks
Database
Transfer Tasks
Analysis
Services Tasks SQL Server Maintenance Tasks
• Transfer Database
• Transfer Error Messages
• Transfer Jobs
• Transfer Logins
• Transfer Master Stored Procedures
• Transfer SQL Server Objects
• Analysis Services Execute DDL
• Analysis Services Processing
• Data Mining Query
• Back Up Database
• Check Database Integrity
• History Cleanup
• Maintenance Cleanup
• Notify Operator
• Rebuild Index
• Reorganize Index
• Shrink Database
• Update Statistics

34. Tareas de Script
• Modelos de programación como Visual C# 2010 o Visual Basic 2010

35. RESTRICCIONES DE PRECEDENCIA
• Las tareas que deben ser ejecutadas de forma secuencial, deben conectarse con
una o más restricciones de precedencia.

36. Precedence Constraints
• Three control flow
conditions
• Success
• Failure
• Completion
• Multiple
constraints
• Logical AND
• Logical OR
Task 1
Task 2
Task 3 Task 4
Task 5
Task 10
Task 6
Task 7
Success (AND)
Failure (AND)
Completion (AND)
Success (OR)
Failure (OR)
Completion (OR)
Task 9 Task 8

37. DEMOSTRACIÓN

38. • Correo: Juliancastiblancop@gmail.com
• Skype: Julian.castiblancop
• Correo corporativo: jcastiblanco@synergytpc.com
• Blog y Sitio de comunidad: http://azurecloud.la/
http://julycastiblanco.blogspot.com
Julián
Castiblanco
Gracias !!!