Desenvolvendo Cargas de Dados Dinâmicas e
Incrementais com Integration Services
Apresentação
Senior BI Analyst at Comp Line
BI and Database Consultant and
Instructor - One Way Solution
Writer – SQL Maga...
Agenda
 Extract, Transformation and Load – Introdução
 Conhecendo o MS Integration Services
 Arquitetura do MS Integrat...
Extract, Transformation and Load - Introdução
O ETL visa trabalhar com toda a parte de
extração de dados de fontes externa...
Conhecendo o MS Integration Services
O Microsoft Integration Services é responsável
por permitir a construção de cargas de...
Project
Solution
Package
Control Flow
Data Flow
Arquitetura do MS Integration Services
Solution
Project 1 Project 2
Project 3
Recipiente Macro;
Dentro de uma Solução é possível
criar vários projetos da solução...
Project
Package 1 Package 2
Connection 1
Recipiente onde se cria os pacotes
de ETL a seremdesenvolvidos;
Criação das conex...
Recipiente para desenvolvimento dos
Fluxos de controle e de dados.
Package
Control Flow
Arquitetura do MS Integration Serv...
Control Flow
Recipiente onde se cria o fluxo de
Dados;
Possibilidade de fazer algumas
configurações. Exemplo - Email
Conta...
Data Flow
Task usada para trabalho a nível de
Dados.
Inúmeras possibilidades;
Lookup
Merge Join
Sort
Merge
…
Arquitetura d...
Destino 2
Destino 1
CondiçãoMesclar
Origem 2
Origem 1
Task usada para trabalho a nível de Dados.
Arquivo txt
Data Flow Tas...
Execute SQL Task
Usado para executar comandos em SQL padrão ANSI e/ou T-SQL;
Destino 1 Destino 2
Origem
Precedência de Constraints
Destino 3
A precêdencia COMPLETION
Exige apenas que o executável
de precedência seja concluído,
independente do resultado.
Precedênc...
A precêdencia SUCCESS exite
que o executável de precedência
seja executado com sucesso.
Precedência de Constraints
Destino...
A precêdencia FAILURE
exige que o executável de
precedência deve falhar.
Geralmente utilizado para
tratamento de erros.
Pr...
Passo 3
Passo 1 Passo 2
AND
Passo 2
Multiplas de Constraints
OR
Passo 1 Passo 2
Passo 3
Se a opção AND for ativada em
seu Control Flow, você estará
indicando logicamente que
SOMENTE se os dois primeiros
passos ...
Se a opção OR for ativada em
seu Control Flow, você estará
indicando logicamente para que
caso um dos dois primeiros
passo...
Dentro da ferramenta do Integration
Services é possível trabalhar com dois
tipos de variáveis:
Variáveis de Usuário – Cria...
Parâmetros são recipientes que
recebem o valor corrente de uma
determinada variável e aplica esse valor
em uma determinada...
Uma expressão é uma combinação de
símbolos (identificadores, literais,
funções e operadores) gera um único
valor de dados....
 Funções Matemáticas
 Funções de String
 Funções de Data e Hora
 Funções para tratamento de NULL
 Funções para conver...
Foreach Loop Container irá se
repetir para cada elemento
retornada de uma matriz.
Loop
Elemento 1
Elemento 2
Elemento 3
Fo...
1. Diretório
2. Listagem Manual
3. Linhas retornadas de um Objeto
4. Tabelas de banco de dados
5. Variável
6. XML
7. Objet...
Desenvolvendo Cargas
Padrões com SSIS
Processo de Carga Dinâmico - Arquitetura e Criação
Acha Parâmetros
Habilita a
Trace Flag 610
Desabilita a
Trace Flag 610
R...
Implementando a carga incremental no SSIS
Acha Parâmetros
Habilita a
Trace Flag 610
Container
Habilita a Trace Flag
Desabi...
Referências
 https://msdn.microsoft.com/en-
us/library/ms141134.aspx
 https://msdn.microsoft.com/en-
us/library/ms137681...
Contatos
Email - arthurjosemberg@gmail.com
Linkedin – Arthur Luz
Twitter - @arthurjosemberg
Skype - arthurjosemberg
Blog –...
Próximos SlideShares
Carregando em…5
×

Cargas Dinamicas - SSIS

305 visualizações

Publicada em

  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Cargas Dinamicas - SSIS

  1. 1. Desenvolvendo Cargas de Dados Dinâmicas e Incrementais com Integration Services
  2. 2. Apresentação Senior BI Analyst at Comp Line BI and Database Consultant and Instructor - One Way Solution Writer – SQL Magazine OLAP and ETL Consultant and Instructor – BI do Brasil Microsoft Certified Professional
  3. 3. Agenda  Extract, Transformation and Load – Introdução  Conhecendo o MS Integration Services  Arquitetura do MS Integration Services  Conhecendo alguns componentes do SSIS  Constraints, Variáveis, Parâmetros e Expressões  Foreach Loop Container  Desenvolvendo cargas Padrões com SSIS  Processo de carga Dinâmico – Arquitetura e Criação  Implementando a carga incremental no SSIS
  4. 4. Extract, Transformation and Load - Introdução O ETL visa trabalhar com toda a parte de extração de dados de fontes externas, transformação para atender às necessidades de negócios e carga dos dados dentro do Data Warehouse. Em tempo de execução ele é divido em Extração, Transformação e Carga de dados.
  5. 5. Conhecendo o MS Integration Services O Microsoft Integration Services é responsável por permitir a construção de cargas de integração de dados e ETL para Data Warehouse;
  6. 6. Project Solution Package Control Flow Data Flow Arquitetura do MS Integration Services
  7. 7. Solution Project 1 Project 2 Project 3 Recipiente Macro; Dentro de uma Solução é possível criar vários projetos da solução Microsoft – SSIS, SSAS, SSRS; Arquitetura do MS Integration Services
  8. 8. Project Package 1 Package 2 Connection 1 Recipiente onde se cria os pacotes de ETL a seremdesenvolvidos; Criação das conexões globais; Arquitetura do MS Integration Services
  9. 9. Recipiente para desenvolvimento dos Fluxos de controle e de dados. Package Control Flow Arquitetura do MS Integration Services
  10. 10. Control Flow Recipiente onde se cria o fluxo de Dados; Possibilidade de fazer algumas configurações. Exemplo - Email Container Execute SQL Send Mail Data Flow Arquitetura do MS Integration Services
  11. 11. Data Flow Task usada para trabalho a nível de Dados. Inúmeras possibilidades; Lookup Merge Join Sort Merge … Arquitetura do MS Integration Services
  12. 12. Destino 2 Destino 1 CondiçãoMesclar Origem 2 Origem 1 Task usada para trabalho a nível de Dados. Arquivo txt Data Flow Task Destino 3
  13. 13. Execute SQL Task Usado para executar comandos em SQL padrão ANSI e/ou T-SQL;
  14. 14. Destino 1 Destino 2 Origem Precedência de Constraints Destino 3
  15. 15. A precêdencia COMPLETION Exige apenas que o executável de precedência seja concluído, independente do resultado. Precedência de Constraints Destino 1 Origem
  16. 16. A precêdencia SUCCESS exite que o executável de precedência seja executado com sucesso. Precedência de Constraints Destino 2 Origem
  17. 17. A precêdencia FAILURE exige que o executável de precedência deve falhar. Geralmente utilizado para tratamento de erros. Precedência de Constraints Origem Destino 3
  18. 18. Passo 3 Passo 1 Passo 2 AND Passo 2 Multiplas de Constraints OR Passo 1 Passo 2 Passo 3
  19. 19. Se a opção AND for ativada em seu Control Flow, você estará indicando logicamente que SOMENTE se os dois primeiros passos tiverem sido concluídos, o Controle pode prosseguir para o Passo 3. Multiplas de Constraints AND Passo 2Passo 1 Passo 2 Passo 3
  20. 20. Se a opção OR for ativada em seu Control Flow, você estará indicando logicamente para que caso um dos dois primeiros passos tiverem sido concluídos, o Controle pode prosseguir para o Passo 3. Multiplas de Constraints Passo 3 Passo 1 Passo 2 OR
  21. 21. Dentro da ferramenta do Integration Services é possível trabalhar com dois tipos de variáveis: Variáveis de Usuário – Criadas dentro do Pacote pelo desenvolvedor. Variáveis de Sistema – Guardam dados em tempo de execução do pacote. Dados Variável Variável
  22. 22. Parâmetros são recipientes que recebem o valor corrente de uma determinada variável e aplica esse valor em uma determinada situação. Dentro do SSIS um parâmetro é mapeado através do character ‘?’ Variável Parâmetro Parâmetro
  23. 23. Uma expressão é uma combinação de símbolos (identificadores, literais, funções e operadores) gera um único valor de dados. Expressões
  24. 24.  Funções Matemáticas  Funções de String  Funções de Data e Hora  Funções para tratamento de NULL  Funções para conversão de tipo de dados  Operadores Expressões
  25. 25. Foreach Loop Container irá se repetir para cada elemento retornada de uma matriz. Loop Elemento 1 Elemento 2 Elemento 3 Foreach Loop Container
  26. 26. 1. Diretório 2. Listagem Manual 3. Linhas retornadas de um Objeto 4. Tabelas de banco de dados 5. Variável 6. XML 7. Objetos do Banco (tabelas, views) Foreach Loop Container
  27. 27. Desenvolvendo Cargas Padrões com SSIS
  28. 28. Processo de Carga Dinâmico - Arquitetura e Criação Acha Parâmetros Habilita a Trace Flag 610 Desabilita a Trace Flag 610 Retorna Colunas Carrega Tabela Container
  29. 29. Implementando a carga incremental no SSIS Acha Parâmetros Habilita a Trace Flag 610 Container Habilita a Trace Flag Desabilita a Trace Flag Retorna Colunas Retorna Colunas Retorna Colunas Retorna Colunas Valida Dipo de Carga
  30. 30. Referências  https://msdn.microsoft.com/en- us/library/ms141134.aspx  https://msdn.microsoft.com/en- us/library/ms137681.aspx  https://msdn.microsoft.com/en- us/library/ms141261.aspx  https://msdn.microsoft.com/en- us/library/ms139733.aspx
  31. 31. Contatos Email - arthurjosemberg@gmail.com Linkedin – Arthur Luz Twitter - @arthurjosemberg Skype - arthurjosemberg Blog – arthurluz.wordpress.com

×