SlideShare uma empresa Scribd logo
1 de 31
Pedro Perfeito 
BI Senior Consultant, Manager, Teacher, 
Developer and Passionate 
www.pedrocgd.blogspot.com 
SSISDB Catalogpedro.perfeito@culto-de-bi.pt
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
Pedro Perfeito 
Pedro Perfeito, 37 anos, natural do Porto 
Licenciado em Informática Gestão pela UPT (Porto, 2001) 
Consultor Sénior de BI e General Manager na empresa “Culto de BI” 
Participação activa em sitesExperts-Exchange & Fóruns Microsoft 
Mestre Sistemas Integrados Apoio à Decisão pelo ISCTE (Lisboa, 2009) 
Certificado mundial em Business Intelligence pela TDWI -CBIP 
Docente convidado no ISCTE-IUL (Mestrado BI) e na UPT (Short-MasterBI e MBA) 
Premiado pela Microsoft em 2010 e 2011 como MVP 
Co-autor do livro SQLMVP Deep Dives-2nd Edition e SSIS Cookbook 
BI Blog com 7 anos: www.pedrocgd.blogspot.com 
Doutorando em Business Intelligence
Co-autor do livro "SQL Server MVP Deep Dives", Volume 2, Manning Publications, October-2011, ISBN: 9781617290473. Cap. 58 -"Excel as a BI frontend tool". 
http://www.amazon.com/SQL-Server-MVP-Deep- Dives/dp/1617290475 
Co-autor do livro “Microsoft SQL Server 2012 Integration Services: An Expert Cookbook". Abril 2012 
http://www.packtpub.com/microsoft-sql-server-2012-integration- services-expert-cookbook 
Pedro 
Perfeito 
Reza 
Rad 
Blogs: 
www.pedrocgd.blogspot.com 
www.rad.pasfu.com
Última chamadaShort Master Business Intelligence [7ªEd.]
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
Agenda [15:45 –17:15] 
Frameworks de Audit/Loggingtradicional 
Desmistificação do CatalogoIS (SSISDB) 
Vantagens | Desvantagens 
Explicação da estrutura 
Funcionalidades em destaque 
Referências 
Discussão sobre o tema
11
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
O que Monitorizar/Controlar? 
Estado do processo 
Tempo de execução 
Causa de um possível problema 
Quantidade de registos movimentados 
Que packages/taskse/ou componentes podem ser otimizados 
(…)
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
Audit/Loggingtradicional 
É muitas vezes necessário recorrer a scripts para tornar loggingmais eficiente 
Nem sempre é fácil compreender como está implementado 
Nem sempre controla o que está a acontecer (identificar a origem e local de um erro nem sempre é fácil/rápido) 
Cada package torna-se mais pesado com diversos taskse componentes exclusivamente criado para logging 
Mas pelo menos parcialmente é importante continuar a existir
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
Audit/Loggingtradicional 
Algumas das tabelas usadas com frequência…
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
Integração com SSISDB 
Nova variável de sistema com identificador único de cada projecto: @[System::ServerExecutionID] 
Código único e sequencial associado a um conjunto de packages executados 
Variável só tem valor quando projecto executado através do SSISDB Catalog
DEMO 
01
19
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
SSISDB Catalog –Porquê? 
-Uniformizar projectos de integração 
-Passar parte da “responsabilidade” de controlar os diversos processo de integração para o catalogo 
-Melhorias no catalogo serão asseguradas pela Microsoft 
-Fácil tirar partido de “investigações” das comunidades, pois a base é comum 
-Reduzir o esforço de implementação, bem como a sua manutenção 
-Conjunto de relatórios standard pré-concebidos para monitorização de projectos
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
SSISDB Catalog –Porquê? 
-Possibilidade de integrar com logging “tradicional” 
-Versionamento (muito interessante como plano de contingência) 
-Possível ter um status mais fidedigno de cada execução
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
SSIDB Standard Reporting
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
SSISDB Catalog -Desvantagens 
-Logging torna processo menos rápido (Verbosepode ser muito lento) 
-Recolher tempos de execução e rowssententre tasksrequer logging Verbosepara aceder a executable_data_statistics
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
SSIS Catalog 
Operations 
Executables 
Executions 
Packages 
Projects 
Events 
Environments 
Parameters 
Parâmetros utilizados em cada package e/ou projecto 
Ambientes de cada projectos. Podem ter uma ou mais variáveis 
Tasks e Containers 
Execução de um Projecto 
Registo de operações sobre SSIS catalog. (ex: execução, deploy...) 
Regista eventos SSIS. Depende no nivel de logging definido 
Projectos no SSIS Catalog 
Packages de cada projecto
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
SSIS Catalog –Logging levels 
None 
Basic 
Performance 
Verbose 
OnError 
OnWarning 
OnError 
OnInformation 
OnPostExecute 
OnPostValidate 
OnPreExecute 
OnPreValidate 
OnTaskFailed 
OnWarning 
BufferSizeTuning 
Diagnostic 
DiagnosticEx 
OnCustomEvent 
OnError 
OnInformation 
OnPipelinePostEndOfRowset 
OnPipelinePostPrimeOutput 
OnPipelinePreEndOfRowset 
OnPipelinePrePrimeOutput 
OnPostExecute 
OnPostValidate 
OnPreExecute 
OnPreValidate 
OnProgress 
OnTaskFailed 
OnWarning 
PackageEnd 
PackageStart 
PipelineComponentTime 
PipelineExecutionPlan 
PipelineExecutionTrees 
PipelineInitialization 
No Events 
O Logging Level definido no SSIS catalog (ou ao nível de cada execução), influência os eventos que são registados em cada execução
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
SSISCatalog –Descritivos
DEMO 
02
Project 
Project Packages 
Project Execution 
Package Execution 
Package Events 
Event Context
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
SSISCatalog –Relatório Exemplo
DEMO 
03
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
Referências 
https://ssisreportingpack.codeplex.com/
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
Referências 
http://sqlblog.com/blogs/davide_mauri/default.aspx
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
Referências 
http://www.upt.pt/curso.php?e=360 
Alunos de Projecto UPT 
João Rebelo 
Marta Oliveira 
Luisa Alves
18 de Outubro de 2014 
Culto de BI, Consultores de Gestão 
Our Main Sponsors:

Mais conteúdo relacionado

Semelhante a SSISDB Catalog Overview PT

Uma Experiência de Solução de Business Intelligence com Software Livre na UFB...
Uma Experiência de Solução de Business Intelligence com Software Livre na UFB...Uma Experiência de Solução de Business Intelligence com Software Livre na UFB...
Uma Experiência de Solução de Business Intelligence com Software Livre na UFB...Mauricio Cesar Santos da Purificação
 
Alfresco ECM e Gestão Eletrônica de Documentos Open Source
Alfresco ECM e Gestão Eletrônica de Documentos Open SourceAlfresco ECM e Gestão Eletrônica de Documentos Open Source
Alfresco ECM e Gestão Eletrônica de Documentos Open SourceAmbiente Livre
 
Pentaho Open Source BI Suite - Technical Overview
Pentaho Open Source BI Suite - Technical OverviewPentaho Open Source BI Suite - Technical Overview
Pentaho Open Source BI Suite - Technical Overviewshsouza
 
Monitoramento: logs como elementos de primeira ordem
Monitoramento: logs como elementos de primeira ordemMonitoramento: logs como elementos de primeira ordem
Monitoramento: logs como elementos de primeira ordemThaisa Silva
 
Trabalhando com ambientes complexos – SharePoint 2007 e SQL Server 2005
Trabalhando com ambientes complexos – SharePoint 2007 e SQL Server 2005Trabalhando com ambientes complexos – SharePoint 2007 e SQL Server 2005
Trabalhando com ambientes complexos – SharePoint 2007 e SQL Server 2005Comunidade CanalSharePoint
 
URCAMP (Jun2017) - Como o papel e atividades de DBA ficam no contexto da cult...
URCAMP (Jun2017) - Como o papel e atividades de DBA ficam no contexto da cult...URCAMP (Jun2017) - Como o papel e atividades de DBA ficam no contexto da cult...
URCAMP (Jun2017) - Como o papel e atividades de DBA ficam no contexto da cult...Fabrízio Mello
 
DBA Brasil 2.0: Como o papel e atividades de DBA ficam no contexto da cultura...
DBA Brasil 2.0: Como o papel e atividades de DBA ficam no contexto da cultura...DBA Brasil 2.0: Como o papel e atividades de DBA ficam no contexto da cultura...
DBA Brasil 2.0: Como o papel e atividades de DBA ficam no contexto da cultura...Fabrízio Mello
 
Monitorando APIs REST com o Application Insights
Monitorando APIs REST com o Application InsightsMonitorando APIs REST com o Application Insights
Monitorando APIs REST com o Application InsightsRenato Groff
 
E se ao invés de Dev e Ops for DevOps? Uma introdução a cultura DevOps
E se ao invés de Dev e Ops for DevOps? Uma introdução a cultura DevOpsE se ao invés de Dev e Ops for DevOps? Uma introdução a cultura DevOps
E se ao invés de Dev e Ops for DevOps? Uma introdução a cultura DevOpsEdson Celio
 
Tópicos Emergentes - DevOps
Tópicos Emergentes - DevOpsTópicos Emergentes - DevOps
Tópicos Emergentes - DevOpsSaulo Lopes
 
BeavOps : Como o Python ajudou a integrar o mundo DevOps
BeavOps : Como o Python ajudou a integrar o mundo DevOpsBeavOps : Como o Python ajudou a integrar o mundo DevOps
BeavOps : Como o Python ajudou a integrar o mundo DevOps4LinuxCursos
 
Qualidade em projetos PHP - SoLiSC 2011
Qualidade em projetos PHP - SoLiSC 2011Qualidade em projetos PHP - SoLiSC 2011
Qualidade em projetos PHP - SoLiSC 2011Luís Cobucci
 
Pentaho: Inteligência de Negócios utilizando software livre @Campus Party 2011
Pentaho: Inteligência de Negócios utilizando software livre @Campus Party 2011Pentaho: Inteligência de Negócios utilizando software livre @Campus Party 2011
Pentaho: Inteligência de Negócios utilizando software livre @Campus Party 2011Caio Moreno
 
Pentaho: Inteligência de Negócios utilizando Software Livre @ Telefonica Camp...
Pentaho: Inteligência de Negócios utilizando Software Livre @ Telefonica Camp...Pentaho: Inteligência de Negócios utilizando Software Livre @ Telefonica Camp...
Pentaho: Inteligência de Negócios utilizando Software Livre @ Telefonica Camp...IT4biz IT Solutions
 
Pentaho inteligência de negócios utilizando software livre campus party 2011
Pentaho  inteligência de negócios utilizando software livre   campus party 2011Pentaho  inteligência de negócios utilizando software livre   campus party 2011
Pentaho inteligência de negócios utilizando software livre campus party 2011Campus Party Brasil
 

Semelhante a SSISDB Catalog Overview PT (20)

2ºAgileTalk - Criação de uma metodologia baseada em Scrum para escritórios de...
2ºAgileTalk - Criação de uma metodologia baseada em Scrum para escritórios de...2ºAgileTalk - Criação de uma metodologia baseada em Scrum para escritórios de...
2ºAgileTalk - Criação de uma metodologia baseada em Scrum para escritórios de...
 
Uma Experiência de Solução de Business Intelligence com Software Livre na UFB...
Uma Experiência de Solução de Business Intelligence com Software Livre na UFB...Uma Experiência de Solução de Business Intelligence com Software Livre na UFB...
Uma Experiência de Solução de Business Intelligence com Software Livre na UFB...
 
Alfresco ECM e Gestão Eletrônica de Documentos Open Source
Alfresco ECM e Gestão Eletrônica de Documentos Open SourceAlfresco ECM e Gestão Eletrônica de Documentos Open Source
Alfresco ECM e Gestão Eletrônica de Documentos Open Source
 
Pentaho Open Source BI Suite - Technical Overview
Pentaho Open Source BI Suite - Technical OverviewPentaho Open Source BI Suite - Technical Overview
Pentaho Open Source BI Suite - Technical Overview
 
Pentaho
PentahoPentaho
Pentaho
 
Monitoramento: logs como elementos de primeira ordem
Monitoramento: logs como elementos de primeira ordemMonitoramento: logs como elementos de primeira ordem
Monitoramento: logs como elementos de primeira ordem
 
Ciclo de Vida Ágil em TI
Ciclo de Vida Ágil em TICiclo de Vida Ágil em TI
Ciclo de Vida Ágil em TI
 
Trabalhando com ambientes complexos – SharePoint 2007 e SQL Server 2005
Trabalhando com ambientes complexos – SharePoint 2007 e SQL Server 2005Trabalhando com ambientes complexos – SharePoint 2007 e SQL Server 2005
Trabalhando com ambientes complexos – SharePoint 2007 e SQL Server 2005
 
Open Source BI
Open Source BIOpen Source BI
Open Source BI
 
Gestão Empresarial Integrada
Gestão Empresarial IntegradaGestão Empresarial Integrada
Gestão Empresarial Integrada
 
URCAMP (Jun2017) - Como o papel e atividades de DBA ficam no contexto da cult...
URCAMP (Jun2017) - Como o papel e atividades de DBA ficam no contexto da cult...URCAMP (Jun2017) - Como o papel e atividades de DBA ficam no contexto da cult...
URCAMP (Jun2017) - Como o papel e atividades de DBA ficam no contexto da cult...
 
DBA Brasil 2.0: Como o papel e atividades de DBA ficam no contexto da cultura...
DBA Brasil 2.0: Como o papel e atividades de DBA ficam no contexto da cultura...DBA Brasil 2.0: Como o papel e atividades de DBA ficam no contexto da cultura...
DBA Brasil 2.0: Como o papel e atividades de DBA ficam no contexto da cultura...
 
Monitorando APIs REST com o Application Insights
Monitorando APIs REST com o Application InsightsMonitorando APIs REST com o Application Insights
Monitorando APIs REST com o Application Insights
 
E se ao invés de Dev e Ops for DevOps? Uma introdução a cultura DevOps
E se ao invés de Dev e Ops for DevOps? Uma introdução a cultura DevOpsE se ao invés de Dev e Ops for DevOps? Uma introdução a cultura DevOps
E se ao invés de Dev e Ops for DevOps? Uma introdução a cultura DevOps
 
Tópicos Emergentes - DevOps
Tópicos Emergentes - DevOpsTópicos Emergentes - DevOps
Tópicos Emergentes - DevOps
 
BeavOps : Como o Python ajudou a integrar o mundo DevOps
BeavOps : Como o Python ajudou a integrar o mundo DevOpsBeavOps : Como o Python ajudou a integrar o mundo DevOps
BeavOps : Como o Python ajudou a integrar o mundo DevOps
 
Qualidade em projetos PHP - SoLiSC 2011
Qualidade em projetos PHP - SoLiSC 2011Qualidade em projetos PHP - SoLiSC 2011
Qualidade em projetos PHP - SoLiSC 2011
 
Pentaho: Inteligência de Negócios utilizando software livre @Campus Party 2011
Pentaho: Inteligência de Negócios utilizando software livre @Campus Party 2011Pentaho: Inteligência de Negócios utilizando software livre @Campus Party 2011
Pentaho: Inteligência de Negócios utilizando software livre @Campus Party 2011
 
Pentaho: Inteligência de Negócios utilizando Software Livre @ Telefonica Camp...
Pentaho: Inteligência de Negócios utilizando Software Livre @ Telefonica Camp...Pentaho: Inteligência de Negócios utilizando Software Livre @ Telefonica Camp...
Pentaho: Inteligência de Negócios utilizando Software Livre @ Telefonica Camp...
 
Pentaho inteligência de negócios utilizando software livre campus party 2011
Pentaho  inteligência de negócios utilizando software livre   campus party 2011Pentaho  inteligência de negócios utilizando software livre   campus party 2011
Pentaho inteligência de negócios utilizando software livre campus party 2011
 

SSISDB Catalog Overview PT

  • 1. Pedro Perfeito BI Senior Consultant, Manager, Teacher, Developer and Passionate www.pedrocgd.blogspot.com SSISDB Catalogpedro.perfeito@culto-de-bi.pt
  • 2. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão Pedro Perfeito Pedro Perfeito, 37 anos, natural do Porto Licenciado em Informática Gestão pela UPT (Porto, 2001) Consultor Sénior de BI e General Manager na empresa “Culto de BI” Participação activa em sitesExperts-Exchange & Fóruns Microsoft Mestre Sistemas Integrados Apoio à Decisão pelo ISCTE (Lisboa, 2009) Certificado mundial em Business Intelligence pela TDWI -CBIP Docente convidado no ISCTE-IUL (Mestrado BI) e na UPT (Short-MasterBI e MBA) Premiado pela Microsoft em 2010 e 2011 como MVP Co-autor do livro SQLMVP Deep Dives-2nd Edition e SSIS Cookbook BI Blog com 7 anos: www.pedrocgd.blogspot.com Doutorando em Business Intelligence
  • 3. Co-autor do livro "SQL Server MVP Deep Dives", Volume 2, Manning Publications, October-2011, ISBN: 9781617290473. Cap. 58 -"Excel as a BI frontend tool". http://www.amazon.com/SQL-Server-MVP-Deep- Dives/dp/1617290475 Co-autor do livro “Microsoft SQL Server 2012 Integration Services: An Expert Cookbook". Abril 2012 http://www.packtpub.com/microsoft-sql-server-2012-integration- services-expert-cookbook Pedro Perfeito Reza Rad Blogs: www.pedrocgd.blogspot.com www.rad.pasfu.com
  • 4. Última chamadaShort Master Business Intelligence [7ªEd.]
  • 5. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão Agenda [15:45 –17:15] Frameworks de Audit/Loggingtradicional Desmistificação do CatalogoIS (SSISDB) Vantagens | Desvantagens Explicação da estrutura Funcionalidades em destaque Referências Discussão sobre o tema
  • 6. 11
  • 7. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão O que Monitorizar/Controlar? Estado do processo Tempo de execução Causa de um possível problema Quantidade de registos movimentados Que packages/taskse/ou componentes podem ser otimizados (…)
  • 8.
  • 9.
  • 10. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão Audit/Loggingtradicional É muitas vezes necessário recorrer a scripts para tornar loggingmais eficiente Nem sempre é fácil compreender como está implementado Nem sempre controla o que está a acontecer (identificar a origem e local de um erro nem sempre é fácil/rápido) Cada package torna-se mais pesado com diversos taskse componentes exclusivamente criado para logging Mas pelo menos parcialmente é importante continuar a existir
  • 11. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão Audit/Loggingtradicional Algumas das tabelas usadas com frequência…
  • 12. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão Integração com SSISDB Nova variável de sistema com identificador único de cada projecto: @[System::ServerExecutionID] Código único e sequencial associado a um conjunto de packages executados Variável só tem valor quando projecto executado através do SSISDB Catalog
  • 14. 19
  • 15. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão SSISDB Catalog –Porquê? -Uniformizar projectos de integração -Passar parte da “responsabilidade” de controlar os diversos processo de integração para o catalogo -Melhorias no catalogo serão asseguradas pela Microsoft -Fácil tirar partido de “investigações” das comunidades, pois a base é comum -Reduzir o esforço de implementação, bem como a sua manutenção -Conjunto de relatórios standard pré-concebidos para monitorização de projectos
  • 16. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão SSISDB Catalog –Porquê? -Possibilidade de integrar com logging “tradicional” -Versionamento (muito interessante como plano de contingência) -Possível ter um status mais fidedigno de cada execução
  • 17. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão SSIDB Standard Reporting
  • 18. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão SSISDB Catalog -Desvantagens -Logging torna processo menos rápido (Verbosepode ser muito lento) -Recolher tempos de execução e rowssententre tasksrequer logging Verbosepara aceder a executable_data_statistics
  • 19. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão SSIS Catalog Operations Executables Executions Packages Projects Events Environments Parameters Parâmetros utilizados em cada package e/ou projecto Ambientes de cada projectos. Podem ter uma ou mais variáveis Tasks e Containers Execução de um Projecto Registo de operações sobre SSIS catalog. (ex: execução, deploy...) Regista eventos SSIS. Depende no nivel de logging definido Projectos no SSIS Catalog Packages de cada projecto
  • 20. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão SSIS Catalog –Logging levels None Basic Performance Verbose OnError OnWarning OnError OnInformation OnPostExecute OnPostValidate OnPreExecute OnPreValidate OnTaskFailed OnWarning BufferSizeTuning Diagnostic DiagnosticEx OnCustomEvent OnError OnInformation OnPipelinePostEndOfRowset OnPipelinePostPrimeOutput OnPipelinePreEndOfRowset OnPipelinePrePrimeOutput OnPostExecute OnPostValidate OnPreExecute OnPreValidate OnProgress OnTaskFailed OnWarning PackageEnd PackageStart PipelineComponentTime PipelineExecutionPlan PipelineExecutionTrees PipelineInitialization No Events O Logging Level definido no SSIS catalog (ou ao nível de cada execução), influência os eventos que são registados em cada execução
  • 21.
  • 22. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão SSISCatalog –Descritivos
  • 24. Project Project Packages Project Execution Package Execution Package Events Event Context
  • 25. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão SSISCatalog –Relatório Exemplo
  • 26.
  • 28. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão Referências https://ssisreportingpack.codeplex.com/
  • 29. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão Referências http://sqlblog.com/blogs/davide_mauri/default.aspx
  • 30. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão Referências http://www.upt.pt/curso.php?e=360 Alunos de Projecto UPT João Rebelo Marta Oliveira Luisa Alves
  • 31. 18 de Outubro de 2014 Culto de BI, Consultores de Gestão Our Main Sponsors: