SlideShare uma empresa Scribd logo
1 de 40
Baixar para ler offline
•   Bacharel em Sistemas de Informação
•   Pós-Graduado em Gerenciamento de Projetos.
•   MCP - Microsoft Certified Professional em SQL SERVER e
    SHAREPOINT
Autor do livro “Integração de Dados na Prática - Técnicas de ETL
para Business Intelligence com Microsoft SSIS 2012”




Blogueiro no www.tsqlmaster.blogspot.com
Microsoft Gold Partner.
Consultoria, Implantação, Desenvolvimento, Suporte
Técnico e Treinamento em soluções Microsoft com foco
em:
  Portal Colaborativo (MS SharePoint)
  ECM - Gerenciamento de Conteúdo Corporativo
  GED - Gestão Eletrônica de Documentos
  EPM – Gestão Corporativa de Projetos
  Desenvolvimento de aplicativos
  BI – Business Inteligence
Registro de Imóveis de
          Florianópolis
O ETL ESTÁ EM UM
CONTEXTO MAIOR...

GESTÃO DE DADOS
Em um futuro próximo, concorrentes do
mesmo nicho, serão muito semelhantes em
tecnologia, metodologia, ERP...




  O DIFERENCIAL SERÁ O CAPITAL
          INTELECTUAL...
      OS ATIVOS INTANGÍVEIS!
• Marca
• Reputação
• Conhecimento de negócio
• Qualificação da equipe


•   Dados corporativos de qualidade...
"Uma campanha de imunização tem um
custo: seringas, a vacina, pessoal, transporte,
divulgação.

Porém, o valor da população imunizada é
intangível".
PORTAIS CORPORATIVOS,
GED, INTRANETS, EXTRANETS
  , SISTEMAS DE BUSINESS
       INTELLIGENCE ...


  SÃO FERRAMENTAS DE
  GESTÃO DE PARTE DOS
   ATIVOS INTANGÍVEIS
A GESTÃO DE DADOS
PODE SER USADA EM
     DIVERSOS
   CONTEXTOS...
Depois do ataque
                             as torres gêmeas,
                            Hank Asher dono da
                            SEISINT analisou a
                                  situação
                                                    Acessou o Banco de
     Em 2004 a                                       dados SESINT com
     SESINT foi                                    mais de 10 bilhões de
   vendida por U$                                    informações sobre
   775 MILHOES                                     residentes, imigrantes,
  de dólares para a                                 datas de nascimento
    LEXIS NEXIS                                    ,atividade profissional,
                                                           obitos...
                              Análise
                              SEISINT


      Posteriormente                                  Utilizando técnicas
verificaram que cinco dos                              de Data Mining,
      sequestradores                                  produziu uma lista
identificados estavam na                               de mais de 1200
        lista original                                      suspeitos



                            A sede da empresa
                            na Flórida se tornou
                             um QG temporário
                              da CIA e do FBI
Dado no limite da
 segurança e da
   privacidade
Dado como elemento
preditivo e alavancador
      de negócios
Cases como este,
envolvem processos de
 integração de dados...

Também chamado de
      ETL
EXTRACT
TRANSFORM
LOAD

“EXTRAÇÃO TRANSFORMAÇÃO e CARGA”
Origem



         Transformações




                      Carga
Integração   Migração
    de          de
 Sistemas    Sistemas
Em SP é possível solicitar ao PROCON
bloqueio de ligações de CALLCENTER

PROCON disponibiliza um WebServices
para consulta

Solução: Integração para consultar no
WebService os números que serão discados
e se necessário invalidá-los
Business
Intelligence ou B.I.
“Business Intelligence é um sistema de suporte
a tomada de decisão.“
             Visão



                     Estratégia



                                  Objetivos


                                              Fatores
                                              Críticos
                                              Sucesso


                                                         Definição
                                                         de KPIs


                                                                     Iniciativas e
                                                                        Ações
                                                                                     DECISÃO!
                                                                        Chave
SSIS = SQL SERVER INTEGRATION SERVICES


Criado em 2005 e disponibilizado        junto
Microsoft SQL SERVER


Interface visual para a integração de dados,
estruturada no Visual Studio


Recursos avançados de Debug e visualização
de dados no pipeline


Integração total com as ferramentas Microsoft
e desempenho diferenciado
Conceito de Solutions


Integrações segmentadas em pacotes DTSX


Pacotes DTSX utilizam componentes
Determinar Origem
Transformações
Destino
Arquivo com colunas
delimitadas por virgulas
e valores separados por
aspas duplas
  “Nome”
  "Email“
  "Cidade“
  "Cep“
  "Endereco“
  "DtNascto"
Clientes com email do hotmail devem
ser importados com Status diferenciado
devido a problemas com o AntiSpam
CREATE DATABASE ProjetoETL
go

USE ProjetoETL
go


CREATE TABLE Clientes (
  id int identity(1,1) primary key,
  Nome varchar(255) default NULL,
  nuNivel varchar(50) default NULL,
  Email varchar(255) default NULL,
  Cidade varchar(50) default NULL,
  Cep varchar(255) default NULL,
  Endereco varchar(255) default NULL,
  FlStatus varchar(1) default NULL,
  DtNascto Datetime default NULL,
)
go
Clientes com email do hotmail devem
  ter status diferenciado...

  Adicionar um derived column com a
  seguinte expressão



(FINDSTRING(Email,"hotmail",1) != 0) ? "I" : "A"
Componente DataFlow                      Origem




                        Transformações




                      Destino
Finalmente realizamos a carga com um
OLE DB Destination, direcionando ao
Database ProjetoETL tabela clientes.
Arquivo com colunas delimitadas por
virgulas e valores separados por aspas
duplas
  deProduto
  vlrPrecoCusto
  deDepartamento
  acervo
Utilizar o campo ACERVO do arquivo txt para
dividir o fluxo de dados



Realizar esta tarefa usando o componente
Conditional Split
Use ProjetoETL
GO

create table ProdutosAcervo(
  id int identity(1,1),
  deProduto varchar(100)
)
go

create table ProdutosLancamento(
  id int identity(1,1),
  deProduto varchar(100)
)
go
dbconsultoria@gmail.com

Rodrigo.ribeiro@westsoft.com.br

Mais conteúdo relacionado

Semelhante a Palestra Univille

Aplicação de Business Intelligence em Laboratórios Clínicos como ferramenta p...
Aplicação de Business Intelligence em Laboratórios Clínicos como ferramenta p...Aplicação de Business Intelligence em Laboratórios Clínicos como ferramenta p...
Aplicação de Business Intelligence em Laboratórios Clínicos como ferramenta p...fabiolagrijo
 
Gestão Ágil de Dados com Enterprise Data Fabric
Gestão Ágil de Dados com Enterprise Data FabricGestão Ágil de Dados com Enterprise Data Fabric
Gestão Ágil de Dados com Enterprise Data FabricDenodo
 
WSO2 Enterprise Integrator 6.1 - Integração na Era da Transformação
WSO2 Enterprise Integrator 6.1 - Integração na Era da TransformaçãoWSO2 Enterprise Integrator 6.1 - Integração na Era da Transformação
WSO2 Enterprise Integrator 6.1 - Integração na Era da TransformaçãoEdgar Silva
 
Deal Inovacao e Tecnologia - Big Data, Machine Learning e devops
Deal Inovacao e Tecnologia - Big Data, Machine Learning e devopsDeal Inovacao e Tecnologia - Big Data, Machine Learning e devops
Deal Inovacao e Tecnologia - Big Data, Machine Learning e devopsFernando Nawa
 
Business Analytics Em Plataforma Hibrida Alexos
Business Analytics Em Plataforma Hibrida   AlexosBusiness Analytics Em Plataforma Hibrida   Alexos
Business Analytics Em Plataforma Hibrida AlexosCICS ROADSHOW
 
Curso Gratuito Online Desmistificando BI (Business Intelligence) Open Source ...
Curso Gratuito Online Desmistificando BI (Business Intelligence) Open Source ...Curso Gratuito Online Desmistificando BI (Business Intelligence) Open Source ...
Curso Gratuito Online Desmistificando BI (Business Intelligence) Open Source ...Caio Moreno
 
Virtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine LearningVirtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine LearningDenodo
 
Jornada para a Nuvem: Como planejar e executar sua migração com a ajuda do AW...
Jornada para a Nuvem: Como planejar e executar sua migração com a ajuda do AW...Jornada para a Nuvem: Como planejar e executar sua migração com a ajuda do AW...
Jornada para a Nuvem: Como planejar e executar sua migração com a ajuda do AW...Amazon Web Services LATAM
 
IDC Portugal | Virtualização de Dados como Estratégia de Gestão de Dados para...
IDC Portugal | Virtualização de Dados como Estratégia de Gestão de Dados para...IDC Portugal | Virtualização de Dados como Estratégia de Gestão de Dados para...
IDC Portugal | Virtualização de Dados como Estratégia de Gestão de Dados para...Denodo
 
Senior BI - Business Intelligence
Senior BI - Business IntelligenceSenior BI - Business Intelligence
Senior BI - Business IntelligenceSenior Sistemas
 
Latinoware 2012 - Desenvolvendo Interfaces com Holy
Latinoware 2012 - Desenvolvendo Interfaces com HolyLatinoware 2012 - Desenvolvendo Interfaces com Holy
Latinoware 2012 - Desenvolvendo Interfaces com HolyDextra
 
Latinoware2012 - Desenvolvendo interfaces WEB com HOLY de forma prática e efi...
Latinoware2012 - Desenvolvendo interfaces WEB com HOLY de forma prática e efi...Latinoware2012 - Desenvolvendo interfaces WEB com HOLY de forma prática e efi...
Latinoware2012 - Desenvolvendo interfaces WEB com HOLY de forma prática e efi...Leandro Guimarães
 
MIT - Estudo de Caso utilizando Cloud & DevOps
MIT - Estudo de Caso utilizando Cloud & DevOps  MIT - Estudo de Caso utilizando Cloud & DevOps
MIT - Estudo de Caso utilizando Cloud & DevOps Caio Candido
 
Lista de desejos de um Chief Security Officer
Lista de desejos de um Chief Security OfficerLista de desejos de um Chief Security Officer
Lista de desejos de um Chief Security OfficerAmazon Web Services LATAM
 

Semelhante a Palestra Univille (20)

Big Data - Hadoop
Big Data - HadoopBig Data - Hadoop
Big Data - Hadoop
 
Aplicação de Business Intelligence em Laboratórios Clínicos como ferramenta p...
Aplicação de Business Intelligence em Laboratórios Clínicos como ferramenta p...Aplicação de Business Intelligence em Laboratórios Clínicos como ferramenta p...
Aplicação de Business Intelligence em Laboratórios Clínicos como ferramenta p...
 
Gestão Ágil de Dados com Enterprise Data Fabric
Gestão Ágil de Dados com Enterprise Data FabricGestão Ágil de Dados com Enterprise Data Fabric
Gestão Ágil de Dados com Enterprise Data Fabric
 
WSO2 Enterprise Integrator 6.1 - Integração na Era da Transformação
WSO2 Enterprise Integrator 6.1 - Integração na Era da TransformaçãoWSO2 Enterprise Integrator 6.1 - Integração na Era da Transformação
WSO2 Enterprise Integrator 6.1 - Integração na Era da Transformação
 
Deal Inovacao e Tecnologia - Big Data, Machine Learning e devops
Deal Inovacao e Tecnologia - Big Data, Machine Learning e devopsDeal Inovacao e Tecnologia - Big Data, Machine Learning e devops
Deal Inovacao e Tecnologia - Big Data, Machine Learning e devops
 
Business Analytics Em Plataforma Hibrida Alexos
Business Analytics Em Plataforma Hibrida   AlexosBusiness Analytics Em Plataforma Hibrida   Alexos
Business Analytics Em Plataforma Hibrida Alexos
 
Construindo um data lake na nuvem aws
Construindo um data lake na nuvem awsConstruindo um data lake na nuvem aws
Construindo um data lake na nuvem aws
 
Curso Gratuito Online Desmistificando BI (Business Intelligence) Open Source ...
Curso Gratuito Online Desmistificando BI (Business Intelligence) Open Source ...Curso Gratuito Online Desmistificando BI (Business Intelligence) Open Source ...
Curso Gratuito Online Desmistificando BI (Business Intelligence) Open Source ...
 
Virtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine LearningVirtualização de dados para Advanced Analytics e Machine Learning
Virtualização de dados para Advanced Analytics e Machine Learning
 
Jornada para a Nuvem: Como planejar e executar sua migração com a ajuda do AW...
Jornada para a Nuvem: Como planejar e executar sua migração com a ajuda do AW...Jornada para a Nuvem: Como planejar e executar sua migração com a ajuda do AW...
Jornada para a Nuvem: Como planejar e executar sua migração com a ajuda do AW...
 
III SDTA - Pentaho PDI na Prática
III SDTA - Pentaho PDI na PráticaIII SDTA - Pentaho PDI na Prática
III SDTA - Pentaho PDI na Prática
 
IDC Portugal | Virtualização de Dados como Estratégia de Gestão de Dados para...
IDC Portugal | Virtualização de Dados como Estratégia de Gestão de Dados para...IDC Portugal | Virtualização de Dados como Estratégia de Gestão de Dados para...
IDC Portugal | Virtualização de Dados como Estratégia de Gestão de Dados para...
 
Senior BI - Business Intelligence
Senior BI - Business IntelligenceSenior BI - Business Intelligence
Senior BI - Business Intelligence
 
2 artigo workap3 impresso
2 artigo workap3 impresso2 artigo workap3 impresso
2 artigo workap3 impresso
 
Latinoware 2012 - Desenvolvendo Interfaces com Holy
Latinoware 2012 - Desenvolvendo Interfaces com HolyLatinoware 2012 - Desenvolvendo Interfaces com Holy
Latinoware 2012 - Desenvolvendo Interfaces com Holy
 
Latinoware2012 - Desenvolvendo interfaces WEB com HOLY de forma prática e efi...
Latinoware2012 - Desenvolvendo interfaces WEB com HOLY de forma prática e efi...Latinoware2012 - Desenvolvendo interfaces WEB com HOLY de forma prática e efi...
Latinoware2012 - Desenvolvendo interfaces WEB com HOLY de forma prática e efi...
 
MIT - Estudo de Caso utilizando Cloud & DevOps
MIT - Estudo de Caso utilizando Cloud & DevOps  MIT - Estudo de Caso utilizando Cloud & DevOps
MIT - Estudo de Caso utilizando Cloud & DevOps
 
Lista de desejos de um Chief Security Officer
Lista de desejos de um Chief Security OfficerLista de desejos de um Chief Security Officer
Lista de desejos de um Chief Security Officer
 
Sql server 2019 big data cluster
Sql server 2019 big data clusterSql server 2019 big data cluster
Sql server 2019 big data cluster
 
Gravação_Sunlytics PitchDeck.PDF
Gravação_Sunlytics PitchDeck.PDFGravação_Sunlytics PitchDeck.PDF
Gravação_Sunlytics PitchDeck.PDF
 

Palestra Univille

  • 1.
  • 2. Bacharel em Sistemas de Informação • Pós-Graduado em Gerenciamento de Projetos. • MCP - Microsoft Certified Professional em SQL SERVER e SHAREPOINT
  • 3. Autor do livro “Integração de Dados na Prática - Técnicas de ETL para Business Intelligence com Microsoft SSIS 2012” Blogueiro no www.tsqlmaster.blogspot.com
  • 4. Microsoft Gold Partner. Consultoria, Implantação, Desenvolvimento, Suporte Técnico e Treinamento em soluções Microsoft com foco em: Portal Colaborativo (MS SharePoint) ECM - Gerenciamento de Conteúdo Corporativo GED - Gestão Eletrônica de Documentos EPM – Gestão Corporativa de Projetos Desenvolvimento de aplicativos BI – Business Inteligence
  • 5. Registro de Imóveis de Florianópolis
  • 6. O ETL ESTÁ EM UM CONTEXTO MAIOR... GESTÃO DE DADOS
  • 7. Em um futuro próximo, concorrentes do mesmo nicho, serão muito semelhantes em tecnologia, metodologia, ERP... O DIFERENCIAL SERÁ O CAPITAL INTELECTUAL... OS ATIVOS INTANGÍVEIS!
  • 8. • Marca • Reputação • Conhecimento de negócio • Qualificação da equipe • Dados corporativos de qualidade...
  • 9. "Uma campanha de imunização tem um custo: seringas, a vacina, pessoal, transporte, divulgação. Porém, o valor da população imunizada é intangível".
  • 10. PORTAIS CORPORATIVOS, GED, INTRANETS, EXTRANETS , SISTEMAS DE BUSINESS INTELLIGENCE ... SÃO FERRAMENTAS DE GESTÃO DE PARTE DOS ATIVOS INTANGÍVEIS
  • 11. A GESTÃO DE DADOS PODE SER USADA EM DIVERSOS CONTEXTOS...
  • 12. Depois do ataque as torres gêmeas, Hank Asher dono da SEISINT analisou a situação Acessou o Banco de Em 2004 a dados SESINT com SESINT foi mais de 10 bilhões de vendida por U$ informações sobre 775 MILHOES residentes, imigrantes, de dólares para a datas de nascimento LEXIS NEXIS ,atividade profissional, obitos... Análise SEISINT Posteriormente Utilizando técnicas verificaram que cinco dos de Data Mining, sequestradores produziu uma lista identificados estavam na de mais de 1200 lista original suspeitos A sede da empresa na Flórida se tornou um QG temporário da CIA e do FBI
  • 13. Dado no limite da segurança e da privacidade
  • 14. Dado como elemento preditivo e alavancador de negócios
  • 15. Cases como este, envolvem processos de integração de dados... Também chamado de ETL
  • 17. Origem Transformações Carga
  • 18. Integração Migração de de Sistemas Sistemas
  • 19. Em SP é possível solicitar ao PROCON bloqueio de ligações de CALLCENTER PROCON disponibiliza um WebServices para consulta Solução: Integração para consultar no WebService os números que serão discados e se necessário invalidá-los
  • 21. “Business Intelligence é um sistema de suporte a tomada de decisão.“ Visão Estratégia Objetivos Fatores Críticos Sucesso Definição de KPIs Iniciativas e Ações DECISÃO! Chave
  • 22. SSIS = SQL SERVER INTEGRATION SERVICES Criado em 2005 e disponibilizado junto Microsoft SQL SERVER Interface visual para a integração de dados, estruturada no Visual Studio Recursos avançados de Debug e visualização de dados no pipeline Integração total com as ferramentas Microsoft e desempenho diferenciado
  • 23. Conceito de Solutions Integrações segmentadas em pacotes DTSX Pacotes DTSX utilizam componentes
  • 24.
  • 26. Arquivo com colunas delimitadas por virgulas e valores separados por aspas duplas “Nome” "Email“ "Cidade“ "Cep“ "Endereco“ "DtNascto"
  • 27. Clientes com email do hotmail devem ser importados com Status diferenciado devido a problemas com o AntiSpam
  • 28. CREATE DATABASE ProjetoETL go USE ProjetoETL go CREATE TABLE Clientes ( id int identity(1,1) primary key, Nome varchar(255) default NULL, nuNivel varchar(50) default NULL, Email varchar(255) default NULL, Cidade varchar(50) default NULL, Cep varchar(255) default NULL, Endereco varchar(255) default NULL, FlStatus varchar(1) default NULL, DtNascto Datetime default NULL, ) go
  • 29.
  • 30.
  • 31.
  • 32. Clientes com email do hotmail devem ter status diferenciado... Adicionar um derived column com a seguinte expressão (FINDSTRING(Email,"hotmail",1) != 0) ? "I" : "A"
  • 33. Componente DataFlow Origem Transformações Destino
  • 34. Finalmente realizamos a carga com um OLE DB Destination, direcionando ao Database ProjetoETL tabela clientes.
  • 35.
  • 36. Arquivo com colunas delimitadas por virgulas e valores separados por aspas duplas deProduto vlrPrecoCusto deDepartamento acervo
  • 37. Utilizar o campo ACERVO do arquivo txt para dividir o fluxo de dados Realizar esta tarefa usando o componente Conditional Split
  • 38. Use ProjetoETL GO create table ProdutosAcervo( id int identity(1,1), deProduto varchar(100) ) go create table ProdutosLancamento( id int identity(1,1), deProduto varchar(100) ) go
  • 39.