Conhecimentos sobre projeto e modelagem de um Data Warehouse.

1. GRADUAÇÃO
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
Administração
de
Banco
de
Dados
Criação
e
Manutenção
de
Data
Warehouse
Prof.
Rudson
Kiyoshi
Souza
Carvalho
rudson.carvalho@gmail.com
Parte
1
Versão
1.0
Setembro/2014
1

2. Ementa
Projeto
para
a
manipulação
de
tabelas
e
extração
de
informações,
criação,
manutenção,
depuração
e
geração
de
informações
de
apoio
à
tomada
de
decisão.
Criação
e
manutenção
de
Data
Warehouse.
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
2

3. Obje?vo
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
3
Colocar
à
disposição
do
aluno
conhecimentos
sobre
projeto
e
modelagem
de
um
Data
Warehouse.

4. Conteúdo
Programá?co
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
4
Modelagem
EnUdade-­‐Relacionamento
Manutenção
de
Tabelas
Modelagem
para
Data
Warehouse
Projeto
de
Data
Warehouse
e
CRM
Ambiente
de
Data
Warehouse
Processos
e
Ferramentas
para
Modelar
um
Data
Warehouse
Arquiteturas
de
Data
Warehouse
Granularidade
de
Dados
Modelagem
de
Dados
para
Data
Warehouse
Dimensões
Modelos
Floco
de
Neve
x
Modelo
Estrela
Banco
de
Dados
MulUdimensionais
Manutenção
de
Dimensões
UUlizando
Ferramenta
de
Data
Warehouse
Roteiro
de
Modelagem
para
Data
Warehouse
Metadados

5. Sistema
de
Avaliação
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
5
Primeira
Avaliação
–
Peso
4
Segunda
Avaliação
–
Peso
6
Critério
do
Professor
Prova
Escrita
Oficial
PráUcas:
3.00
PráUcas:
3.00
Teóricas:
7.00
Teóricas:
7.00
Total:
10.00
Total:
10.00

6. Avaliação
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
6
T1
–
Apresentação
em
Grupo
+
P1
-­‐
Prova
Teórica
T2
–
ArUgo
+
P2
-­‐
Prova
Teórica
T1
e
T2
–
Trabalhos
em
Grupo
até
4
parUcipantes
(T1
+
P1)
*
0.4
+
(T2
+
P2)
*
0.6
=
Nota
Final

7. Avaliação
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
7
Trabalho
1
Tema
1:
Sistemas
de
Gestão
Empresarial
(ERP)
Tema
2:
Sistemas
de
Gestão
do
Relacionamento
com
o
Cliente
(CRM).
• Apresentado
em
sala
de
aula
(até
20
minutos
de
apresentação).
• Todos
deverão
realizar
a
apresentação.

8. Avaliação
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
8
Conteúdo
do
Trabalho
(apresentação):
• Informações
e
histórico
do
fornecedor;
• CaracterísUcas
de
negócio
do
produto;
• Módulos
oferecidos;
• CaracterísUcas
funcionais
do
produto;
• Informações
sobre
a
implementação;
• Casos
de
implementação;
• Market
share
do
fornecedor;
• Considerações
do
grupo
sobre
o
produto
e
o
fornecedor.

9. Tecnologia
em
Gestão
da
Tecnologia
da
Informação
9
Conceitos
Fundamentais

10. TI
vs
Negócio
Existe
carência,
nos
dias
atuais,
de
gestores
de
TI
que
realmente
apoiem
as
diversas
áreas
da
organização,
levando
inovações
que
gerem
valor
em
um
modelo
de
PARCERIA
entre
a
TI
e
as
demais
áreas
de
negócio.
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
10
Tecnologia
da
Informação
Área
de
Negócios

11. Valor
dos
Dados
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
11

12. Dado
X
Informação
x
Conhecimento
x
Sabedoria
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
12
Pensem
no
“DADO”
com
um
mero
pingo
de
água…
Estamos
andando
na
rua
e
senUmos
um
pingo
cair
em
nossa
cabeça.
Será
que
este
pingo,
representa
chuva?

13. Dado
X
Informação
x
Conhecimento
x
Sabedoria
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
13
E
se
ao
olharmos
para
o
céu,
percebemos
que
existem
núvens?
E
se
notarmos
os
primeiros
pingos
caindo?
E
se
notarmos
alguns
raios?
Chegamos
a
informação
que
vai
chover.

14. Dado
X
Informação
x
Conhecimento
x
Sabedoria
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
14
O
conhecimento
é
quando
percebemos
que
com
a
chuva
nós
vamos
nos
molhar
e
talvez
não
consigamos
chegar
a
tempo
num
compromisso.

15. Dado
X
Informação
x
Conhecimento
x
Sabedoria
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
15
A
sabedoria,
é
quando
decidimos
o
que
vamos
fazer
com
a
informação.

16. Sistemas
de
Informação
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
16

17. Apoio
a
Descisão
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
17

18. Onde
os
dados
estão
nas
Organizações?
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
18

19. ERP
–
Enterprise
Resource
Planning
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
19

20. ERP
–
Enterprise
Resource
Planning
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
20
Sistemas
Integrados
de
Gestão
Empresarial
• Enterprise
Resource
Planning
–
“um
pacote
de
sosware
de
negócios
que
permite
a
uma
companhia
automaUzar
e
integrar
a
maior
parte
de
seus
processos
de
negócio”
(Souza
&
Zwicker,
2000).
• A
idéia
é
integrar
os
processos
de
negócio
e,
portanto,
os
próprios
departamentos
e
suas
funções
em
um
único
sistema.
• Os
departamentos
passam
a
ser
atendidos
em
suas
necessidades
pelo
sistema
único.
(EBS,
PeopleSoU,
JD
Edwards,
...)
(Protheus,
RM
Sistemas
,
Logix,
Data
Sul…)
(Dynamics)

21. Sistemas
Integrados
de
Gestão
Empresarial
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
21

22. ERP
–
Market
Share
Brasil
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
22
Fonte:
FGV
EAESP
-­‐
2000

23. CRM
–
Customer
Rela?onship
Management
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
23

24. CRM
–
Customer
Rela?onship
Management
Customer
RelaUonship
Management
(CRM)
é
um
termo
em
inglês
que
pode
ser
traduzido
para
a
língua
portuguesa
como
Gestão
de
Relacionamento
com
o
Cliente
(Gestão
de
Relação
com
o
Cliente,
em
Portugal).
Criada
para
definir
toda
uma
classe
de
ferramentas
que
automaUzam
as
funções
de
contato
com
o
cliente,
essas
ferramentas
compreendem
sistemas
informaUzados
e
fundamentalmente
uma
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
24
mudança
de
a]tude
corpora]va,
que
obje]va
ajudar
as
companhias
a
criar
e
manter
um
bom
relacionamento
com
seus
clientes
armazenando
e
inter-­‐relacionando
de
forma
inteligente,
informações
sobre
suas
aUvidades
e
interacções
com
a
empresa.
hxp://pt.wikipedia.org/wiki/Customer_relaUonship_management

25. CRM
–
Customer
Rela?onship
Management
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
25

26. Business
Intelligence
-­‐
BI
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
26

27. Business
Intelligence
-­‐
BI
Inteligência
empresarial
(ou
Business
Intelligence,
em
inglês),
refere-­‐se
ao
processo
de
coleta,
organização,
análise,
comparUlhamento
e
monitoramento
de
informações
que
oferecem
suporte
a
gestão
de
negócios.
O
conceito
surgiu
na
década
de
90
e
descreve
as
habilidades
das
corporações
para
aceder
a
dados
e
explorar
informações
e
recursos
financeiros
em
proveito
dos
diretores
(normalmente
conUdas
em
um
Data
Warehouse/Data
Mart),
analisando-­‐as
e
desenvolvendo
percepções
e
entendimentos
a
seu
respeito,
o
que
lhes
permite
incrementar
e
tornar
mais
pautada
em
informações
a
tomada
de
decisão.
hxp://pt.wikipedia.org/wiki/Inteligência_empresarial
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
27

28. Prioridades
CIOs
(Chief
Informa?on
Officer)
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
28

29. Business
Intelligence
–
Elementos
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
29
Um
sistema-­‐padrão
de
business
intelligence
é,
portanto,
composto
pelos
seguintes
elementos:
• Módulo
de
ETL
(extrac0on,
transforma0on
and
loading)
–
Componente
dedicado
à
extracão,
transformação
e
carregamento
de
dados.
É
a
parte
responsável
pela
coleta
das
informações
nas
mais
diversas
fontes
(sistemas
ERP,
arquivos
TXT
ou
ficheiros
Excel);
• Data
warehouse/Data
marts
–
Locais
onde
ficam
concentrados
todos
os
dados
extraídos
dos
sistemas
operacionais.
A
grande
vantagem
de
ter
um
repositório
de
dados
separado
consiste
na
possibilidade
de
armazenar
informações
históricas
e
agregadas,
construindo
assim
um
melhor
suporte
para
as
análises;
• Front-­‐end
–
Parte
de
um
projeto
de
BI
visível
ao
usuário.
Pode
conter
dashboards,
relatórios
padronizados,
consultas
ad
hoc,
portal
de
intranet/Internet/Extranet,
análise
OLAP
e
funções
diversas
como
data
mining.

30. Plataformas
de
Business
Intelligence
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
30

31. Tecnologia
em
Gestão
da
Tecnologia
da
Informação
31
Banco
de
Dados
Conceitos
Básicos

32. OLTP
–
Online
Transac?on
Processing
Os
sistemas
OLTP
são
uUlizados
para
o
processamento
de
transações
em
tempo
real,
são
sistemas
que
se
encarregam
de
registrar
todas
as
transações
conUdas
em
uma
determinada
operação
organizacional.
Exemplo
de
sistemas
OLTP:
• ERP
• CRM
• Sistema
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
32
bancário
• Sistema
de
vendas
• Sistema
de
Gestão
hospitalar
• Sistema
de
Gestão
acadêmica

33. Banco
de
Dados
Conceitos
Básicos
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
33

34. Evolução
dos
Bancos
de
Dados
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
34

35. Tecnologia
em
Gestão
da
Tecnologia
da
Informação
35
Data
Warehouse

36. Tecnologia
em
Gestão
da
Tecnologia
da
Informação
36
“Se
conheces
bem
a
si
mesmo
tanto
quanto
ao
inimigo
não
temas
a
batalha;
Já
se
conheces
a
si
mesmo
mas
não
conheces
o
inimigo
para
cada
vitória
terá
uma
derrota;
Agora
se
não
conheces
a
si
mesmo
nem
ao
inimigo
foges
do
campo
de
batalha
pois
não
terá
a
mínima
chance.”
Sun
Tsu
–
2500
AC

37. Data
Warehouse
Um
armazém
de
dados,
ou
ainda
depósito
de
dados,
é
uUlizado
para
armazenar
informações
relaUvas
às
aUvidades
de
uma
organização
em
bancos
de
dados,
de
forma
consolidada.
O
desenho
da
base
de
dados
favorece
os
relatórios,
a
análise
de
grandes
volumes
de
dados
e
a
obtenção
de
informações
estratégicas
que
podem
facilitar
a
tomada
de
decisão.
hxp://pt.wikipedia.org/wiki/Armaz%C3%A9m_de_dados
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
37
Conjunto
de
dados
de
apoio
às
decisões
gerenciais,
integrado,
não-­‐voláUl,
variável
em
relação
ao
tempo
e
baseado
em
assuntos.
Imon
Ao
processo
de
preparar
os
dados
de
um
sistema
de
informação
operacional
de
forma
a
se
ter
uma
fonte
de
informações
que
possam
dar
suporte
à
tomada
de
decisões
deu-­‐se
o
nome
de
data
warehousing.
Kimball

38. Data
Warehouse
Caracterís?cas
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
38
Caracterís]cas
gerais:
• Armazém
de
dados
(Base
de
dados
comumente
relacional);
• Dados/informações
consolidadas;
• Armazena
grande
quanUdade
de
dados;
• Os
dados
não
mudam
(exceto
na
carga);
• A
modelagem
favorece
o
desempenho
de
consultas.

39. Data
Warehouse
Visão
Geral
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
39

40. Data
Warehouse
-­‐
Transformação
/
Integração
Diferentes
Fontes
de
Dados
Data
Warehouse
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
40

41. Data
Warehouse
-­‐
Integração
de
Dados
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
41
Diferentes
Fontes
de
Dados
Data
Warehouse

42. Data
Warehouse
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
42
Baseado
em
assuntos
• Um
DW
sempre
armazena
dados
importantes
sobre
temas
específicos
da
empresa
e
conforme
o
interesse
dos
processos
de
negócio
envolvidos.
• Exemplo:
Uma
empresa
pode
trabalhar
com
vendas
de
produtos
alimencios
no
varejo
e
o
seu
maior
interesse
é
ver
o
perfil
de
seus
compradores,
então,
o
DW
será
voltado
para
as
pessoas
que
compram
seus
produtos
e
não
para
os
produtos
que
a
empresa
vende.

43. Data
Warehouse
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
43
Váriavel
em
relação
ao
tempo
• Num
Banco
de
Dados
Transacional
o
dado
se
refere
ao
momento
Atual
• Num
Data
Warehouse
o
dado
varia
em
relação
ao
tempo.
Banco
de
Dados
Transacional
Data
Warehouse

44. Data
Warehouse
Não
Volá]l
Nenhum
dado
pode
ser
alterado
depois
de
incluído
no
DW
–
Em
um
BD
transacional
pode-­‐se
inserir,
alterar
e
excluir
dados;
–
Em
um
DW
somente
inserções
são
possíveis;
–
Garante-­‐se
que
qualquer
consulta
a
um
dado
relaUvo
a
um
período
de
tempo
sempre
produza
o
mesmo
resultado.
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
44

45. Arquitetura
de
um
Data
Warehouse
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
45

46. Arquitetura
de
um
Data
Warehouse
Stanging
Area
(SA
ou
somente
Stage)
Representa
uma
área
de
trabalho
que
recebe
as
informações
do
ambiente
OLTP
e
provê
informações
para
o
DW.
• Modelo
de
dados
não
precisa
ser
modelado
segundo
uma
técnica
específica.
• Não
tem
como
objeUvo
ser
uUlizada
para
consulta,
mas
sim
como
área
de
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
46
limpeza
e
transformações
para
o
DW.

47. Arquitetura
de
um
Data
Warehouse
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
47
Opera]onal
Data
Store
(ODS)
Armazenamento
de
dados
atuais
ou
quase
atuais
para
suporte
à
decisões
operacionais
do
dia-­‐a-­‐dia
• Como
o
DW,
ele
é
orientado
a
assunto,
é
integrado,
porém
é
voláUl,
ou
seja,
permite
atualizações
• Mostra
a
visão
corporaUva
dos
dados
em
nível
detalhado.
• É
uUlizado
quando
há
a
necessidade
de
se
integrar
os
dados
no
nível
operacional
• Dados
mais
anUgos
podem
ser
movidos
e
sumarizados
para
o
DW

48. Arquitetura
de
um
Data
Warehouse
Extração,
Transformação
e
Carga
(ETL)
ETL,
do
inglês
Extract
Transform
Load
(Extração
Transformação
Carga),
são
ferramentas
de
sosware
cuja
função
é
a
extração
de
dados
de
diversos
sistemas,
transformação
desses
dados
conforme
regras
de
negócios
e
por
fim
a
carga
dos
dados
geralmente
em
um
Data
Mart
e
um
Data
Warehouse,
porém
nada
impede
que
também
seja
para
enviar
os
dados
para
um
determinado
sistema
da
organização.
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
48

49. Arquitetura
de
um
Data
Warehouse
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
49
Modelagem
Dimensional
Na
modelagem
mulUdimensional
os
dados
são
organizados
e
estruturados
em
diversas
dimensões.
Um
dos
Upos
de
modelagem
mulUdimensional
mais
uUlizado,
é
o
Star
Schema
ou
Esquema
Estrela,
desenvolvido
por
Ralph
Kimball,
um
dos
precursores
do
conceito
de
data
warehouse.

50. Arquitetura
de
um
Data
Warehouse
Data
Marts
Data
Marts
são
subconjuntos
departamentais
focados
em
assuntos
selecionados
(e.g.,
um
data
mart
de
markeUng
pode
incluir
informações
de
vendas,
produtos
e
clientes).
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
50
Chaudhuri
&
Dayal

51. Arquitetura
de
um
Data
Warehouse
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
51
Esquema
Estrela
• O
conceito
de
Esquema
Estrela
(em
inglês:
Star
Schema)
foi
criado
pelo
estadunidense
Dr.
Ralph
Kimball,
ao
propor
uma
visão
para
a
modelagem
de
base
de
dados
para
sistemas
de
apoio
a
decisão.
Sua
principal
caracterísUca
é
a
presença
de
dados
altamente
redundantes,
melhorando
o
desempenho.
• Star
schema
ou
esquema
em
estrela
é
uma
metodologia
de
modelagem
de
dados
uUlizada
do
desenho
de
um
Data
warehouse.

52. Arquitetura
de
um
Data
Warehouse
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
52
Esquema
Estrela

53. Arquitetura
de
um
Data
Warehouse
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
53
Esquema
Floco
de
Neve
• Esquema
floco
de
neve
é
uma
variação
do
esquema
estrela,
no
qual
todas
as
tabelas
de
dimensão
são
normalizadas
na
terceira
forma
normal
(3FN),
ou
seja,
são
reUrados
das
tabelas
os
campos
que
são
funcionalmente
dependentes
de
outros
campos
que
não
são
chaves.
• Recomenda-­‐se
uUlizar
o
esquema
floco
de
neve
apenas
quando
a
linha
de
dimensão
ficar
muito
longa
e
começar
a
ser
relevante
do
ponto
de
vista
de
armazenamento.

54. Arquitetura
de
um
Data
Warehouse
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
54
Esquema
Floco
de
Neve

55. Arquitetura
de
um
Data
Warehouse
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
55
Online
Analy]cal
Processing
(OLAP)
• OLAP,ou
On-­‐line
AnalyUcal
Processing
é
a
capacidade
para
manipular
e
analisar
um
grande
volume
de
dados
sob
múlUplas
perspecUvas.
• As
aplicações
OLAP
são
usadas
pelos
gestores
em
qualquer
nível
da
organização
para
lhes
permiUr
análises
comparaUvas
que
facilitem
a
sua
tomada
de
decisões
diárias.
• A
arquitetura
OLAP
possui
ferramentas
que
são
classificadas
em
cinco
Upos
que
são:
• ROLAP
-­‐
OLAP
Relacional
• MOLAP
–
OLAP
MulUdimensional
• HOLAP
–
OLAP
Híbrido
• DOLAP
-­‐
Desktop
OLAP
• WOLAP
-­‐
Web
OLAP
Ferramenta
OLAP
a
parUr
de
um
navegador

56. Arquitetura
de
um
Data
Warehouse
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
56

57. Arquitetura
de
um
Data
Warehouse
Tecnologia
em
Gestão
da
Tecnologia
da
Informação
57

58. Tecnologia
em
Gestão
da
Tecnologia
da
Informação
58
Fim
Parte
1

59. Tecnologia
em
Gestão
da
Tecnologia
da
Informação
59