Apresentação realizada em 24 de Abril na iMasters no evento 7Masters especial OpenData.

1. Modelo de Dados:
Entendendo e “re-”construindo...
Wesley Seidel Carvalho
@wseidel
wesley.seidel@ltasks.com
wesley.seidel@intelidados.com.br

2. Arquitetura de dados
● Escopo/Contexto
● Modelo de Negócios / Conceitual
● Modelo de Sistema / Lógico
● Modelo Tecnológico / Físico
● Configuração de Componentes

3. Arquitetura de dados
● Arquitetura Conceitual de Dados
– Visão de alto nível que dá suporte ao atendimento das
necessidades do negócio de uma organização
● Arquitetura Lógica de Dados
– Uma arquitetura lógica de dados descreve com precisão as
propriedades e os relacionamentos de cada uma das entidades de
dados envolvidas em um domínio organizacional;
● Arquitetura Física de Dados
– Engloba "arquitetura de banco de dados", que vem a ser um
esquema da tecnologia de banco de dados utilizado para viabilizar a
realização de um projeto de arquitetura de dados;

4. Arquitetura de dados
(Restrições e influências)
● Requisitos organizacionais
● Direcionadores tecnológicos
● Fatores econômicos
● Políticas de negócios
● Necessidades de processamento de dados

5. Arquitetura de dados
● O quê ?
● Como ?
● Onde ?
● Quem ?
● Quando ?
● Por quê ?

6. M.E.R.
● É um modelo abstrato cuja finalidade é
descrever, de maneira conceitual, os dados a
serem utilizados em um sistema de informações
ou que pertencem a um domínio.

12. Dicionário de dados
● É uma coleção de metadados que contêm
definições e representações de elementos de
dados.

14. Sistemas legados
● Normalmente são aplicações
– complexas;
– antigas;
– difícil manutenção;
– que pelo grau de criticidade e custo para modernização,
continuam ativas;

15. Tá, eae? E sobre os dados abertos?
● dados são abertos quando qualquer pessoa pode
livremente usá-los, reutilizá-los e redistribuí-los,
estando sujeito a, no máximo, a exigência de
creditar a sua autoria e compartilhar pela mesma
licença.
Fonte: http://dados.gov.br/dados-abertos/

16. Tá, eae? E sobre os dados abertos?
● Os dados abertos também são pautados ...
– ...por três leis:
1.Se o dado não pode ser encontrado e indexado na Web, ele
não existe;
2.Se não estiver aberto e disponível em formato compreensível
por máquina, ele não pode ser reaproveitado; e
3.Se algum dispositivo legal não permitir sua replicação, ele não
é útil.
Fonte: http://dados.gov.br/dados-abertos/

17. Tá, eae? E sobre os dados abertos?
● Os dados abertos também são pautados ...
– ...e oito principios:
1.Completos.
2.Primários.
3.Atuais.
4.Acessíveis.
5.Processáveis por máquina.
6.Acesso não discriminatório.
7.Formatos não proprietários.
8.Livres de licenças.
Fonte: http://dados.gov.br/dados-abertos/

18. Dados governamentais.
● Nem sempre estão bonitos como queríamos, pois
geralmente:
– Não seguem todas as pautas do OpenData;
– Não disponibilizam o dicionário de dados;
● Talvez não tenha mesmo.
– Não disponibilizam o M.E.R.
● Também talvez não tenham...
– Está em formato proprietário;
– Está em formato antigo;
– Etc, etc, etc....

19. Dados governamentais.
● Em boa parte das vezes que está disponível
podemos encontrá-los em:
– XL$
– CSV
– DBF ( o.O )
– GDB
– TXT ( seja TSV ou campos posicionais )
– PDF

20. Então...
…

22. Engenharia Reversa...
● ... consiste em usar a criatividade para, a partir de
uma solução pronta, retirar os possíveis conceitos
ali empregados

23. Data Integration
FONTE TRANFORMAÇÕES CARGA

24. Pentaho Data Integration
FONTE TRANFORMAÇÕES CARGA
-XL$
-CSV
-DBF
-XML
-JSON
-TXT
...
-BLA
-BLE
-BLI
-SGBD
-MySQL
-Postgre
-MariaDB
...
AAAAA aaaaaa
3337775522 33.37.77.55-22

25. Pentaho Data Integration
FONTE TRANFORMAÇÕES CARGA

26. Pentaho Data Integration
FONTE TRANFORMAÇÕES CARGA

27. Pentaho Data Integration

28. Pentaho Data Integration

29. Pentaho Data Integration

30. Pentaho Data Integration (kettle)
● Onde obter:
– http://kettle.pentaho.com/

31. Obrigado...
...se ainda tiver tempo...

32. Pesquisas realizadas:

33. Pesquisas realizadas:
http://www.cgu.gov.br/sorteios/index1.asp

34. Pesquisas realizadas:
Alocando Locais de votação em setores censitários.

35. Pesquisas realizadas:

38. 18.097.608

39. Agora sim...
… Obrigado!
Wesley Seidel Carvalho
@wseidel
wesley.seidel@ltasks.com
wesley.seidel@intelidados.com.br