O documento fornece uma introdução aos conceitos e tecnologias relacionadas ao ecossistema de dados abertos no Brasil, incluindo a Infraestrutura Nacional de Dados Abertos (INDA) e o portal Brasileiro de Dados Abertos (dados.gov.br). O documento discute tópicos como formatos de arquivos, arquiteturas para publicação de dados, exemplos de APIs e aplicativos que utilizam dados abertos.

1. Oficina Técnica de Publicação de
Dados Abertos
e Transparência Ativa

2. dados.gov.br
@dadosgovbr
contato@dados.gov.br
Nitai Bezerra da Silva
@nitaibezerra slideshare.com/nitaibezerra

3. A oficina
● Conceitos e tecnologias relacionadas ao
ecossistema de dados abertos
● Para técnicos e gestores de TI envolvidos na
publicação de dados e informações, ou não :D
● Nível de difculdade: intermediário (?)
3 / 64

4. Agenda
● O que é a INDA ● Portal dados.gov.br
● Dados Abertos? ● Metadados
● Quais dados? ● Catalogando dados
● Etapas da abertura ● Outros portais com CKAN
● Arquiteturas para publicação de ● Colheita de Metadados
dados (Harvesting)
● Formatos de arquivos ● DataStore
● Caso: API do Siconv ● Linked Data
● Web, REST APIs, etc.. ● Desenho de URIs
● Aplicativos e Mashups ● As 5 estrelas dos Dados
Abertos
● Arquitetura lógica da INDA
4 / 64

5. Infraestrutura Nacional de Dados Abertos - INDA
Coordenamos a abertura dos dados públicos no
Brasil em colaboração com a sociedade
5 / 64

6. Infraestrutura Nacional de Dados
Abertos
Objetivos:
Proporcionar aos cidadãos, e ao governo , um ponto de acesso central aos dados públicos,
disponível na web.
Coordenar e orientar a padronização no ciclo de vida da informação, em especial no
momento de sua publicação na web .
Incentivar a agregação de valor aos dados públicos e a colaboração com o cidadão na
implementação de novos serviços à sociedade.
Ser uma iniciativa sustentável de Dados Abertos.
Para isso:
Conjunto de padrões, tecnologias, procedimentos e mecanismos de controle necessários para
se publicar dados abertos governamentais, visando seu reuso não só pela sociedade mas
pelo próprio governo. http://wiki.gtinda.ibge.gov.br/
6 / 64

7. “Dados são abertos quando qualquer pessoa pode livremente usá-los,
reutilizá-los e redistribuí-los, estando sujeito a, no máximo, a exigência
de creditar a sua autoria e compartilhar pela mesma licença.”
http://dados.gov.br/dados-abertos/
http://opendefinition.org/
Qualquer um significa qualquer um!
(Sem restrição ao uso comercial, etc.)
7 / 64

8. O que são dados abertos?
As Três Leis dos dados Oito princípios dos Dados Governamentais
governamentais abertos Abertos
1. Completos
1. Se ele não pode ser encontrado na
web e indexado, ele não existe. 2. Primários (brutos)
3. Atuais
2. Se não estiver aberto e disponível
em formato compreensível por 4. Acessíveis
máquina, ele não pode ser 5. Processável por Máquina
utilizado.
6. Não discriminatório
3. Se qualquer dispositivo legal
7. Não proprietário
não permitir que ele seja reutilizado,
ele não é útil. 8. Livre de licensa
Open gov
David Eaves
Working group
8 / 64

9. Lei de Acesso à Informação – LAI
12.527/11
Esclarece que é constitucional o direito de
acesso à informação
9 / 64

10. Lei de Acesso à Informação
●
Art. 8o §3o ...
●
I - conter ferramenta de pesquisa de conteúdo que permita o acesso à informação
de forma objetiva, transparente, clara e em linguagem de fácil compreensão;
●
II - possibilitar a gravação de relatórios em diversos formatos
eletrônicos, inclusive abertos e não proprietários , tais como planilhas e
texto, de modo a facilitar a análise das informações;
●
III - possibilitar o acesso automatizado por sistemas externos em formatos
abertos, estruturados e legíveis por máquina ;
Princípios de dados abertos!
10 / 64

11. Quais tipos de dados?
Transporte, Estatísticos, Orçamento, Segurança …
Restrição: Dados pessoais!
Ex.: Paradas de ônibus, locais turísticos, previsão climática, criminalidade
nos bairros, LOA, desempenho das escolas ...
11 / 64

12. Etapas da Abertura
Divulgar e
Seleção dos Implementação promover a
dados da arquitetura utilização
Definição dos Catalogação no
formatos dados.gov.br
12 / 64

13. Seleção dos Divulgar e
Implementação promover a
dados da arquitetura utilização
Definição dos Catalogação no
formatos dados.gov.br
13 / 64

14. Seleção dos Dados
● Publique dados de amplo interesse
● Foque nos dados finalísticos
● Dados brutos
● Abra muitos dados
● Consulte a sociedade!
14 / 64

15. Dicas para escolha
● Localização geográfica ++
● LatLong, CEP, rua, município, etc...
● Dimensão temporal
● Provenientes de BDs
● Séries históricas
● ...
15 / 64

16. Divulgar e
Seleção dos Implementação promover a
dados da arquitetura utilização
Catalogação no
Definição dos dados.gov.br
formatos
16 / 64

17. Formatos de arquivos
● Requisitos
● Processável por máquina
● Formato não proprietário
CSV DOC MBD Other Geo Spreadsheets WS
XLS ECW MDB PGDB SQL WSDL
XML EXE Metastock PNG TIFF XHTML
PDF Geo RSS Micro Station Design
Portal TMX XLS zip+
HTML Geo TIFF N3 PPT TSV API
JSON GML OAI-PMH RAW Turtle ASCII
KML GPX ODF RDFa TXT+ Zip Autre
XLSX JPG ODS RDF- XML URL CIDR
RDF JS ODT REST WEB CSV+Zip
SHP KMZ Omega RTF Webpage Datastream
RSS Mapinfo Online Database
SOAP WFS DBF
TXT Mathlab openDataXML SPARQL WMS XML-ATOM-RSS
XSD YAML Zip zip+sas
fonte: neeta neeta@nic.in
17 / 64

18. Exemplo 1: CSV
18 / 64

19. Exemplo 2: XML
19 / 64

20. Exemplo 3: JSON
20 / 64

21. Formatos de arquivos
● Qual o melhor?
● Depende dos seus dados, e da situação!
● Algumas orientações:
● Preferir JSON a XML
● Preferir CSV a ODS
● Escolha um formato estável e de amplo uso
● Se possível, publique em mais de um formato
21 / 64

22. Formatos de arquivos
● Mais orientações:
● Desaconselhamos compactar os arquivos
● Pesquise pelos formatos com mais audiência
● Para dados geográficos, conheça a INDE –
Infraestrutura Nacional de Dados Espaciais
– http://inde.gov.br/
● Sonhe com o RDF!!
● Para mais detalhes:
– Cartilha técnica para publicação de dados abertos
http://dados.gov.br/cartilha-publicacao-dados-abertos/
22 / 64

23. Implementação Divulgar e
Seleção dos da arquitetura promover a
dados utilização
Definição dos Catalogação no
formatos dados.gov.br
23 / 64

24. Arquiteturas de Publicação de Dados
● Requisitos
● As 3 leis e os 8 princípios! http://dados.gov.br/dados-abertos/
● Não esqueça: URL estática!!!!!
● Tipos
● Publicação Manual
– Arquivos isolados resultado de pesquisa ou levantamento
– Avaliações, balanços, levantamentos recorrentes (semanal,
mensal, trimestral)
● Publicação Automática, em “tempo real” (diária,
"instantânea”,....)
24 / 64

25. Publicação manual
● Os dados são coletados, transformados e
publicados num processo semi-manual
● Sistematizar não vale a pena! (?)
● O processo manual é confiável? (!)
● Exemplo:
● Balanço do PAC, quadrimestral
●
http://dados.gov.br/dataset/obras-do-pac-programa-de-aceleracao-do-crescimento
25 / 64

26. Publicação automatizada (1)
26 / 64
fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/

27. Publicação automatizada (2)
● Questões levantadas por Peter
Krantz:
● Você realmente precisa de
uma API?
● Sua infraestrutura está
preparada?
● Torne fácil que
empreendedores tenham os
dados mais novos
● Tenha liberdade da
tecnologia. Não quebre
URLs...
27 / 64
fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/

28. Publicação automatizada (3)
● Sistema em produção isolado
● Mais seguro
● Maior disponibilidade
● Esquema de dados
simplificado
● Autenticidade (gov.br)
● custo ~ benefício?
28 / 64

29. Caso: API do SICONV
● SICONV: Sistema que administra os convênios
entre APF, estados, municípios, DF e EPSFL.
● A API está em fase beta
● Requisitos:
● Dados em tempo “real”
● Replicação dos dados da produção
● Web Service REST
● JSON, CSV, XML, ... e HTML
29 / 64

30. Caso: API do SICONV
● Endereço: http://api.convenios.gov.br
● Bonito né?!
● Outras tecnologias:
● Princípios REST
● CORS - Cross-origin resource sharing
● HATEOAS
● Exemplo de consulta:
● http://api.convenios.gov.br/siconv/dados/orgao/54000
30 / 64

31. http://api.convenios.gov.br/siconv/dados/orgao/54000.html
31 / 64

32. http://api.convenios.gov.br/siconv/v1/consulta/convenios.html?id_orgao_concedente=54000
32 / 64

33. http://api.convenios.gov.br/siconv/dados/convenio/759029.html
33 / 64

34. Web, REST APIs, etc..
Web != Internet
34 / 64

35. Web, REST APIs, etc.. (2)
● Internet = infraestrutura, um amontoado de
computadores, redes e cabos
● Web = HTTP (hypertext transfer protocol)
● Documentos
● Hiperlinks
● URLs
● Aprenda os fundamentos e faça melhor uso da
Web
35 / 64

36. Web, REST APIs, etc.. (3)
● REST - Representational State Transfer
● Alguns princípios
● Separação do Cliente e do Servidor
● Sem estado (stateless)
● Cacheável
● Sistemas em camadas
● Recursos – pedaço específico de informação (URI)
● Esqueça SOAP
● Seja RESTful
36 / 64

37. Web, REST APIs, etc.. (4)
● HATEOAS - Hypermedia as the engine of application
state
● O princípio é de que o cliente interage com a
aplicação estritamente através das hipermídias
providas pelo servidor de aplicação.
● Possibilita um maior desacoplamento servidor-
cliente
● Exemplo: navegue em
http://api.convenios.gov.br/siconv/doc/metodos.html
● Consulte no google: “dados abertos novo hamburgo”
37 / 64

38. Aplicativos e Mashups
http://dados.gov.br/aplicativos
38 / 64

39. Experimento
1. Baixe os dados do PAC no portal dados.gov.br
2. Abra no LibreOffice e faça a conversão do tipo geográfico
● =CONCATENAR(SE(DIREITA(TIRAR(O2);1)="S";"-";"");EXT.TEXTO(O2;1;PROCURAR("°";O2;1)-1)+
(EXT.TEXTO(O2;PROCURAR("°";O2;1)+1;PROCURAR("'";O2;1)-PROCURAR("°";O2;1)-
1)/60)+CONCATENAR((EXT.TEXTO(O2;PROCURAR("'";O2;1)+1;PROCURAR(".";O2;1)-PROCURAR("'";O2;1)-
1));",";EXT.TEXTO(O2;PROCURAR(".";O2;1)+1;PROCURAR(CARACT(34);O2;1)-PROCURAR(".";O2;1)-
1))*1/3600)*1
3. Suba os dados para o Google Fusion Tables
4. Mais 2 cliques e ...
Passos: https://groups.google.com/forum/?fromgroups=#!topic/thackday/uJisBSNNgkU
39 / 64

40. Obras do PAC
40 / 64

41. Divulgar e
Seleção dos Implementação promover a
dados da arquitetura utilização
Definição dos
formatos Catalogação no
dados.gov.br
41 / 64

42. Arquitetura lógica da INDA
● A INDA está fundamentada na Web
● É a união dos dados publicado em
todos os órgãos
● O portal é um buscador
● O portal armazena os
metadados
● Cada órgão é
responsável pelos seus
dados
42 / 64

43. Portal Brasileiro de Dados Abertos
dados.gov.br
●
Utilizamos o CKAN ●
Outras tecnologias
●
Software Livre ●
Diazo
especializado ●
Varnish
●
Modelo flexível e ●
Solr
extensível
●
PortgreSQL
●
Integração com CMS
●
Apache
●
Wordpress
●
Python
●
VCGE para organizar
assuntos
●
HG – Mercurial
43 / 64

44. Portal Brasileiro de Dados Abertos
dados.gov.br
● É um catálogo
● Guarda metadados
● Conceitos básicos:
● Conjuntos de dados
● Recursos
● Grupos
● Etiquetas, licença, ...
44 / 64

45. CKAN
● Características:
● Sistema de catálogo de busca de dados
● API para busca e inserção
● Plugins para integração com CMSs (Drupal e WP)
● Visualização de dados e analytics
● Workflow permite orgãos administrarem seus
dados
● Storage de dados integrado
● Possibilita federação de catálogos
45 / 64

46. Metadados - catalogação
● “Dados sobre os dados” (descrevem o conjunto
de dados)
● Tipos
● Cobertura
● Descrição
● Proveniência
● Extração, etc..
● Úteis na classificação e indexação dos dados
● É o coração do catálogo!
46 / 64

47. Metadados - catalogação
● Mínimos: ● Extras:
● Título ● Etiquetas
● Descrição ● Autoria
● Catálogo de origem ● Cobertura geográfica e
● Órgão responsável temporal
● Assuntos do VCGE
● Granularidade geográfica
e temporal
● Formato do arquivo ● Atualidade
● Dicionário de Dados ● Referências
● Ontologia/vocabulário
● ...
http://dados.gov.br/cartilha-publicacao-dados-abertos/
47 / 64

48. Catalogando dados (exemplo)
http://treino.dados.gov.br
● Dados?
● Reclamações fundamentadas dos consumidores -
SINDEC
● http://notas.dados.gov.br/p/metadados-cadastro-reclamacoes-SENACO
48 / 64

49. Catalogação pela API
● CKAN provê uma API para administração
● Documentação:
● http://docs.ckan.org/en/latest/api.html
49 / 64

50. Portais com CKAN
● Senado, Reino Unido, Buenos Aires, ...
Mais: http://ckan.org/2012/07/31/new-ckan-data-portals/
50 / 64

51. Colheita de metadados - Harvesting
● Plugin que possibilita federação dos dados
● Replica os metadados entre catálogos
● Cada estado e município pode ter um portal de
dados abertos
● dados.sc.gov.br?
● dados.pe.gov.br?
● Documentação:
● https://github.com/okfn/ckanext-harvest
51 / 64

52. DataStore
● Serviço de armazenamento e acesso a dados
estruturados pela web
● Software que se integra com o CKAN
●
● Documentação:
● http://blog.okfn.org/2012/03/27/introducing-the-datastore/
52 / 64

53. Linked Data
● Usar a Web para ligar dados relacionados
● Expor dados na web
● Compartilhar esses dados
● Conectar pedaços de dados, informações e
conhecimento
● Usando:
● URIs
● RDF – Resource Description Framework
53 / 64

54. Linked Data(2)
54 / 64

55. Linked Data (3)
● Princípios de Linked Data (note de Tim BL):
● usar URIs como nomes para as coisas;
● usar URIs do tipo HTTP, para que as pessoas
possam recuperar essas coisas;
● quando alguém recuperar uma URI, fornecer
informações úteis, usando os padrões;
● inclua links para outras URIs, para que as pessoas
possam descobrir mais coisas [relacionadas]
http://www.w3.org/DesignIssues/LinkedData.html
55 / 64

56. Desenho de URIs
● “Dar nome às coisas na Web”
● Nomear coisas concretas ou abstratas
● http://education.data.gov.uk/id/school/123065
● http://reference.data.gov.uk/def/central-government/PermanentSecretary
● Objetivos
● Nome único
● Ser persistente por muito tempo
● Ser pequeno e legível por humanos
● Incorporar identificadores já em uso
56 / 64

57. Desenho de URIs(2)
fonte:http://data.gov.uk/resources/uris
57 / 64

58. As 5 estrelas dos Dados Abertos
http://5stardata.info/
58 / 64

59. Divulgar e
promover a
Seleção dos Implementação utilização
dados da arquitetura
Definição dos Catalogação no
formatos dados.gov.br
59 / 64

60. Mais orientações?
●
Cartilha técnica de publicação de dados
http://dados.gov.br/cartilha-publicacao-dados-abertos/
● Guia gerencial de abertura de dados
https://www.consultas.governoeletronico.gov.br/ConsultasPublicas/download.do?aca
● Arquitetura técnica referencial
http://wiki.gtinda.ibge.gov.br/GetFile.aspx?File=%2fGT3-Tecnologia%2fArquitetura%
● Manual de dados abertos W3C
http://www.w3c.br/pub/Materiais/PublicacoesW3C/Manual_Dados_Abertos_WEB.pd
● Manual do desenvolvedor W3C
http://www.w3c.br/pub/Materiais/PublicacoesW3C/manual_dados_abertos_desenvo
● Cartilha do desenvolvedor W3C
http://www.w3c.br/pub/Materiais/PublicacoesW3C/encarte_manual_desenvolvedore
● Guia de dados abertos OKFN http://opendatahandbook.org/pt_BR/
● Wiki da INDA http://wiki.gtinda.ibge.gov.br/
60 / 64

61. Normas
● Instrução Normativa da INDA
http://dados.gov.br/instrucao-normativa-da-inda/
● Lei de Acesso à Informação – LAI 12.527/11
http://www.cgu.gov.br/acessoainformacoes/
61 / 64

62. Plano de Ação da INDA
● Auxiliar as organizações integrantes
da INDA a cumprir a Lei de Acesso
à Informação
● Nortear os órgãos quanto à visão,
estratégia e política da abertura de
dados na APF
● Servir como base para criação de
planos institucionais de abertura
de dados
62 / 64

63. Consultores do SISP
63 / 64

64. contato@dados.gov.br
@dadosgovbr