Talk apresentada no Agile Trends Pocket - Belém 2016 (29/out). Nesta palestra vamos apresentamos e discutimos: o que são dados abertos, por que abrir e usar dados públicos, como criar aplicativos reutilizando dados de governo, exemplos de casos reais no ecossistema digital de dados abertos.

1. Oportunidades e
Desafios em
Aplicativos de
Dados Abertos
(open data)
Claudio Martins
BELÉM 2016

2. Sobre o palestrante : Claudio Martins
2
• Mestre em Computação (UFRGS/2003)
• Especialista em Análise e Projeto de Sistemas (UFPA/1998)
• Graduado em Tecnologia de PD (UFPA/1989)
• Doutorando no PPGEE/Computação Aplicadas (UFPA)
• Professor do Instituto Federal do Pará (IFPA)
• Analista de Sistemas da Cinbesa (www.cinbesa.com.br).
• Há mais de vinte anos atuando nas áreas de Engenharia de
Software e Sistemas de Informação.
Lattes: http://lattes.cnpq.br/7014997829591968
LinkedIn: http://br.linkedin.com/in/claudiomartins2010
Facebook: https://www.facebook.com/claudiomartins2000
Blog: http://claudiomartins-prof.blogspot.com.br/
Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

3. Agenda
• Nesta conversa, vamos apresentar e discutir
– o que são dados abertos,
– por que abrir e usar dados públicos,
– como criar aplicativos reutilizando dados de governo,
– exemplos de casos reais no ecossistema digital de
dados abertos.
3Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

4. O que são dados abertos?
• São dados acessíveis ao público, representados
em meio digital, estruturados em formato
aberto, processáveis por máquina,
referenciados na internet e disponibilizados
sob licença aberta que permita sua livre
utilização, consumo ou cruzamento, limitando-
se a creditar a autoria ou a fonte.
– Decreto Nº 8.777, DE 11 DE MAIO DE 2016 (Institui a
Política de Dados Abertos do Poder Executivo Federal)
• São dados que devem estar disponíveis para
que todos usem e publiquem, sem restrições
de direitos autorais e patentes ou outros
mecanismos de controle.
– http://pt.wikipedia.org/wiki/Open_data 4Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

5. O que são dados abertos?
5
Disponibilidade
e Acesso
Reuso e
redistribuição
Participação
Universal
Dados
Abertos
Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

6. Dados Abertos Governamentais
6Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

7. Ecossistema de Dados Abertos
7
Dados
Abertos
Dados
Tecnologia
Regras &
Padrões
Stakeholders
Recursos
Usuários
Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

8. ValorEmpoderamento
Por que abrir? Quais os benefícios?
8Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

9. 9
E.U.A. (https://www.data.gov/)
+190.000 conjuntos de dados
ÍNDIA (https://data.gov.in/)
+3.900 conjuntos de dados
BRASIL (http://dados.gov.br)
+1.150 conjuntos de dados
UNIÃO EUROPÉIA (http://www.europeandataportal.eu )
+630.000 conjuntos de dados
REINO UNIDO (https://data.gov.uk/ )
+40.000 conjuntos de dados
JAPÃO (http://www.data.go.jp/)
+17.000 conjuntos de dados
Oferta de Dados Governamentais (2016)
Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

10. Dados Abertos Governamentais no Mundo (2015)
http://opendatabarometer.org/data-explorer/?_year=2015&indicator=ODB&lang=en 10Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

11. Esquema 5-Estrelas de Berners-Lee (2010)
BERNERS-LEE, T. Open, Linked Data for a Global Community. Gov 2.0 Expo. Washington. 2010. (http://5stardata.info/pt-BR/)
11Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

12. Realidade (baixa qualidade dos dados)
• Dados em formatos não processáveis por máquina (PDF, imagens...)
• +3/-4 Star: CSV, Excel, Txt delimitado, JSON, XML, shapes, etc.
• Metadados ausentes ou precários
Formatos do European Data Portal (2016)
0
100
200
300
400
500
600
700
800
900
1000
Formatos no portal dados.gov.br
(2016)
12Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

13. Formato CSV (texto delimitado)
13
•Simplicidade para representar dados em forma de registros (estrutura
tabular)
•Facilidade de geração (qualquer banco de dados exporta)
•Facilidade de consumo (qualquer editor de planilhas manipula)
•Eficiente no tamanho (arquivos CSV são menores que XML, JSON)
Mas,
•Falta padronização do formato
•Não suporta tipos de dados
sofisticados para os valores
•Dificuldade em representar
ligações entre os dados
Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

14. Onde estão e como obter dados abertos?
• As abordagens de publicação de dados abertos
governamentais utilizam:
– Acesso a dados gerados dinamicamente (sites de
consulta a dados, Portais de transparência)
– FTP e download de arquivos (CSV, Excel)
– Catálogos de Dados Abertos (usando ferramentas de
gerenciamento de conteúdo, ex: CKAN)
– APIs e acesso via serviços web (REST/SOAP)
– Pior caso: PDF e conteúdo embutido em HTML!
14Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

15. Ex. de dados dinâmicos: Sidra (IBGE)
http://www.ibge.gov.br/
15Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

16. Ex. dados dinâmicos:
http://www.portaldatransparencia.gov.br/
16Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

17. Ex. Download: INEP ( http://portal.inep.gov.br/ )
http://portal.inep.gov.br/basica-levantamentos-acessar
17Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

18. Ex. Download (CSV):
http://portal.convenios.gov.br/download-de-dados
18Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

19. Ex. Download (CSV): Repositório de dados eleitorais (TSE)
http://www.tse.jus.br/eleicoes/estatisticas/repositorio-de-dados-eleitorais
19Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

20. Ex. de Catálogos de Dados Abertos:
http://dados.gov.br
http://dados.gov.br : 1158 conjuntos de dados com 8756 recursos
20Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

21. Ex de API: http://compras.dados.gov.br
21Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

22. Exemplos de aplicações de dados abertos
• As aplicações que utilizam dados abertos são
instrumentos fundamentais para melhorar a leitura
dos dados e criar novas formas de visualização e
geração de valor no processo de compartilhamento
das informações.
• A maioria das apps segue o modelo de “Mashup”
– Mashup é uma página ou um serviço web que combina
dados ou código de duas ou mais fontes.
– Um mashup pode ser uma visualização, um infográfico, um
serviço em uma página ou um aplicativo para celular.
22Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

23. Basômetro: http://estadaodados.com/basometro/
23
O Basômetro mede o apoio dos parlamentares ao governo e acompanha como eles se
posicionaram nas votações legislativas. Os votos dos parlamentares foram obtidos nos sites
da Câmara dos Deputados e do Senado.
Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

24. Siga seu vereador
Siga seu vereador (http://www.vereadores.org/ )
O site acompanha ações realizadas pelos atuais vereadores e candidatos.
App foi campeão da Maratona de Programação Hackaton da Câmara municipal de São Paulo.
Fonte de dados: Dados eleitorais do TSE e Votações da Câmara de São Paulo
24Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

25. Para onde foi o meu dinheiro
URL: http://www.paraondefoiomeudinheiro.com.br/
Dados utilizados: Despesas diretas do Executivo Federal (dados.gov.br)
E dados disponibilizados por diversos governos sobre a execução orçamentária 25Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

26. Reclamações PROCON
URL: http://www.reclamacoesprocon.com.br/
Dados utilizados: Cadastro Nacional de Reclamações Fundamentadas (PROCONS)
26Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

27. Ocorrências nas rodovias federais
27
http://analyticsmj.github.io/prf/
2º lugar no 2o Concurso de Aplicativos para Dados Abertos do Ministério da Justiça
utilizando dados abertos da Polícia Rodoviária Federal através do Portal dados.gov.br.
Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

28. Mapa de ônibus de Fortaleza
28
http://tdurand.github.io/mapafortaleza/
Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

29. http://www.precodoscombustiveis.com.br
29
Preço dos Combustíveis permite consultar preços praticado pelos postos no Brasil.
O sistema é atualizado semanalmente utilizando dados da Agência Nacional do Petróleo,
Gás Natural e Biocombustíveis (ANP).
Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

30. App A-level schools (UK)
30Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

31. http://www.escolaquequeremos.org/
31
O site Escola Que Queremos é um “piloto” sobre dados do Censo Escolar e da Prova
Brasil, 2011, para escolas públicas do ensino fundamental.
Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

32. http://mobilab.prefeitura.sp.gov.br/dadosabertos/
32Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

33. http://datapoa.com.br/apps
33Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

34. http://dados.recife.pe.gov.br/apps
34Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

35. http://opendataimpactmap.org/map.html
35Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

36. Considerações finais e Desafios
• Apesar dos avanços, há muitas barreiras a superar:
– Adesão (baixa) dos órgãos dos governos federal e locais
(estadual/municipal) ao movimento de dados abertos
– Baixa qualidade dos dados (em formatos, metadados e conteúdo)
– Nível de granularidade (detalhamento) alto (dados agregados
prejudicam a análise e cruzamento)
– Superar a cultura do sigilo
– Dados desatualizados
– Sustentabilidade dos projetos e aplicativos cívicos
• O ecossistema de dados abertos está apenas iniciando.
• Há oportunidades em projetos de tecnologias cívicas e
criação de valor social/comercial no uso dos dados abertos.
• Aproveitem! 36Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

37. Obrigado pela atenção!
37
http://claudiomartins-prof.blogspot.com.br/
Obtenha esta apresentação aqui
Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)

38. Referências
• Manual dos dados abertos : desenvolvedores. 2011.
(http://www.w3c.br/pub/Materiais/PublicacoesW3C/manual_da
dos_abertos_desenvolvedores_web.pdf)
• Cartilha Técnica para Publicação de Dados Abertos no Brasil
v1.0. SLTI/Ministério do Planejamento. 2011. Em
http://dados.gov.br/cartilha-publicacao-dados-abertos/
• Dados públicos – Blog sobre dados abertos. 2016. Em:
http://www.dadosaleatorios.com.br/2015/05/dados-
publicos.html
38Claudio Martins - Oportunidades e Desafios em Aplicativos de Dados Abertos (2016)