O documento discute a importância dos dados abertos para a democracia e como o Brasil.IO trabalha para libertar e tornar acessíveis dados públicos brasileiros. Ele também fornece exemplos de projetos que usam dados abertos e ensina como extrair e converter dados em formatos abertos usando ferramentas de código aberto como Python.

1. Brasil.IO: DadosBrasil.IO: Dados
Abertos paraAbertos para
Mais DemocraciaMais Democracia
Álvaro JustenÁlvaro Justen
Canal Glaucia LemosCanal Glaucia Lemos
01 de abril de 201901 de abril de 2019

2. $ whoami$ whoami
TuricasTuricas, prazer! =), prazer! =)
Sigam-me os bons:Sigam-me os bons:
{{ ,,
,,
,,
,,
}}
//turicasturicas
twittertwitter
githubgithub
youtubeyoutube
slideshareslideshare
instagraminstagram
turicas@brasil.ioturicas@brasil.io

3. pythonic.cafepythonic.cafe
youtube.com/c/PythonicCafeyoutube.com/c/PythonicCafe

4. Brasil.IOBrasil.IO
O Brasil em dados libertos

5. Trabalhos feitos com DadosTrabalhos feitos com Dados
AbertosAbertos

6. (em conjunto com Juan Torres)
correio24horas.com.br

7. Acesse a matéria

8. (em conjunto com Adriano Belisário)
apublica.org

9. Acesse a matéria

10. (em conjunto com Adriano Belisário)
theintercept.com/brasil

11. Acesse a matéria

12. Acesse a matéria

13. (em conjunto com Natália Mazotte)
generonumero.media

14. Veja a Edição "Mulheres na Política"

15. Veja a Edição "Mulheres na Política II"

16. Veja a Edição "Espaço Público"

17. Rua: substantivo (ainda)Rua: substantivo (ainda)
masculinomasculino
youtu.be/7yQ8U2tFFq4

18. Aplicações ÚteisAplicações Úteis
eleicoes.poder360.com.br

19. Inovação CívicaInovação Cívica
Exemplo: Operação Serenata de AmorExemplo: Operação Serenata de Amor
serenata.ai

20. R$ 155 em um restaurante que custa R$ 70/kg, deputado?
Rosie, a robôRosie, a robô

21. R$ 191 em um restaurante cujos pratos não custam R$ 40,
deputado?
Rosie, a robô (2)Rosie, a robô (2)
twitter.com/tOa_D/status/1058495655184871425

22. --
Controle SocialControle Social
“ De acordo com o governo brasileiro, o
controle social é a participação da
sociedade civil nos processos de
planejamento, acompanhamento,
monitoramento e avaliação das ações
da gestão pública e na execução das
políticas e programas públicos. ”
Wikipedia

23. --
“ [A CGU] acredita que a transparência é
o melhor antídoto contra corrupção,
dado que ela é mais um mecanismo
indutor de que os gestores públicos ajam
com responsabilidade.
Uma gestão pública transparente
permite à sociedade, com informações,
colaborar no controle das ações de seus
governantes, com intuito de checar se os
recursos públicos estão sendo usados
como deveriam. ”
CGU.gov.br

24. -- (definição de )
Dados AbertosDados Abertos
“ Dados abertos são dados que podem
ser livremente usados, reutilizados e
redistribuídos por qualquer pessoa -
sujeitos, no máximo, à exigência de
atribuição da fonte e
compartilhamento pelas mesmas
regras. ”
OpenData Handbook Open Definition
Mais detalhes:
Lei de Acesso à Informação: 12.527/2011
kit.dados.gov.br
escoladedados.org

25. --
creativecommons.org
“ Copyright laws are turning kids into
criminals. Totally failed war. ”
Lawrence Lessig

26. Data PipelineData Pipeline
schoolofdata.org/methodology

27. Nem sempre o dado está disponívelNem sempre o dado está disponível
twitter.com/turicas/status/1094069287206248450

28. Às vezes apagam os dados...Às vezes apagam os dados...
twitter.com/turicas/status/1112491956314259457

29. Nem sempre o dado é abertoNem sempre o dado é aberto
twitter.com/turicas/status/1091767340134514690

30. Nem sempre o dado é grátis (???)Nem sempre o dado é grátis (???)
twitter.com/turicas/status/1019272233095745537

31. Mas quando está...Mas quando está...
A Qualidade dos Dados é Ruim!A Qualidade dos Dados é Ruim!
5stardata.info

32. Maior parte do tempo dos projetos deMaior parte do tempo dos projetos de
análise de dados:análise de dados:

33. Maior parte do tempo dos projetos deMaior parte do tempo dos projetos de
análise de dados:análise de dados:
(em GIFs)(em GIFs)

34. Acessibilidade: ProblemasAcessibilidade: Problemas
Formato (qualidade técnica)
Exemplo: Boletim de balneabilidade em PDF (INEMA/BA)
Dispersão
Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE)
Quantidade de dados
Exemplo: 18 milhões de sócios (RFB)
Domínio da área
Exemplo: o que é unidade eleitoral? (TSE)

35. --
“ Democracia é um regime político em
que todos os cidadãos elegíveis
participam igualmente — diretamente
ou através de representantes eleitos —
na proposta, no desenvolvimento e na
criação de leis, [...]
Ela abrange as condições sociais,
econômicas e culturais que permitem o
exercício livre e igual da
autodeterminação política. ”
Wikipedia

36. Libertando DadosLibertando Dados

37. Libertação de Dados: Exemplo (1)Libertação de Dados: Exemplo (1)
Dados do Conselho Nacional de Justiça (centenas de planilhas)Dados do Conselho Nacional de Justiça (centenas de planilhas)
twitter.com/turicas/status/943176715672711168

38. Libertação de Dados: Exemplo (2)Libertação de Dados: Exemplo (2)
Dados da Receita Federal (formato proprietário)Dados da Receita Federal (formato proprietário)
twitter.com/turicas/status/959120200976224262

39. Libertação de Dados: Exemplo (3)Libertação de Dados: Exemplo (3)
Dados do PROUNI (site sai do ar)Dados do PROUNI (site sai do ar)
twitter.com/turicas/status/960678777096425472

40. Libertação de Dados: Exemplo (4)Libertação de Dados: Exemplo (4)
Site não governamentalSite não governamental
twitter.com/turicas/status/1109148357451304960

41. Libertação de Dados: Exemplo (5)Libertação de Dados: Exemplo (5)
Captura de dados manualCaptura de dados manual
turicas.info/feiras-organicas-curitiba
Acessse a planilha

42. Como?Como?
, ,
,
Python
scrapy urllib requests
rows
lxml BeautifulSoup
sqlite3

43. PythonPython
Fácil de aprender
Ecossistema incrível
Comunidade inclusive
MUITO código e material disponível
Alta produtividade
python.org

44. Python: Linguagem de ProgramaçãoPython: Linguagem de Programação
Acesse a matéria

45. xkcd.com/353

46. rows convert arquivo.pdf arquivo.csvrows convert arquivo.pdf arquivo.csv

47. Código ao vivoCódigo ao vivo
IPython + rows.import_from_csv
rows convert (HTML para CSV, Olimpíadas)
rows query (SQL em PDF, Balneabilidade Bahia)
rows csv2sqlite (Salários magistrados)
rows pgimport (Bens declarados)

48. Software livreSoftware livre
Código compartilhado, feito de forma colaborativaCódigo compartilhado, feito de forma colaborativa
github/turicas/rows

49. Brasil.IOBrasil.IO
O Brasil em dados libertos
DemonstraçãoDemonstração
Dataset salarios-magistrados
Dataset eleicoes-brasil
Dossiê Odebrecht

50. Acessbilidade: 4/4Acessbilidade: 4/4
[x] Formato
[x] Dispersão
[x] Quantidade de dados
[x] Domínio da área

51. --
“ Restringir acesso a dados públicos é
elitizar a democracia. ”
Manifesto Brasil.IO

52. Brasil.IOBrasil.IO
Como Colaborar?Como Colaborar?
Postando no blog:
Lançado HOJE!
Código da plataforma:
Scripts: melhorando os atuais e criando novos
Sugerindo novos datasets:
Compartilhando ideias:
Doando:
blog.brasil.io
github.com/turicas/brasil.io/issues
brasil.io/datasets/sugira
chat.brasil.io
apoia.se/brasilio

53. Próximo em Curitiba: final de abril.
Convite: Cerveja com DadosConvite: Cerveja com Dados
meetup.com/Cerveja-com-Dados

54. 23 a 28 de outubro de 2019
Ribeirão Preto/SP
2019.pythonbrasil.org.br

55. ??
{{ ,,
,,
,,
,,
}}
//turicasturicas
twittertwitter
githubgithub
youtubeyoutube
slideshareslideshare
instagraminstagram
turicas@brasil.ioturicas@brasil.io