Emerge no cenário internacional uma nova tendência em favor do intercâmbio extremo de informações. Sob a luz do open mind principle, instituições públicas e privadas de todo o mundo engrossam o coro em busca de novos significados de dados existentes. Governos de todo mundo, influenciados pela onda da Web 2.0, fomentam progressivamente a construção de mashups a partir de suas bases. Batizado de Open Data, este movimento chegou ao Brasil e tem ganhado força na esfera pública. Como desenvolvedores de software, toda esta onda nos trás um sem número de oportunidades, econômicas, políticas e sociais. Por um lado, usando de nosso know how técnico, temos a chance de criar soluções que agregem transparência às ações políticas, aproximem a sociedade da gestão pública e viabilizem o exercício de uma verdadeira cidadania digital. Por outro lado, trata-se de um amplo leque de novas oportunidades de negócio que se apresenta. Nesta palestra, falaremos um pouco da filosofia OpenData e OpenGovData, apresentaremos iniciativas da comunidade hacker, discutiremos as propostas do governo e analisaremos algumas técnicas e tecnologias que temperam o caminho da abertura de dados, do scraping à semantic web.
4. al
ão soci
i b ui ç
contr
huma
n en
Saturday, May 28, 2011
5. open data
oportunidade de fazer algo
socialmente relevante
Saturday, May 28, 2011
6. In Web development, a
mashup
is a Web page or application
that uses and combines
data, presentation or functionality
from two or more sources
to create new services
http://en.wikipedia.org/wiki/Mashup_(web_application_hybrid)
Saturday, May 28, 2011
7. mashup = site 1 + site 2 + site 3
http://www.flickr.com/photos/malevagotica/3626951756/
Saturday, May 28, 2011
13. The Open Mind Principle
“ O melhor uso que
poderá ser feito com
seus dados certamente
será feito por outros e
não por você.
@ricardopoppi
Saturday, May 28, 2011
15. “ A piece of content or data
is open if anyone is
free to use, reuse,
and redistribute it
— subject only, at most,
to the requirement to
attribute and share-alike.
http://www.opendefinition.org/
Saturday, May 28, 2011
16. “ It’s crucial because
open data is so much
easier to break-up
and recombine, to use
and reuse.
http://www.opendatacommons.org/
Saturday, May 28, 2011
17. #opengovdata dados abertos governamentais
Saturday, May 28, 2011
18. “ Open Government Data
is public government records
that is shared
with the public digitally,
over the Internet,
in a way that promotes
analysis and reuse.
http://www.opengovdata.org/
Saturday, May 28, 2011
19. 8 Principles of Open Government Data
1. Data Must Be Complete
2. Data Must Be Primary
3. Data Must Be Timely
4. Data Must Be Accessible
5. Data Must Be Machine processable
6. Access Must Be Non-Discriminatory
7. Data Formats Must Be Non-Proprietary
8. Data Must Be License-free
http://www.opengovdata.org/
Saturday, May 28, 2011
24. <rdf:Description rdf:about="#entry1">
<total_it_spending_fy2010_enacted>
8.367
</total_it_spending_fy2010_enacted>
<description>
The National Source Tracking System will support
implementation of a forthcoming rule for licensee reporting on
sealed sources containing nuclear materials by providing
online tracking of individual sealed sources throughout their
entire life cycle.</description>
<title>National Source Tracking System (NSTS)</title>
<bureau_name>NRC - Agency-wide</bureau_name>
<agency_name>Nuclear Regulatory Commission</agency_name>
<unique_project_identifier>
429-00-01-04-01-1010-00
</unique_project_identifier>
<rdf:type rdf:resource="http://data-gov.tw.rpi.edu/2009/
data-gov-twc.rdf#DataEntry"/>
</rdf:Description>
Saturday, May 28, 2011
35. “ SOBRE A THACKER
A comunidade Transparência Hacker é
um espaço para que desenvolvedores
web, jornalistas, designers, gestores
públicos e outros indivíduos dos mais
diferentes perfis proponham e articulem
ideias e projetos que utilizem a
tecnologia para fins de
interesse da sociedade.
Saturday, May 28, 2011
52. “ disponibilização de cópias
atualizadas de suas bases de
dados públicas, em caráter
aberto e gratuito pela Internet,
busca estimular a criação de
novos serviços eletrônicos, a
promoção da transparência e a
melhoria de qualidade das
informações de interesse da
sociedade.
http://www.governoaberto.sp.gov.br
Saturday, May 28, 2011
63. Art. 37. A administração
pública direta e
indireta de qualquer dos
Poderes da União, dos
Estados, do Distrito
Federal e dos Municípios
obedecerá aos princípios
de legalidade,
impessoalidade,
moralidade, publicidade
e eficiência.
Saturday, May 28, 2011
64. LEI COMPLEMENTAR Nº 101, DE 4 DE MAIO DE 2000.
Estabelece normas de finanças públicas voltadas para a
responsabilidade na gestão fiscal e dá outras providências.
Art. 48. São instrumentos de transparência da gestão
fiscal, aos quais será dada ampla divulgação, inclusive
em meios eletrônicos de acesso público: os planos,
orçamentos e leis de diretrizes orçamentárias; as
prestações de contas e o respectivo parecer prévio; o
Relatório Resumido da Execução Orçamentária e o
Relatório de Gestão Fiscal; e as versões simplificadas
desses documentos.
http://www.planalto.gov.br/ccivil_03/Leis/LCP/Lcp101.htm
Saturday, May 28, 2011
66. PLC - PROJETO DE LEI DA CÂMARA, Nº 41 de 2010
(Lei de Acesso à Informação)
I – observância da publicidade como preceito geral
e o sigilo como exceção;
II – divulgação de informações de interesse
público, independentemente de solicitações;
III – utilização de meios de comunicação
viabilizados pela tecnologia da informação;
IV – fomento ao desenvolvimento da cultura de
transparência na administração pública;
V – desenvolvimento do controle social da
administração pública.
http://legis.senado.gov.br/mate-pdf/76710.pdf
Saturday, May 28, 2011
67. PLC - PROJETO DE LEI DA CÂMARA, Nº 41 de 2010
(Lei de Acesso à Informação)
Art. 6º Cabe aos órgãos e entidades do poder
público (...) assegurar a:
I - gestão transparente da informação, propiciando
amplo acesso a ela e sua divulgação;
II - proteção da informação, garantindo-se sua
disponibilidade, autenticidade e integridade;
http://legis.senado.gov.br/mate-pdf/76710.pdf
Saturday, May 28, 2011
68. PLC - PROJETO DE LEI DA CÂMARA, Nº 41 de 2010
(Lei de Acesso à Informação)
Art. 7º O acesso à informação de que trata esta Lei
compreende, entre outros, os direitos de obter:
(...)
IV - informação primária, íntegra, autêntica e
atualizada;
http://legis.senado.gov.br/mate-pdf/76710.pdf
Saturday, May 28, 2011
82. “ A web é um lugar onde os
computadores são responsáveis
pela apresentação (fácil)
e as pessoas fazem a
interpretação (difícil)
http://wiki.thackdaydf.com.br/index.php/Web_Semantica
Saturday, May 28, 2011
108. “ A Web Semântica é uma
extensão da web atual na
qual é dado a informação um
significado bem definido,
permitindo com que
computadores e pessoas
trabalhem em cooperação.
Berners-Lee, Hendler e Lassila
Saturday, May 28, 2011
139. Nokogiri
An HTML, XML, SAX, & Reader parser with
the ability to search documents via XPath or
CSS3 selectors… and much more
http://nokogiri.org/
Saturday, May 28, 2011
141. A swift, liberal
HTML parser with a
fantastic library
http://hpricot.com/
Saturday, May 28, 2011
142. Beautiful Soup is a Python HTML/XML
parser designed for quick turnaround
projects like screen-scraping.
http://www.crummy.com/software/BeautifulSoup/
Saturday, May 28, 2011
163. What is YQL?
The Yahoo! Query Language is an
expressive SQL-like language that
lets you query, filter, and join data
across Web services.
Saturday, May 28, 2011
186. Primeiros resultados definitivos do Censo 2010:
população do Brasil é de 190.755.799 pessoas
O Brasil tem 190.755.799 habitantes. É o que
constata a Sinopse do Censo Demográfico 2010, que
contém os primeiros resultados definitivos do XII
Recenseamento Geral do Brasil... 29/04/2011
http://www.ibge.gov.br
Saturday, May 28, 2011
191. Qual a relação entre os índices de
alfabetização e a proporção feminina?
Saturday, May 28, 2011
192. Exemplo
mulheres da região 7.859.539
= = 0.49
total de pessoas da região 7.859.539 + 8.004.915
alfabetizados* da região 11.326.492
= = 0.89
total de pessoas* da região 12.670.041
* acima de 10 anos de idade
Saturday, May 28, 2011
199. $ rspec spec/ibge_censo2010_spec.rb:8
Run filtered using {:line_number=>8}
IBGECenso2010
should open page with "Razão de sexo,
população de homens e mulheres"
Finished in 44.4 seconds
1 example, 0 failures
$
Saturday, May 28, 2011
210. 1º dado de que
precisamos.
(numerador da fórmula)
[ 0 1 2
3 4 5
6 7 8
9 10 11
12 13 14
Saturday, May 28, 2011
15 16 17
211. 2º dado de que
precisamos.
(para o cálculo do
denominador da fórmula)
[ 0 1 2
3 4 5
6 7 8
9 10 11
12 13 14
Saturday, May 28, 2011
15 16 17
212. mulheres da região N dados[5]
=
total de pessoas da região N dados[4] + dados[5]
[ 0 1 2
3 4 5
6 7 8
9 10 11
12 13 14
Saturday, May 28, 2011
15 16 17
215. $ rspec spec
IBGECenso2010
razao de sexo
should open page with "Razão de sexo,
população de homens e mulheres"
should get number of women
Finished in 1.78 seconds
2 examples, 0 failures
Saturday, May 28, 2011
226. me do s
o c har na
ups e s tá
m ash ção
sualiza
vi
diferenciada
de dados
http://datavisualization.ch/tools/13-javascript-libraries-for-visualizations
Saturday, May 28, 2011
227. #5 Visualização
(ainda tosca) do
scrapping
Saturday, May 28, 2011