Extraindo dados
públicos na marra
   com Python


            PythonBrasil[6]
    Curitiba, PR - Outubro de 2010
Aviso:

Não é uma palestra
    técnica :(
comunidade Python
          +
   hacks com dados
       públicos
          =
o futuro do jornalismo
@pedrovalente
jornalista
desenvolvedor
Python desde 2008
Yahoo!
desenvolvimento de
     software
         +
    jornalismo
na raça
Matt Waite
"Build something or STFU"
       Matt Waite - Politifact
Python na vanguarda
Lawrence
Journal-World
Holovaty
Everyblock:

plataforma para
  consumo de
dados públicos
dados públicos
Você já precisou deles
e provavelmente
foi mal atendido
Horários de voos
    Infraero
Preço de combustível
       ANP
Candidatos e votações
        TSE
Achar uma agência dos
      Correios
CEPs do Brasil são
vendidos num CD!!!!!
CEPs do Brasil são
vendidos num CD!!!!!
a administração pública
      precisa ser
     transparente
pouca grana

 pepinos gigantes

precisa foco no que
 ninguém mais tem
por isso
precisa abrir os dados
não deve depender de
lei. É obrigação moral
wiki.thackdaydf.com.br
Se o fornecedor não
colabora, fazemos justiça com
      as próprias mãos
e aí entra o scraping,
     por exemplo
Tem muitas maneiras
  de se fazer isso.

   BeautifulSoup
      Scrapy
      urllib :)
pode ser um bom tema
  pros open spaces
tem cada vez mais
gente atacando os
   problemas
Transparência Hackday
 groups.google.com/group/thackday

        thackdaydf.com.br


  Random Hacks of
     Kindness
          www.rhok.org
     Próximo é em dezembro!
Pra quem nunca viu:

um hack com dados
 públicos feito em
      Python
cruzalinhas.appspot.com
cruzalinhas.appspot.com




                 lightning talk? #fikdik
http://github.com/guilhermechapiewski/correios-api-py
Yahoo! Open Hackday
vários hacks legais
surgiram usando dados
       públicos
http://github.com/legisdados
http://meusgastos.com.br/meuspostos/
http://f1results.socialminds.com.br/
http://eleicoes.mamulti.com/
http://cmsp.topical.com.br/
sacsp.mamulti.com
visibilidade e
repercussão
é desenvolvimento ou é
      jornalismo?
Descobrir e comunicar
informação de interesse
 público é o trabalho do
        jornalista
Não importa o suporte
     tecnológico
Uma folha de papel é
um suporte tecnológico
assim como
 um computador
conectado em rede
vs.
hmmm...
isso significa que todo
 desenvolvedor pode
   fazer jornalismo
parece óbvio, mas
muitos ignoram essa
     diferença
Alguns jornais já
perceberam isso
The Guardian
Simon Willison
The Guardian
http://mps-expenses.guardian.co.uk/
www.guardian.co.uk/open-platform/




   www.guardian.co.uk/data-store
NYTimes



developer.nytimes.com
Nos EUA a
comunidade cresce
  rapidamente
valeu Obama!
http://help.hackshackers.com/
Mas e aqui?
ainda temos iniciativas
 isoladas, que podem
    crescer com a
     colaboração
mas podemos pensar
     mais além
oportunidade
empresas de mídia
 não entendem
  de tecnologia
e a *renascença* do
jornalismo passa pelo
 desenvolvimento de
       software
aplicações que
coletam, distribuem e
  visualizam dados
podem ser jornalismo
grandes empresas estão
  acordando para isso
pequenas iniciativas
podem sair na frente
e vocês estão numa
 posição única para
serem a vanguarda
 deste movimento
Obrigado!

 @pedrovalente

Extraindo dados públicos na marra com Python