Baixado 190 vezes
![<?php
include('csvtoservice.php');
$content = csvtoservice('http://winterolympicsmedals.com/medals.csv');
if($content){
if($content['form']){
echo '<h4>Filters</h4>';
echo $content['form'];
}
if($content['table']){
echo '<h4>Results</h4>';
echo $content['table'];
}
}
?>](https://image.slidesharecdn.com/dadospublicoshackday-100320163655-phpapp01/85/Extraindo-dados-publicos-na-marra-76-320.jpg)
Carregado porPedro Valente
Extraindo dados públicos “na marra”
O documento discute a importância da disponibilização e reutilização de dados públicos. Defende que dados gerados e coletados pelo governo deveriam estar disponíveis para uso da sociedade civil para fins como jornalismo, desenvolvimento de aplicativos e promoção da transparência. Também discute os desafios de extrair dados quando as instituições públicas não os disponibilizam abertamente.
![PHP Experience 2016 - [Workshop] APIs bem desenhadas como base para integrações](https://cdn.slidesharecdn.com/ss_thumbnails/09h00josevahl-160331182010-thumbnail.jpg?width=640&height=640&fit=bounds)
Extraindo dados públicos “na marra”
- 1. Extraindo dados públicos “na marra” Pedro Valente @pedrovalente
- 2. Por quê? É umdever do cidadão fiscalizar o poder
- 3. Por quê? Tem um monte de picaretas se aproveitando do seu dinheiro
- 4. Por quê? São dadosque por lei ou por bom senso deveriam estar disponíveis
- 5. Por quê? Não adiantatentar esconder, a gente dá um jeito
- 6.
- 7.
- 8. Dados de interesse público
- 9. Interesse público Jornalismo
- 10. Jornalismo + Desenvolvimento de software
- 11. http://www.flickr.com/photos/tracy_collins/2237061185/ Transparência
- 12.
- 13. Está na moda eganha Pulitzer
- 14. Está na moda eganha Pulitzer http://politifact.org
- 15. Está na moda eganha Pulitzer http://politifact.org
- 16. "Build something orSTFU" Matt Waite - Politifact
- 17.
- 18. Como transformar esse mundo de dados em algo relevante?
- 19.
- 20. Crie aplicações interativas emcima deles
- 21. Aplicação Crieaplicações interativas em cima deles
- 22. Aplicação Crieaplicações interativas em cima deles Dados
- 23. Processador Aplicação Fornecedor Dados
- 24. Processador Aplicação API Fornecedor Dados
- 25.
- 26. Cada fornecedor armazena deum jeito A API serve para padronizar a saída
- 27. API é obalcão da padaria Você pede 300 gramas de mortadela e a atendente te entrega. Leva também 4 pãezinhos. Te vira. Quem faz o sanduíche é você.
- 28.
- 29. 1. Fornecedor Dados brutos Grandesvolumes Exclusividade
- 30.
- 31.
- 32. Dados da CET Kmde congestionamento Pontos de alagamento Ocorrências de trânsito Estrutura de monitoramento exclusiva Além de monitorar, também precisa RESOLVER o trânsito!
- 33. E aí investemem...
- 34.
- 36.
- 37. Pouca grana Pepinosgigantes Precisa foco no que ninguém mais tem
- 38. 2. Processador Recombina, reordena,filtra e segmenta Identifica padrões e revela tendências Expõe os resultados
- 39.
- 40.
- 41. NYTimes Text http://prototype.nytimes.com/represent/
- 42. EveryBlock.com Dados de fornecedoresdiversos Micro-relevância É jornalismo? É software? "Who cares?"
- 43. Batia de portaem porta implorando por XML
- 44. Fornecedor Processador
- 45. Fornecedor Processador Aplicação
- 46. Fornecedor Processador Aplicação Dados
- 47. Fornecedor Processador Aplicação Dados API
- 48. Fornecedor Processador Ei, 300 gramas de mortadela, por favor Aplicação Dados API
- 49. Fornecedor Processador Ei, 300 gramas de mortadela, por favor Aplicação Dados API Aqui está, senhor, tenha um bom dia
- 50. Fornecedor Processador
- 51. Fornecedor Processador Aplicação
- 52. Fornecedor Processador Aplicação Aplicação
- 53. Fornecedor Processador Aplicação API Aplicação
- 54. Fornecedor Processador Ei, um sanduíche de mortadela, por Aplicação API favor Aplicação
- 55. Fornecedor Processador Ei, um sanduíche de mortadela, por Aplicação API favor Aplicação Aqui está, senhor, tenha um bom dia
- 56.
- 57.
- 58. Congressional Data NYT APIs The Congress API returns the following types of data: • Roll-call vote data: Only roll-call votes (not voice votes or division votes) are tracked by official Congressional data sources. Along with basic vote data, the Times API returns additional information that is less readily available, such as party totals. For details, see Responses. For general information about roll-call votes, see the THOMAS site. • Member data: Along with general biographical information for current and past members of Congress, the API returns data about members' Congressional roles. Role data includes the Congress number and chamber, as well as the member's title, state and party. A single member may have more than one role in a particular Congress (for example, the member may switch parties or move from the House to the Senate). For details, see Responses. Data Sources The data returned by the Congress API is compiled from the following sources: • The official Web site of the Office of the Clerk of the U.S. House of Representatives, for vote data • The official Web site of the United States Senate, for vote data • The Biographical Directory of the United States Congress, for member biographical information • GovTrack.us, for member biographical information • MIT Professor Charles Stewart's collection of Congressional data, for role information • THOMAS (The Library of Congress), for bill data • The C-SPAN Congressional Chronicle, for floor appearances Certain fields in the API responses (such as party totals) are calculated by The Times, based on these data sources. For details, see Responses. http://developer.nytimes.com/docs/congress_api
- 59.
- 60.
- 61.
- 63.
- 64. Se o fornecedornão colabora, fazemos justiça com as próprias mãos
- 65. Se o fornecedornão colabora, fazemos justiça com as próprias mãos
- 66. Scraping = raspagem Pegarna marra o que não é liberado por API Robozinhos, crawlers e dumps Mudança de mentalidade
- 67. Uma ajudinha:YQL • Idiomacomum para conversar com diversas APIs ou fazer scraping • Aberto para qualquer um se tornar fornecedor ou processador de dados • Tem um console muito divertido • http://developer.yahoo.com/yql/console
- 68.
- 69. 2 desafios Datasets & Consultas online
- 70.
- 71. Massas de dados guardadasem algum banco
- 72.
- 73.
- 74. YQL + CSV YQL+ XML
- 75.
- 76. <?php include('csvtoservice.php'); $content = csvtoservice('http://winterolympicsmedals.com/medals.csv'); if($content){ if($content['form']){ echo '<h4>Filters</h4>'; echo $content['form']; } if($content['table']){ echo '<h4>Results</h4>'; echo $content['table']; } } ?>
- 77.
- 78.
- 79.
- 80.
- 81.
- 82.
- 83.
- 84. Infraero poderia ser assim: www.infraero.gov.br/voos/status/03101
- 85. Infraero poderia ser assim: www.infraero.gov.br/voos/status/03101 <status> confirmado </status>
- 86. Mas veja oque esses filhas da mãe fazem pra nos impedir de usar os dados deles
- 87. http://www.infraero.gov.br/voos/detalhe_voo.aspx?5/Xrn1SlFmeTrR/PL3/MpnK8sgrVY9Ms +9o4x3M9qjM7ysJ8yazx5wXPsRzdou +5fzqPSZPiXOSpCOxycPzRH6PIN4I4buChasAEzkA4yV8kHAGUAnVR/ KczuGvooOuczvdlALYzVh3lcyKh+M3QrsBJBmxehWlokYlZbByajEtfYOOFlC8vGsv0I9JVs +4MD3i1hIP1FXRc0+EyJhJBL2qiFEy6/fDinPR/mqw675W/ cnhwPjcHtQEvr4NpsYdsP0f8JE0VbKeVci8KGgQ4TZJq1DE3SEjUk7lySiMtlWrZwj+pcazY +95lEvSJOwqXbb5FLXNbv0CnrSZ/9CxURzI84m3tI1929Te6IEuJPcE=
- 88. Empresa estatal. Serviçopúblico. Dados de interesse público. Sem problemas de privacidade. HACKING LIBERADO!!!
- 90.
- 91.
- 92. YQL + HTML YQL Open Tables http://datatables.org
- 93.
- 94.
- 95.