Oficina Técnica da INDA em Belém no Consegi

1.030 visualizações

Publicada em

Publicada em: Tecnologia
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
1.030
No SlideShare
0
A partir de incorporações
0
Número de incorporações
2
Ações
Compartilhamentos
0
Downloads
14
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Oficina Técnica da INDA em Belém no Consegi

  1. 1. Oficina Técnicada Infraestrutura Nacional de Dados Abertos – INDA CONSEGI 2012 Belém-PA Nitai Bezerra da Silva @dadosgovbr - @nitaibezerra
  2. 2. A oficina● Conceitos e tecnologias relacionadas ao ecossistema de dados abertos● Para técnicos e gestores de TI envolvidos na publicação de dados e informações, ou não :D● Nível intermediário (?) 2 / 53
  3. 3. Agenda● O que é a INDA ● Catalogando dados● Arquiteturas para publicação ● Outros portais com CKAN de dados ● Colheita de Metadados● Formatos de arquivos (Harvesting)● Caso: API do Siconv ● DataStore● Web, REST APIs, etc.. ● Linked Data● Aplicativos e Mashups ● Desenho de URIs● Arquitetura lógica da INDA ● As 5 estrelas dos Dados Abertos● Portal dados.gov.br● Metadados 3 / 53
  4. 4. Infraestrutura Nacional de Dados Abertos - INDACoordenamos a abertura dos dados públicos no Brasil em colaboração com a sociedade 4 / 53
  5. 5. Infraestrutura Nacional de Dados AbertosObjetivos:Proporcionar aos cidadãos, e ao governo , um ponto de acesso central aos dados públicos,disponível na web.Coordenar e orientar a padronização no ciclo de vida da informação, em especial nomomento de sua publicação na web .Incentivar a agregação de valor aos dados públicos e a colaboração com o cidadão naimplementação de novos serviços à sociedade.Ser uma iniciativa sustentável de Dados Abertos.Para isso:Conjunto de padrões, tecnologias, procedimentos e mecanismos de controle necessários parase publicar dados abertos governamentais, visando seu reuso não só pela sociedade maspelo próprio governo. http://wiki.gtinda.ibge.gov.br/ 5 / 53
  6. 6. “Dados são abertos quando qualquer pessoa pode livremente usá-los,reutilizá-los e redistribuí-los, estando sujeito a, no máximo, a exigência de creditar a sua autoria e compartilhar pela mesma licença.” http://dados.gov.br/dados-abertos/ http://opendefinition.org/ Qualquer um significa qualquer um! (Sem restrição ao uso comercial, etc.) 6 / 53
  7. 7. O que são dados abertos?As Três Leis dos dados Oito princípios dos Dados Governamentaisgovernamentais abertos Abertos 1. Completos1. Se ele não pode ser encontrado na web e indexado, ele não existe. 2. Primários (brutos) 3. Atuais2. Se não estiver aberto e disponível em formato compreensível por 4. Acessíveis máquina, ele não pode ser 5. Processável por Máquina utilizado. 6. Não discriminatório3. Se qualquer dispositivo legal 7. Não proprietário não permitir que ele seja reutilizado, ele não é útil. 8. Livre de licensa Open gov David Eaves Working group 7 / 53
  8. 8. Lei de Acesso à Informação – LAI 12.527/11Esclarece que é constitucional o direito de acesso à informação 8 / 53
  9. 9. Lei de Acesso à Informação● Art. 8o §3o ... ● I - conter ferramenta de pesquisa de conteúdo que permita o acesso à informação de forma objetiva, transparente, clara e em linguagem de fácil compreensão; ● II - possibilitar a gravação de relatórios em diversos formatos eletrônicos, inclusive abertos e não proprietários , tais como planilhas e texto, de modo a facilitar a análise das informações; ● III - possibilitar o acesso automatizado por sistemas externos em formatos abertos, estruturados e legíveis por máquina ; Princípios de dados abertos! 9 / 53
  10. 10. Quais tipos de dados? Transporte, Estatísticos, Orçamento, Segurança … Restrição: Dados pessoais!Ex.: Paradas de ônibus, locais turísticos, previsão climática, criminalidade nos bairros, LOA, desempenho das escolas ... 10 / 53
  11. 11. Formatos de arquivos● Requisitos ● Processável por máquina ● Formato não proprietárioCSV DOC MBD Other Geo Spreadsheets WSXLS ECW MDB PGDB SQL WSDLXML EXE Metastock PNG TIFF XHTMLPDF Geo RSS Micro Station Design Portal TMX XLS zip+HTML Geo TIFF N3 PPT TSV APIJSON GML OAI-PMH RAW Turtle ASCIIKML GPX ODF RDFa TXT+ Zip AutreXLSX JPG ODS RDF- XML URL CIDRRDF JS ODT REST WEB CSV+ZipSHP KMZ Omega RTF Webpage DatastreamRSS Mapinfo Online Database SOAP WFS DBFTXT Mathlab openDataXML SPARQL WMS XML-ATOM-RSSXSD YAML Zip zip+sas fonte: neeta neeta@nic.in 11 / 53
  12. 12. Exemplo 1: CSV 12 / 53
  13. 13. Exemplo 2: XML 13 / 53
  14. 14. Exemplo 3: JSON 14 / 53
  15. 15. Formatos de arquivos● Qual o melhor? ● Depende dos seus dados, e da situação!● Algumas orientações: ● Preferir JSON à XML ● Preferir CSV à ODS ● Escolha um formato estável e de amplo uso ● Se possível, publique em mais de um formato 15 / 53
  16. 16. Formatos de arquivos● Mais orientações: ● Desaconselhamos compactar os arquivos ● Pesquise pelos formatos com mais audiência ● Para dados geográficos, conheça a INDE – Infraestrutura Nacional de Dados Espaciais – http://inde.gov.br/ ● Sonhe com o RDF!! ● Para mais detalhes: – Cartilha técnica para publicação de dados abertos http://dados.gov.br/cartilha-publicacao-dados-abertos/ 16 / 53
  17. 17. Arquiteturas de Publicação de Dados● Requisitos ● As 3 leis e os 8 princípios! http://dados.gov.br/dados-abertos/● Tipos de publicação ● Arquivos isolados resultado de pesquisa ou levantamento ● Avaliações, balanços, levantamentos recorrentes (semanal, mensal, trimestral) ● Publicações em “tempo real” (diária, "instantânea”,....) 17 / 53
  18. 18. Publicação manual● Os dados são coletados, transformados e publicados num processo manual ● Sistematizar não vale a pena! (?) ● O processo manual é confiável? (!)● Exemplo: ● Balanço do PAC, quadrimestral ● http://dados.gov.br/dataset/obras-do-pac-programa-de-aceleracao-do-crescimento 18 / 53
  19. 19. Publicação automatizada (1) 19 / 53 fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/
  20. 20. Publicação automatizada (2)● Questões levantadas por Peter Krantz: ● Você realmente precisa de uma API? ● Sua infraestrutura está preparada? ● Torne fácil que empreendedores tenham os dados mais novos ● Tenha liberdade da tecnologia. Não quebre URLs... 20 / 53 fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/
  21. 21. Publicação automatizada (3)● Sistema em produção isolado ● Mais seguro ● Maior disponibilidade ● Esquema de dados simplificado ● Autenticidade (gov.br) ● custo ~ benefício? 21 / 53
  22. 22. Caso: API do SICONV● SICONV: Sistema que administra os convênios entre APF, estados, municípios, DF e EPSFL.● A API está em fase beta● Requisitos: ● Dados em tempo “real” ● Replicação dos dados da produção ● Web Service REST ● JSON, CSV, XML, ... e HTML 22 / 53
  23. 23. Caso: API do SICONV● Endereço: http://api.convenios.gov.br ● Bonito né?!● Outras tecnologias: ● Princípios REST ● CORS - Cross-origin resource sharing ● HATEOAS● Exemplo de consulta: ● http://api.convenios.gov.br/siconv/dados/orgao/54000 23 / 53
  24. 24. http://api.convenios.gov.br/siconv/dados/orgao/54000.html 24 / 53
  25. 25. http://api.convenios.gov.br/siconv/v1/consulta/convenios.html?id_orgao_concedente=54000 25 / 53
  26. 26. http://api.convenios.gov.br/siconv/dados/convenio/759029.html 26 / 53
  27. 27. Web, REST APIs, etc..Web != Internet 27 / 53
  28. 28. Web, REST APIs, etc.. (2)● Internet = infraestrutura, um amontoado de computadores, redes e cabos● Web = HTTP (hypertext transfer protocol) ● Documentos ● Hiperlinks ● URLs● Aprenda os fundamentos e faça melhor uso da Web 28 / 53
  29. 29. Web, REST APIs, etc.. (3)● REST - Representational State Transfer● Alguns princípios ● Separação do Cliente e do Servidor ● Sem estado (stateless) ● Cacheável ● Sistemas em camadas ● Recursos – pedaço específico de informação (URI)● Esqueça SOAP● Seja RESTful 29 / 53
  30. 30. Web, REST APIs, etc.. (4)● HATEOAS - Hypermedia as the engine of application state● O princípio é de que o cliente interage com a aplicação estritamente através das hipermídias providas pelo servidor de aplicação.● Possibilita um maior desacoplamento servidor- cliente● Exemplo: navegue em http://api.convenios.gov.br/siconv/doc/metodos.html● Consulte no google: “dados abertos novo hamburgo” 30 / 53
  31. 31. Aplicativos e Mashups http://dados.gov.br/aplicativos 31 / 53
  32. 32. Experimento1. Baixe os dados do PAC no portal dados.gov.br2. Abra no LibreOffice e faça a conversão do tipo geográfico ● =CONCATENAR(SE(DIREITA(TIRAR(O2);1)="S";"-";"");EXT.TEXTO(O2;1;PROCURAR("°";O2;1)-1)+ (EXT.TEXTO(O2;PROCURAR("°";O2;1)+1;PROCURAR("";O2;1)-PROCURAR("°";O2;1)- 1)/60)+CONCATENAR((EXT.TEXTO(O2;PROCURAR("";O2;1)+1;PROCURAR(".";O2;1)-PROCURAR("";O2;1)- 1));",";EXT.TEXTO(O2;PROCURAR(".";O2;1)+1;PROCURAR(CARACT(34);O2;1)-PROCURAR(".";O2;1)- 1))*1/3600)*13. Suba os dados para o Google Fusion Tables4. Mais 2 cliques e ...Passos: https://groups.google.com/forum/?fromgroups=#!topic/thackday/uJisBSNNgkU 32 / 53
  33. 33. Obras do PAC 33 / 53
  34. 34. Arquitetura lógica da INDA● A INDA está fundamentada na Web● É a união dos dados publicado em todos os órgãos● O portal é um buscador● O portal armazena os metadados● Cada órgão é responsável pelos seus dados 34 / 53
  35. 35. Portal Brasileiro de Dados Abertos dados.gov.br● Utilizamos o CKAN ● Outras tecnologias ● Software Livre ● Diazo especializado ● Varnish ● Modelo flexível e ● Solr extensível ● PortgreSQL● Integração com CMS ● Apache ● Wordpress ● Python● VCGE para organizar assuntos ● HG – Mercurial 35 / 53
  36. 36. Portal Brasileiro de Dados Abertos dados.gov.br● É um catálogo● Guarda metadados● Conceitos básicos: ● Conjuntos de dados ● Recursos ● Grupos ● Etiquetas, licença, ... 36 / 53
  37. 37. CKAN● Características: ● Sistema de catálogo de busca de dados ● API para busca e inserção ● Plugins para integração com CMSs (Drupal e WP) ● Visualização de dados e analytics ● Workflow permite orgãos administrarem seus dados ● Storage de dados integrado ● Possibilita federação de catálogos 37 / 53
  38. 38. Metadados - catalogação● “Dados sobre os dados”● Descrevem o conjunto de dados● Cobertura, descrição, proveniência, extração, etc..● Úteis na classificação e indexação dos dados● É o coração do catálogo● Metadados: ● Mínimos (obrigatórios) ● Extras (desejáveis) 38 / 53
  39. 39. Metadados - catalogação● Mínimos: ● Extras: ● Título ● Etiquetas ● Descrição ● Autoria ● Catálogo de origem ● Cobertura geográfica e ● Órgão responsável temporal ● Assuntos do VCGE ● Granularidade geográfica e temporal ● Formato de arquivo ● Atualidade ● Referências ● Ontologia/vocabulário ● ... http://dados.gov.br/cartilha-publicacao-dados-abertos/ 39 / 53
  40. 40. Catalogando dados (exemplo) http://treino.dados.gov.br● Dados? ● Séries estatísticas no IBGE sobre educação ● http://seriesestatisticas.ibge.gov.br/lista_tema.aspx?op=0&no=4 40 / 53
  41. 41. Catalogação pela API● CKAN provê uma API para administração● Documentação: ● http://docs.ckan.org/en/latest/api.html 41 / 53
  42. 42. Portais com CKAN● Senado, Reino Unido, Buenos Aires, ... Mais: http://ckan.org/2012/07/31/new-ckan-data-portals/ 42 / 53
  43. 43. Colheita de metadados - Harvesting● Plugin que possibilita federação dos dados● Replica os metadados entre catálogos● Cada estado e município pode ter um portal de dados abertos ● dados.sc.gov.br? ● dados.pe.gov.br?● Documentação: ● https://github.com/okfn/ckanext-harvest 43 / 53
  44. 44. DataStore● Serviço de armazenamento e acesso a dados estruturados pela web● Software que se integra com o CKAN●● Documentação: ● http://blog.okfn.org/2012/03/27/introducing-the-datastore/ 44 / 53
  45. 45. Linked Data● Usar a Web para ligar dados relacionados ● Expor dados na web ● Compartilhar esses dados ● Conectar pedaços de dados, informações e conhecimento● Usando: ● URIs ● RDF – Resource Description Framework 45 / 53
  46. 46. Linked Data(2) 46 / 53
  47. 47. Linked Data(3) 47 / 53
  48. 48. Linked Data (4)● Princípios de Linked Data (note de Tim BL): ● usar URIs como nomes para as coisas; ● usar URIs do tipo HTTP, para que as pessoas possam recuperar essas coisas; ● quando alguém recuperar uma URI, fornecer informações úteis, usando os padrões; ● inclua links para outras URIs, para que as pessoas possam descobrir mais coisas [relacionadas] http://www.w3.org/DesignIssues/LinkedData.html 48 / 53
  49. 49. Desenho de URIs● “Dar nome às coisas na Web”● Nomear coisas concretas ou abstratas ● http://education.data.gov.uk/id/school/123065 ● http://reference.data.gov.uk/def/central-government/PermanentSecretary● Objetivos ● Nome único ● Ser persistente por muito tempo ● Ser pequeno e legível por humanos ● Incorporar identificadores já em uso 49 / 53
  50. 50. Desenho de URIs(2) fonte:http://data.gov.uk/resources/uris 50 / 53
  51. 51. Desenho de URIs(3) ● TemplatesFonte: http://www.cabinetoffice.gov.uk/sites/default/files/resources/designing-URI-sets-uk-public-sector.pdf 51 / 53
  52. 52. As 5 estrelas dos Dados Abertos http://5stardata.info/ 52 / 53
  53. 53. contato@dados.gov.br @dadosgovbr

×