Oficina técnica da Infraestrutura Nacional de Dados Abertos - INDA

1.829 visualizações

Publicada em

Oficina realizada no evento SECOP em Gramado-RS, em 19/09/12.

Publicada em: Tecnologia
0 comentários
2 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

Sem downloads
Visualizações
Visualizações totais
1.829
No SlideShare
0
A partir de incorporações
0
Número de incorporações
82
Ações
Compartilhamentos
0
Downloads
51
Comentários
0
Gostaram
2
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Oficina técnica da Infraestrutura Nacional de Dados Abertos - INDA

  1. 1. Oficina Técnica daInfraestrutura Nacional de Dados Abertos - INDA Nitai Bezerra da Silva Brasília, 20 de setembro de 2012
  2. 2. http://br.okfn.org/2012/05/10/novo-portal-dados-gov-br-feito-pela-sociedade/
  3. 3. Agenda● O que é a INDA ● Catalogando dados● Arquiteturas para publicação ● Outros portais com CKAN de dados ● Colheita de Metadados● Formatos de arquivos (Harvesting)● Caso: API do Siconv ● DataStore● Web, REST APIs, etc.. ● Linked Data● Aplicativos e Mashups ● Desenho de URIs● Arquitetura lógica da INDA ● As 5 estrelas dos Dados Abertos● Portal dados.gov.br● Metadados
  4. 4. Infraestrutura Nacional de Dados AbertosObjetivos:Proporcionar aos cidadãos, e ao governo , um ponto de acesso central aos dados públicos,disponível na web.Coordenar e orientar a padronização no ciclo de vida da informação, em especial nomomento de sua publicação na web .Incentivar a agregação de valor aos dados públicos e a colaboração com o cidadão naimplementação de novos serviços à sociedade.Ser uma iniciativa sustentável de Dados Abertos.Para isso:Conjunto de padrões, tecnologias, procedimentos e mecanismos de controle necessários parase publicar dados abertos governamentais, visando seu reuso não só pela sociedade maspelo próprio governo. http://wiki.gtinda.ibge.gov.br/
  5. 5. Arquiteturas de Publicação de Dados● Requisitos ● As 3 leis e os 8 princípios! http://dados.gov.br/dados-abertos/● Tipos de publicação ● Arquivo isolado, resultado de pesquisa ou levantamento ● Avaliações, balanços, levantamentos recorrentes (semanal, mensal, trimestral) ● Publicações em “tempo real” (diária, "instantânea”,....)
  6. 6. Publicação manual● Os dados são coletados, transformados e publicados num processo manual ● Sistematizar não vale a pena! (?) ● O processo manual é confiável? (!)● Exemplo: ● Balanço do PAC, quadrimestral ● http://dados.gov.br/dataset/obras-do-pac-programa-de-aceleracao-do-crescimento
  7. 7. Publicação automatizada (1) fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/
  8. 8. Publicação automatizada (2)● Questões levantadas por Peter Krantz: ● Você realmente precisa de uma API? ● Sua infraestrutura está preparada? ● Torne fácil que empreendedores tenham os dados mais novos ● Tenha liberdade da tecnologia. Não quebre URLs... fonte: http://www.peterkrantz.com/2012/publishing-open-data-api-design/
  9. 9. Publicação automatizada (3)● Sistema em produção isolado ● Mais seguro ● Maior disponibilidade ● Esquema de dados simplificado ● Autenticidade (gov.br) ● custo ~ benefício?
  10. 10. Formatos de arquivos● Requisito ● Formato não proprietárioCSV DOC MBD Other Geo Spreadsheets WSXLS ECW MDB PGDB SQL WSDLXML EXE Metastock PNG TIFF XHTMLPDF Geo RSS Micro Station Design Portal TMX XLS zip+HTML Geo TIFF N3 PPT TSV APIJSON GML OAI-PMH RAW Turtle ASCIIKML GPX ODF RDFa TXT+ Zip AutreXLSX JPG ODS RDF- XML URL CIDRRDF JS ODT REST WEB CSV+ZipSHP KMZ Omega RTF Webpage DatastreamRSS Mapinfo Online Database SOAP WFS DBFTXT Mathlab openDataXML SPARQL WMS XML-ATOM-RSSXSD YAML Zip zip+sas fonte: neeta neeta@nic.in
  11. 11. Formatos de arquivos● Qual o melhor? ● Depende dos seus dados, e da situação!● Algumas orientações: ● Preferir JSON à XML ● Preferir CSV à ODS ● Escolha um formato estável e de amplo uso ● Se possível, publique em mais de um formato
  12. 12. Formatos de arquivos● Mais orientações: ● Desaconselhamos compactar os arquivos ● Pesquise pelos formatos com mais audiência ● Para dados geográficos, conheça a INDE – Infraestrutura Nacional de Dados Abertos – http://inde.gov.br/ ● Sonhe com o RDF!! ● Para mais detalhes: – Cartilha técnica para publicação de dados abertos http://dados.gov.br/cartilha-publicacao-dados-abertos/
  13. 13. Caso: API do SICONV● SICONV: Sistema que administra os convênios entre APF, estados, municípios, DF e EPSFL.● A API está em fase beta● Requisitos: ● Dados em tempo “real” ● Replicação dos dados da produção ● Web Service REST ● JSON, CSV, XML, ... e HTML
  14. 14. Caso: API do SICONV● Endereço: http://api.convenios.gov.br ● Bonito né?!● Outras tecnologias: ● Princípios REST ● CORS - Cross-origin resource sharing ● HATEOAS● Exemplo de consulta: ● http://api.convenios.gov.br/siconv/dados/orgao/54000
  15. 15. Web, REST APIs, etc..Web != Internet
  16. 16. Web, REST APIs, etc.. (2)● Internet = infraestrutura, um amontoado de computadores, redes e cabos● Web = HTTP (hypertext transfer protocol) ● Documentos ● Hiperlinks ● URLs● Aprenda os fundamentos e faça melhor uso da Web
  17. 17. Web, REST APIs, etc.. (3)● REST - Representational State Transfer● Alguns princípios ● Separação do Cliente e do Servidor ● Sem estado (stateless) ● Cacheável ● Sistemas em camadas ● Recursos – pedaço específico de informação (URI)● Esqueça SOAP● Seja RESTful
  18. 18. Web, REST APIs, etc.. (4)● HATEOAS - Hypermedia as the engine of application state● O princípio é de que o cliente interage com a aplicação estritamente através das hipermídias providas pelo servidor de aplicação.● Possibilita um maior desacoplamento servidor- cliente● Exemplo: navegue em http://api.convenios.gov.br/siconv/doc/metodos.html● Consulte no google: “dados abertos novo hamburgo”
  19. 19. Aplicativos e Mashups http://dados.gov.br/aplicativos
  20. 20. Experimento1. Baixe os dados do PAC no portal dados.gov.br2. Abra no LibreOffice e faça a conversão do tipo geográfico ● =CONCATENAR(SE(DIREITA(TIRAR(O2);1)="S";"-";"");EXT.TEXTO(O2;1;PROCURAR("°";O2;1)-1)+ (EXT.TEXTO(O2;PROCURAR("°";O2;1)+1;PROCURAR("";O2;1)-PROCURAR("°";O2;1)- 1)/60)+CONCATENAR((EXT.TEXTO(O2;PROCURAR("";O2;1)+1;PROCURAR(".";O2;1)-PROCURAR("";O2;1)- 1));",";EXT.TEXTO(O2;PROCURAR(".";O2;1)+1;PROCURAR(CARACT(34);O2;1)-PROCURAR(".";O2;1)- 1))*1/3600)*13. Suba os dados para o Google Fusion Tables4. Mais 2 cliques e ...Passos: https://groups.google.com/forum/?fromgroups=#!topic/thackday/uJisBSNNgkU
  21. 21. Arquitetura lógica da INDA● A INDA está fundamentada na Web● É a união dos dados publicado em todos os órgãos● O portal é um buscador● O portal armazena os metadados● Cada órgão é responsável pelos seus dados
  22. 22. Portal Brasileiro de Dados Abertos dados.gov.br● Utilizamos o CKAN ● Outras tecnologias ● Software Livre ● Diazo especializado ● Varnish ● Modelo flexível e ● HG – Mercurial extensível ● Solr● Integração com CMS ● PortgreSQL ● Wordpress ● Apache● VCGE para organizar assuntos ● Python
  23. 23. Portal Brasileiro de Dados Abertos dados.gov.br● É um catálogo● Guarda metadados● Conceitos básicos: ● Conjuntos de dados ● Recursos ● Grupos ● Etiquetas, licença, ...
  24. 24. CKAN● Características: ● Sistema de catálogo de busca de dados ● API para busca e inserção ● Plugins para integração com CMSs (Drupal e WP) ● Visualização de dados e analytics ● Workflow permite orgãos administrarem seus dados ● Storage de dados integrado ● Possibilita federação de catálogos
  25. 25. Metadados - catalogação● “Dados sobre os dados”● Descrevem o conjunto de dados● Cobertura, descrição, proveniência, extração, etc..● Úteis na classificação e indexação dos dados● É o coração do catálogo● Metadados: ● Mínimos (obrigatórios) ● Extras (desejáveis)
  26. 26. Metadados - catalogação● Mínimos: ● Extras: ● Título ● Etiquetas ● Descrição ● Autoria ● Catálogo de origem ● Cobertura geográfica e ● Órgão responsável temporal ● Assuntos do VCGE ● Granularidade geográfica e temporal ● Formato de arquivo ● Atualidade ● Referências ● Ontologia/vocabulário ● ... http://dados.gov.br/cartilha-publicacao-dados-abertos/
  27. 27. Catalogando dados (exemplo) http://treino.dados.gov.br● Dados? ● Séries estatísticas no IBGE sobre educação ● http://seriesestatisticas.ibge.gov.br/lista_tema.aspx?op=0&no=4
  28. 28. Catalogação pela API● CKAN provê uma API para administração● Documentação: ● http://docs.ckan.org/en/latest/api.html
  29. 29. Portais com CKAN● Senado, Reino Unido, Buenos Aires, ... Mais: http://ckan.org/2012/07/31/new-ckan-data-portals/
  30. 30. Colheita de metadados - Harvesting● Plugin que possibilita federação dos dados● Replica os metadados entre catálogos● Cada estado e município pode ter um portal de dados abertos ● dados.rs.gov.br? ● dados.pe.gov.br?● Documentação: ● https://github.com/okfn/ckanext-harvest
  31. 31. DataStore● Serviço de armazenamento e acesso a dados estruturados pela web● Software que se integra com o CKAN●● Documentação: ● http://blog.okfn.org/2012/03/27/introducing-the-datastore/
  32. 32. Linked Data● Usar a Web para ligar dados relacionados ● Expor dados na web ● Compartilhar esses dados ● Conectar pedaços de dados, informações e conhecimento● Usando: ● URIs ● RDF – Resource Description Framework
  33. 33. Linked Data(2)
  34. 34. Linked Data(3)
  35. 35. Linked Data (4)● Princípios de Linked Data (note de Tim BL): ● usar URIs como nomes para as coisas; ● usar URIs do tipo HTTP, para que as pessoas possam recuperar essas coisas; ● quando alguém recuperar uma URI, fornecer informações úteis, usando os padrões; ● inclua links para outras URIs, para que as pessoas possam descobrir mais coisas [relacionadas] http://www.w3.org/DesignIssues/LinkedData.html
  36. 36. Desenho de URIs● “Dar nome às coisas na Web”● Nomear coisas concretas ou abstratas ● http://education.data.gov.uk/id/school/123065 ● http://reference.data.gov.uk/def/central-government/PermanentSecretary● Objetivos ● Nome único ● Ser persistente por muito tempo ● Ser pequeno e legível por humanos ● Incorporar identificadores já em uso
  37. 37. Desenho de URIs(2) fonte:http://data.gov.uk/resources/uris
  38. 38. Desenho de URIs(3) ● TemplatesFonte: http://www.cabinetoffice.gov.uk/sites/default/files/resources/designing-URI-sets-uk-public-sector.pdf
  39. 39. As 5 estrelas dos Dados Abertos http://5stardata.info/
  40. 40. contato@dados.gov.br @dadosgovbr

×