© 2015, Amazon Web Services, Inc. ou suas afiliadas. Todos os direitos
reservados.
Dados Abertos na Amazon Web Services
We...
Agenda
•  Uso de Dados Abertos pelo mundo
•  Implementação de plataforma
•  Banco de Dados Públicos
•  Portais de Dados Ab...
Definição de Dados Abertos ‘Open Data’?
“Dados abertos são dados que podem ser
usados por qualquer pessoa para qualquer
fi...
Localização digital em iRideNYC.info
O Departamento de Transporte de
Nova York usa uma estratégia de
desenvolvimento ”mobi...
Localização digital em iRideNYC.info
O iRideNYC.info aproveita a
linguagem de design
direcionada a dados da
WalkNYC, que c...
Localização digital em iRideNYC.info
A MTA fornece APIs de dados
abertos que permitem ao
iRideNYC.info exibir em tempo
rea...
Salvando vidas com dados do censo
"Só em 2013, os EUA passaram por
1,24 milhão de incêndios,
resultando em quase 20 mil mo...
Salvando vidas com dados do censo
Como determinar se é necessário um novo
alarme de incêndio?
"...um analista no Escritóri...
Salvando vidas com dados do censo
A Enigma utilizou os resultados de Nova
Orleans e criou um produto de análise para
preve...
BuildSmartDC
Eficiência, custo e rastreamento de emissões
em 400 edifícios, totalizando 30MM pés2.
Produz mais de 50.000 p...
BuildSmartDC
Implementando a sua plataforma
de Dados Abertos na AWS
Bucket do
Amazon S3
Amazon
EMR
Amazon
EC2
AWS
Lambda
Amazon
Redshift
Amazon
DynamoDB
O poder dos dados abertos na nuvem
To...
Dados abertos como uma plataforma
Enriquecimento de dados
Fazsentido
Dados em repouso
(armazenamento de objetos)
APIs bási...
Dados abertos como uma plataforma
Enriquecimento de dados
Fazsentido
Amazon
Kinesis
Amazon
EC2
Amazon
EC2
AWS Data
Pipelin...
Dados na AWS
A Amazon Web Services fornece um toolkit abrangente para reunir,
armazenar, analisar e trabalhar com dados em...
Bancos de dados públicos da AWS
Bancos de dados públicos na AWS
Para promover mais inovação, a AWS hospeda alguns bancos de dados
que qualquer pessoa pode...
O que é o Landsat?
O programa Landsat é um esforço
conjunto do Serviço Geológico dos
EUA e da NASA. É o programa mais
anti...
Landsat na AWS
Temos o compromisso de tornar até
1 petabyte de imagens do Landsat
prontamente disponíveis como
objetos no ...
Landsat na AWS
Nos primeiros 150 dias:
•  3,8 PB de dados acessados
•  560 milhões de visitas de 167 países
•  3,7 milhões...
O Landsat é um grande dado aberto
O programa Landsat é um esforço
conjunto do Serviço Geológico dos
EUA e da NASA. É o pro...
O que é o Landsat?
As cenas do Landsat são
compostas de vários arquivos, cada
um dos quais inclui dados sobre os
diferente...
Wellington, Nova Zelândia – 29 de junho de 2015
RGB
Luz visível
Infravermelho
Vegetação
Infravermelho de ondas curtas
Área...
Snapsat
Uma equipe de cinco programadores
iniciantes usou o Landsat na AWS
para desenvolver um aplicativo web
chamado Snap...
Esri – Unlock Earth’s Secrets
A Esri criou uma ferramenta para mostrar
como o ArcGIS Online pode visualizar
rapidamente da...
MATLAB – Landsat8 Data Explorer
A MathWorks criou uma ferramenta
com base no MATLAB com download
gratuito para acesso, pro...
Astro Digital Browser
O Astro Digital usa o Landsat na AWS
para criar um navegador e API que
permitem aos desenvolvedores ...
Landsat na AWS como uma plataforma
Portais de Dados Abertos
Portais de dados abertos
Muitos parceiros da AWS
oferecem serviços que
facilitam a publicação e o uso
de dados abertos, in...
Recomendações
Uma abordagem da Amazon para dados abertos
•  Trabalhar de forma a identificar o que faz sentido
compartilhar com relação ...
Trabalhar no que faz sentido
•  Procurar dados valiosos, ouvindo as necessidades dos
clientes
•  Considerar os casos de us...
Eliminar o que não agrega valor
“…os dados devem ser organizados, bem documentados,
formatados de forma consistente e livr...
Trazendo inovações com dados abertos
Para trazer a inovação com seus dados, você precisa
garantir três coisas fundamentais...
Muito Obrigado!
Alex Coqueiro
Arquiteto de Soluções
@alexbcbr
@AWSBrasil
Próximos SlideShares
Carregando em…5
×

Webinar de Dados Abertos na AWS

315 visualizações

Publicada em

Apresentação do webinar de Dados Aberto (Opendata) na Amazon Web Services.

Publicada em: Dados e análise
0 comentários
0 gostaram
Estatísticas
Notas
  • Seja o primeiro a comentar

  • Seja a primeira pessoa a gostar disto

Sem downloads
Visualizações
Visualizações totais
315
No SlideShare
0
A partir de incorporações
0
Número de incorporações
23
Ações
Compartilhamentos
0
Downloads
3
Comentários
0
Gostaram
0
Incorporações 0
Nenhuma incorporação

Nenhuma nota no slide

Webinar de Dados Abertos na AWS

  1. 1. © 2015, Amazon Web Services, Inc. ou suas afiliadas. Todos os direitos reservados. Dados Abertos na Amazon Web Services Webinar Alex Coqueiro Arquiteto de Soluções na Amazon Web Services @alexbcbr @AWSBrasil 24 de Novembro de 2015
  2. 2. Agenda •  Uso de Dados Abertos pelo mundo •  Implementação de plataforma •  Banco de Dados Públicos •  Portais de Dados Abertos •  Recomendações
  3. 3. Definição de Dados Abertos ‘Open Data’? “Dados abertos são dados que podem ser usados por qualquer pessoa para qualquer finalidade sem custo.” See more at: http://opendefinition.org
  4. 4. Localização digital em iRideNYC.info O Departamento de Transporte de Nova York usa uma estratégia de desenvolvimento ”mobile first" e "codifique uma vez, execute em qualquer lugar" que permite desenvolver aplicativos móveis de baixo custo voltados para dados. Sem a instalação do aplicativo em nenhum dispositivo, você pode encontrar metrôs e pontos de ônibus MTA, estações do CitiBike e locais de interesse em http://iRideNYC.info
  5. 5. Localização digital em iRideNYC.info O iRideNYC.info aproveita a linguagem de design direcionada a dados da WalkNYC, que cria mapas baseados em camadas de dados.
  6. 6. Localização digital em iRideNYC.info A MTA fornece APIs de dados abertos que permitem ao iRideNYC.info exibir em tempo real o horário de chegada de metrôs e ônibus. A API do CitiBike também é usada para obter o status da estação e a disponibilidade de bicicletas.
  7. 7. Salvando vidas com dados do censo "Só em 2013, os EUA passaram por 1,24 milhão de incêndios, resultando em quase 20 mil mortos ou feridos e gerando mais de US$ 11 bilhões em danos materiais. Tragicamente, muitas dessas mortes são evitáveis: três em cada cinco mortes em casa devido a incêndio ocorreram em edifícios sem alarmes de fumaça em funcionamento." http://blog.enigma.io/open-data-and-public-safety/
  8. 8. Salvando vidas com dados do censo Como determinar se é necessário um novo alarme de incêndio? "...um analista no Escritório de Desempenho e Responsabilidade (OPA) de Nova Orleans construiu um modelo de regressão logística utilizando o American Housing Survey (AHS) de 2011... Com essa iniciativa, o Corpo de Bombeiros de Nova Orleans e o OPA mudaram: em vez de entregar passivamente alarmes de fumaça para salvar vidas, passaram a alcançar ativamente os moradores mais vulneráveis de Nova Orleans, tudo graças a uma união da experiência dos bombeiros com insights extraídos de dados abertos." http://blog.enigma.io/open-data-and-public-safety/
  9. 9. Salvando vidas com dados do censo A Enigma utilizou os resultados de Nova Orleans e criou um produto de análise para prever deficiências de alarme de incêndio em várias cidades dos Estados Unidos. Eles usam a AWS para compartilhar a infraestrutura e os dados subjacentes usados para criar a ferramenta. https://github.com/enigma-io
  10. 10. BuildSmartDC Eficiência, custo e rastreamento de emissões em 400 edifícios, totalizando 30MM pés2. Produz mais de 50.000 pontos de dados por dia. O Amazon EC2 é usado para: •  Acessar APIs externas •  Servir às APIs internas que alimentam o BSDC O S3 hospeda: •  Ativos da web estáticos •  Mais de 1600 arquivos CSV atualizados diariamente e publicamente acessíveis com informações de uso dos edifícios
  11. 11. BuildSmartDC
  12. 12. Implementando a sua plataforma de Dados Abertos na AWS
  13. 13. Bucket do Amazon S3 Amazon EMR Amazon EC2 AWS Lambda Amazon Redshift Amazon DynamoDB O poder dos dados abertos na nuvem Tornar os dados na AWS abertos permite mais inovação, disponibilizando os dados para acesso rápido por nossos recursos de computação flexíveis e de baixo custo.
  14. 14. Dados abertos como uma plataforma Enriquecimento de dados Fazsentido Dados em repouso (armazenamento de objetos) APIs básicas APIs complexas Aplicativos para consumidores Política algoritmica Jornalismo baseado em dados Catálogos de dados Painéis voltados para datos Modelos preditivos Visualizações Custo de conhecimento menor (eficiência) Criação de dados
  15. 15. Dados abertos como uma plataforma Enriquecimento de dados Fazsentido Amazon Kinesis Amazon EC2 Amazon EC2 AWS Data Pipeline Amazon S3 Amazon RDS Amazon EMR Amazon Redshift Amazon DynamoDB AWS Lambda
  16. 16. Dados na AWS A Amazon Web Services fornece um toolkit abrangente para reunir, armazenar, analisar e trabalhar com dados em qualquer escala. Amazon Elastic MapReduce (Amazon EMR) fornece a estrutura de análises Apache Hadoop como um serviço gerenciado fácil de usar. Amazon S3 permite que você armazene e recupere qualquer quantidade de dados, a qualquer momento, de qualquer local da Web. Amazon DynamoDB é um serviço de banco de dados NoSQL totalmente gerenciado que torna econômico o armazenamento e a recuperação de qualquer quantidade de dados.
  17. 17. Bancos de dados públicos da AWS
  18. 18. Bancos de dados públicos na AWS Para promover mais inovação, a AWS hospeda alguns bancos de dados que qualquer pessoa pode acessar gratuitamente. Os dados em nossos bancos de dados públicos estão disponíveis para acesso rápido por nossos recursos de computação flexíveis e de baixo custo. Ciência da Terra Landsat na AWS Ciências biológicas Projeto 1000 Genomes Ciência da Internet Corpus para rastreamento comum
  19. 19. O que é o Landsat? O programa Landsat é um esforço conjunto do Serviço Geológico dos EUA e da NASA. É o programa mais antigo para coletar imagens da Terra do espaço e é considerado o padrão ouro para imagens de satélite de recursos naturais.
  20. 20. Landsat na AWS Temos o compromisso de tornar até 1 petabyte de imagens do Landsat prontamente disponíveis como objetos no Amazon S3. Todos as cenas do Landsat 8 desde 2015 estão disponíveis, juntamente com uma seleção de cenas sem nuvens desde 2013 e 2014. Todas as novas cenas do Landsat 8 são disponibilizadas diariamente, muitas vezes algumas horas depois da produção.
  21. 21. Landsat na AWS Nos primeiros 150 dias: •  3,8 PB de dados acessados •  560 milhões de visitas de 167 países •  3,7 milhões de acessos diários em média •  25 TB de dados transferidos diariamente em média •  2 novos aplicativos: Snapsat e navegador Astro Digital •  Alimentando o desenvolvimento de novos produtos de Mapbox, Trimble, Esri, CartoDB, MathWorks e Development Seed
  22. 22. O Landsat é um grande dado aberto O programa Landsat é um esforço conjunto do Serviço Geológico dos EUA e da NASA. É o programa mais antigo para coletar imagens da Terra do espaço e é considerado o padrão ouro para imagens de satélite de recursos naturais. Tem sido tradicionalmente demorado e caro para adquirir, armazenar e analisar os dados do Landsat.
  23. 23. O que é o Landsat? As cenas do Landsat são compostas de vários arquivos, cada um dos quais inclui dados sobre os diferentes tipos de luz refletida da Terra. O programa Landsat está em operação desde 1972.
  24. 24. Wellington, Nova Zelândia – 29 de junho de 2015 RGB Luz visível Infravermelho Vegetação Infravermelho de ondas curtas Áreas urbanas
  25. 25. Snapsat Uma equipe de cinco programadores iniciantes usou o Landsat na AWS para desenvolver um aplicativo web chamado Snapsat que cria visualizações de dados do Landsat em segundos. O Snapsat foi desenvolvido durante o programa de treinamento de 8 semanas da equipe no Code Fellows. Eles lançaram apenas alguns meses depois de aprender a escrever código. http://snapsat.org
  26. 26. Esri – Unlock Earth’s Secrets A Esri criou uma ferramenta para mostrar como o ArcGIS Online pode visualizar rapidamente dados do Landsat para visualização e análise em tempo real dentro do navegador. "Não são serviços de cache gerados previamente limitados apenas à visualização, eles são serviços de imagem dinâmicos e de alto desempenho que executam processamento imediato e mosaicos dinâmicos de imagens multiespectrais e multitemporais do Landsat." http://www.esri.com/landsatonaws
  27. 27. MATLAB – Landsat8 Data Explorer A MathWorks criou uma ferramenta com base no MATLAB com download gratuito para acesso, processamento e visualização de dados do Landsat 8. A ferramenta permite que os usuários do MATLAB encontrem, analisem e combinem cenas do Landsat 8 com outras fontes de dados do GIS para novas visualizações. http://blogs.mathworks.com/steve/2015/03/19/matlab-landsat-8-aws/
  28. 28. Astro Digital Browser O Astro Digital usa o Landsat na AWS para criar um navegador e API que permitem aos desenvolvedores procurar o catálogo de imagens do Landsat 8, filtrar por data e cobertura de nuvem e, em seguida, selecionar qualquer imagem. A imagem é processada imediatamente, reunindo bandas e corrigindo cores, e carregada na nossa API. Em poucos minutos, você terá um e-mail com um link para o ponto de acesso da API que pode ser carregado em qualquer aplicativo web ou móvel. http://fetch.astrodigital.com
  29. 29. Landsat na AWS como uma plataforma
  30. 30. Portais de Dados Abertos
  31. 31. Portais de dados abertos Muitos parceiros da AWS oferecem serviços que facilitam a publicação e o uso de dados abertos, incluindo plataformas de catálogos como CKAN, DKAN, Junar, OpenDataSoft e Socrata.
  32. 32. Recomendações
  33. 33. Uma abordagem da Amazon para dados abertos •  Trabalhar de forma a identificar o que faz sentido compartilhar com relação ao cliente •  Eliminar o trabalho que não agrega valor
  34. 34. Trabalhar no que faz sentido •  Procurar dados valiosos, ouvindo as necessidades dos clientes •  Considerar os casos de uso do mundo real para os dados •  Considerar o tamanho da comunidade de usuários ou oportunidade de mercado
  35. 35. Eliminar o que não agrega valor “…os dados devem ser organizados, bem documentados, formatados de forma consistente e livres de erros. Limpar os dados é muitas vezes a parte mais desgastante da ciência de dados, e representa frequentemente 80% do trabalho.” — Data Driven por DJ Patil e Hilary Mason
  36. 36. Trazendo inovações com dados abertos Para trazer a inovação com seus dados, você precisa garantir três coisas fundamentais ao compartilhá-los: 1.  Os dados são precisos 2.  Eles são fornecidos com documentação 3.  Eles permanecerão disponíveis aos desenvolvedores amanhã Nota: esses não são necessariamente problemas técnicos.
  37. 37. Muito Obrigado! Alex Coqueiro Arquiteto de Soluções @alexbcbr @AWSBrasil

×