BIG DATA:
Oportunidades e Desafios de Sua
Implementação Pela Administração Pública
43º Seminário Nacional de TIC para a Gestão Pública
07, 08 e 09/10/2015 – Salvador/BA
Marcelo Veloso
Para alguns pesquisadores, o Big Data é tão
revolucionário na vida humana quanto
a descoberta do fogo ou o início da
agricultura
Motivação
Fonte: Veja Edição 2321 - Vida Digital - Big Data
Estima-se que o impacto da utilização do Big
Data nos 28 Estados Membros da
União Europeia poderá representar uma
contribuição de 206 bilhões de euros para
a economia europeia até 2020
Motivação
Fonte: http://www.bigopendata.eu/
Recolhe 500 terabytes de
dados por dia, incluindo 2,5
bilhões de peças de conteúdo,
2,7 bilhões de "likes", e
300 milhões de fotos
Gigantes do Big Data
Admitiu ter armazenado 100
petabytes de fotos e vídeos a
partir de 2012
Gigantes do Big Data
Processa 3,5 bilhões de
solicitações por dia.
Em 2009, se preparava para ter mais
de 1 exabyte de dados. Estima-
se que hoje esteja armazenando mais
de 10 exabytes
Gigantes do Big Data
Amazon extrai dados de 152
milhões de compras realizadas
para ajudar os usuários a decidir quais
itens comprar. Estima-se que tenha
1 exabyte de dados
armazenados
Gigantes do Big Data
O que são as medidas?
Unidade Tamanho Equivalência
Byte 1 byte 1 letra
Megabyte 1.024 kilobytes 1 livro
Gigabyte 1.024 megabytes 1.600 livros
Terabyte 1.024 gigabytes 1.600.000 livros
Petabyte 1.024 terabytes 160.000.000 livros
Exabyte 1.024 petabytes 1.600.000.000.000 livros
90% de todos os dados do
mundo de hoje foram produzidos
nos últimos dois anos
Crescimento
Crescimento
Calcula-se que hoje 2,5 quintilhões de
bytes de dados é produzida todos os dias:
2.500.000.000.000.000.000
Crescimento
Em 2011 foram criados 2 zettabytes, tendo
esse número passado para 3 em 2012, 5 em
2013, com previsão de alcançar 8 em 2015 e
que chegará em 35 zettabytes em 2020
Crescimento
Zettabyte = 10(21)
Apresentar quais os principais desafios a
serem enfrentados, além de exemplos de
oportunidades reais a serem alcançadas
através da implementação de soluções de
big data pela administração pública brasileira
Objetivo
“Big data é de alto volume, de alta velocidade e de alta
variedade dos ativos de informação que demandam
formas inovadoras e rentáveis de processamento de
informação para uma melhor percepção e tomada de
decisão”
Definição
(Gartner, 2014)
Características
Fonte: https://www.youtube.com/watch?v=H7NLECdBnps
Refere-se à enorme quantidade de dados gerada e que
devem ser analisada e gerenciada para se conseguir
tomar decisões com base em uma análise completa.
Para o Big Data, quanto mais dados a serem analisados
melhores serão os resultados apresentados
Volume
Refere-se a quão rápido os dados estão sendo produzidos
e o quão rápido devem ser tratados.
A identificação dos dados deve ser feita em um tempo
hábil, sendo em muitas vezes em tempo real.
Significa garantir acessibilidade
Velocidade
A ascensão da informação proveniente a partir de novas
fontes, tanto de dentro quanto de fora da organização.
Apresentam-se como estruturados, não estruturados ou
semiestruturados, oriundos das mais diversas fontes.
Estima-se que 80% dos dados de uma organização não
sejam numéricos
Variedade
Uma nova geração de tecnologias e arquiteturas
concebidos para extrair o valor econômico de volumes
muito grandes de uma ampla variedade de dados,
permitindo a alta velocidade de captura, descoberta,
e/ou análise
Valor
Fonte: IDC, 2012
Para os que consideram esse 5º V, refere-se a uma
característica fundamental do Big Data, pois afirmam que
não seria possível gerar valor a partir da combinação de
"volume + velocidade + variedade" se os dados não
forem confiáveis
Veracidade
Fonte: http://www.bigopendata.eu/
Desafios na
Administração Pública
 Necessidade de recursos tecnológicos capazes de suportar o
armazenamento de expressivos volumes de dados,
 Necessidade de capacidade de processamento desses dados
 Exigência de investimentos significativos, o que pode representar
empecilhos para o desenvolvimento de projetos de Big Data
Armazenamento de
Dados
 Aumento na complexidade do ambiente de Tecnologia da Informação
 Ameaças internas e externas aos dados, naturalmente existentes pelo
valor que pode ser obtido a partir dos mesmos
 Aumento das chamadas Advanced Persistent Threat – APT (Ameaça
Persistente Avançada)
 Grande diversidade de dados utilizados, que exigem tratamento diferente
de técnicas tradicionais para Segurança da Informação
Segurança e
Privacidade de Dados
 Área de conhecimento nova. Falta profissionais experientes
 Exigência de conhecimentos especializados em variadas ciências:
matemática, estatística e linguagens de programação. Falta profissionais
qualificados
 Qualificação através de programas de mestrado ou doutorado
 Estimativa do Gartner para 2015 previa a criação de 4,4 milhões postos de
empregos em todo o mundo para se trabalhar com Big Data
Falta de Profissionais
Oportunidades na
Administração Pública
 Saúde: qualidade e eficiência em políticas de saúde pública; detecção
de surtos de doenças
 Transportes: tráfego mais seguro e com menos interrupção
 Educação: análise de como alunos aprendem
 Arrecadação: detecção de fraudes/sonegações
 Meio Ambiente: monitoramento em tempo real; previsões climáticas
 Segurança: patrulhamento baseado em análises preditivas
Oportunidades
Case
DataViva
http://pt.dataviva.info/
Uma plataforma inovadora que agrega
valor às análises econômicas e ao
acesso a dados públicos
DataViva
DataViva
Big Data é uma realidade com a qual se convive hoje e
que apresenta diversas possibilidades de utilização com
os mais variados objetivos. Organizações devem buscar
o equilíbrio entre os desafios a serem enfrentados com os
benefícios a serem alcançados, na busca da melhoria da
prestação de serviços aos cidadãos
Conclusão
Obrigado!
Marcelo Veloso
marcelo.veloso@meioambiente.mg.gov.br
@MVSecurityBR
about.me/marceloveloso
pt.slideshare.net/mvsecurity

BIG DATA

  • 1.
    BIG DATA: Oportunidades eDesafios de Sua Implementação Pela Administração Pública 43º Seminário Nacional de TIC para a Gestão Pública 07, 08 e 09/10/2015 – Salvador/BA Marcelo Veloso
  • 2.
    Para alguns pesquisadores,o Big Data é tão revolucionário na vida humana quanto a descoberta do fogo ou o início da agricultura Motivação Fonte: Veja Edição 2321 - Vida Digital - Big Data
  • 3.
    Estima-se que oimpacto da utilização do Big Data nos 28 Estados Membros da União Europeia poderá representar uma contribuição de 206 bilhões de euros para a economia europeia até 2020 Motivação Fonte: http://www.bigopendata.eu/
  • 4.
    Recolhe 500 terabytesde dados por dia, incluindo 2,5 bilhões de peças de conteúdo, 2,7 bilhões de "likes", e 300 milhões de fotos Gigantes do Big Data
  • 5.
    Admitiu ter armazenado100 petabytes de fotos e vídeos a partir de 2012 Gigantes do Big Data
  • 6.
    Processa 3,5 bilhõesde solicitações por dia. Em 2009, se preparava para ter mais de 1 exabyte de dados. Estima- se que hoje esteja armazenando mais de 10 exabytes Gigantes do Big Data
  • 7.
    Amazon extrai dadosde 152 milhões de compras realizadas para ajudar os usuários a decidir quais itens comprar. Estima-se que tenha 1 exabyte de dados armazenados Gigantes do Big Data
  • 8.
    O que sãoas medidas? Unidade Tamanho Equivalência Byte 1 byte 1 letra Megabyte 1.024 kilobytes 1 livro Gigabyte 1.024 megabytes 1.600 livros Terabyte 1.024 gigabytes 1.600.000 livros Petabyte 1.024 terabytes 160.000.000 livros Exabyte 1.024 petabytes 1.600.000.000.000 livros
  • 9.
    90% de todosos dados do mundo de hoje foram produzidos nos últimos dois anos Crescimento
  • 10.
  • 11.
    Calcula-se que hoje2,5 quintilhões de bytes de dados é produzida todos os dias: 2.500.000.000.000.000.000 Crescimento
  • 12.
    Em 2011 foramcriados 2 zettabytes, tendo esse número passado para 3 em 2012, 5 em 2013, com previsão de alcançar 8 em 2015 e que chegará em 35 zettabytes em 2020 Crescimento Zettabyte = 10(21)
  • 13.
    Apresentar quais osprincipais desafios a serem enfrentados, além de exemplos de oportunidades reais a serem alcançadas através da implementação de soluções de big data pela administração pública brasileira Objetivo
  • 14.
    “Big data éde alto volume, de alta velocidade e de alta variedade dos ativos de informação que demandam formas inovadoras e rentáveis de processamento de informação para uma melhor percepção e tomada de decisão” Definição (Gartner, 2014)
  • 15.
  • 16.
    Refere-se à enormequantidade de dados gerada e que devem ser analisada e gerenciada para se conseguir tomar decisões com base em uma análise completa. Para o Big Data, quanto mais dados a serem analisados melhores serão os resultados apresentados Volume
  • 17.
    Refere-se a quãorápido os dados estão sendo produzidos e o quão rápido devem ser tratados. A identificação dos dados deve ser feita em um tempo hábil, sendo em muitas vezes em tempo real. Significa garantir acessibilidade Velocidade
  • 18.
    A ascensão dainformação proveniente a partir de novas fontes, tanto de dentro quanto de fora da organização. Apresentam-se como estruturados, não estruturados ou semiestruturados, oriundos das mais diversas fontes. Estima-se que 80% dos dados de uma organização não sejam numéricos Variedade
  • 19.
    Uma nova geraçãode tecnologias e arquiteturas concebidos para extrair o valor econômico de volumes muito grandes de uma ampla variedade de dados, permitindo a alta velocidade de captura, descoberta, e/ou análise Valor Fonte: IDC, 2012
  • 20.
    Para os queconsideram esse 5º V, refere-se a uma característica fundamental do Big Data, pois afirmam que não seria possível gerar valor a partir da combinação de "volume + velocidade + variedade" se os dados não forem confiáveis Veracidade
  • 21.
  • 22.
  • 23.
     Necessidade derecursos tecnológicos capazes de suportar o armazenamento de expressivos volumes de dados,  Necessidade de capacidade de processamento desses dados  Exigência de investimentos significativos, o que pode representar empecilhos para o desenvolvimento de projetos de Big Data Armazenamento de Dados
  • 24.
     Aumento nacomplexidade do ambiente de Tecnologia da Informação  Ameaças internas e externas aos dados, naturalmente existentes pelo valor que pode ser obtido a partir dos mesmos  Aumento das chamadas Advanced Persistent Threat – APT (Ameaça Persistente Avançada)  Grande diversidade de dados utilizados, que exigem tratamento diferente de técnicas tradicionais para Segurança da Informação Segurança e Privacidade de Dados
  • 25.
     Área deconhecimento nova. Falta profissionais experientes  Exigência de conhecimentos especializados em variadas ciências: matemática, estatística e linguagens de programação. Falta profissionais qualificados  Qualificação através de programas de mestrado ou doutorado  Estimativa do Gartner para 2015 previa a criação de 4,4 milhões postos de empregos em todo o mundo para se trabalhar com Big Data Falta de Profissionais
  • 26.
  • 27.
     Saúde: qualidadee eficiência em políticas de saúde pública; detecção de surtos de doenças  Transportes: tráfego mais seguro e com menos interrupção  Educação: análise de como alunos aprendem  Arrecadação: detecção de fraudes/sonegações  Meio Ambiente: monitoramento em tempo real; previsões climáticas  Segurança: patrulhamento baseado em análises preditivas Oportunidades
  • 28.
  • 29.
    DataViva http://pt.dataviva.info/ Uma plataforma inovadoraque agrega valor às análises econômicas e ao acesso a dados públicos
  • 30.
  • 31.
  • 32.
    Big Data éuma realidade com a qual se convive hoje e que apresenta diversas possibilidades de utilização com os mais variados objetivos. Organizações devem buscar o equilíbrio entre os desafios a serem enfrentados com os benefícios a serem alcançados, na busca da melhoria da prestação de serviços aos cidadãos Conclusão
  • 33.