SlideShare uma empresa Scribd logo
1 de 25
Baixar para ler offline
RealmenteRealmente
precisamos deprecisamos de
big data?big data?
Álvaro JustenÁlvaro Justen
Encontro GEDAIEncontro GEDAI
15 junho de 2019 - Curitiba/PR15 junho de 2019 - Curitiba/PR
$ whoami$ whoami
TuricasTuricas, prazer! =), prazer! =)
Sigam-me os bons:Sigam-me os bons:
{{ ,,
,,
,,
,,
}}
//turicasturicas
twittertwitter
githubgithub
youtubeyoutube
slideshareslideshare
instagraminstagram
turicas@brasil.ioturicas@brasil.io
Brasil.IOBrasil.IO
“ Restringir acesso a dados públicos é
elitizar a democracia. ”
Curso para 3.000+ jornalistasCurso para 3.000+ jornalistas
--
O que é big data?O que é big data?
“ Big data is a field that treats ways to
analyze, systematically extract
information from, or otherwise deal with
data sets that are too large or complex
to be dealt with by traditional data-
processing application software. ”
Wikipedia
Programas tradicionais deProgramas tradicionais de
processamento de dadosprocessamento de dados
Não é só o Excel!
Sistemas de gestão de bancos de dados:
SQLite
PostgreSQL
MySQL
MongoDB
Riak
Oracle
...
Sistemas "não tradicionais" já conseguem gerenciar gigabytes
de dados facilmente
Não abrir noNão abrir no
Excel nãoExcel não
significa ser bigsignifica ser big
data!data!
Qual o tamanhoQual o tamanho
dos dados?dos dados?
-- (definição de )
Dados AbertosDados Abertos
“ Dados abertos são dados que podem
ser livremente usados, reutilizados e
redistribuídos por qualquer pessoa -
sujeitos, no máximo, à exigência de
atribuição da fonte e
compartilhamento pelas mesmas
regras. ”
OpenData Handbook Open Definition
Mais detalhes:
Lei de Acesso à Informação: 12.527/2011
Tamanho de alguns datasetsTamanho de alguns datasets
Salários dos magistrados
500k registros
250 MB
Candidaturas (1996-2018)
2,9M registros
2 GB
Filiações partidárias
23M registros
7,25 GB
Tamanho de alguns datasetsTamanho de alguns datasets
(2)(2)
Empresas brasileiras
40M registros
12 GB
Sócios das empresas
18M registros
3,7 GB
Gastos diretos Gov Federal
92M registros
70 GB
O que significa, então, bigO que significa, então, big
data?data?
Abre no Excel. Definitivamente não!
São 10GB! Não.
Mais de 100GB! Também não.
1TB! Ainda não!
Mais de 2TB. Talvez.
Mas só falam deMas só falam de
big data...big data...
Startup BullshitStartup Bullshit
DON'T BELIEVE THE HYPEDON'T BELIEVE THE HYPE
southpark.cc.com
Companies don't need bigdataCompanies don't need bigdata
They need right dataThey need right data
hbr.org
E agora?E agora?
LGPD só faz sentido com bigLGPD só faz sentido com big
data?data?
twitter.com/turicas/status/1139512328590962688
Preciso de big data paraPreciso de big data para
machine learning?machine learning?
Não!
Para deep learning: talvez.
O que dá praO que dá pra
fazer sem bigfazer sem big
data?data?
EMAp/Escola de Direito FGV
Supremo em NúmerosSupremo em Números
fgv.br/supremoemnumeros
(em conjunto com Giulliana Biaconi, para )generonumero.media
Leia a matéria
(em conjunto com Natália Mazotte, para )
Rua: substantivo (ainda)Rua: substantivo (ainda)
masculinomasculino
generonumero.media
youtu.be/7yQ8U2tFFq4
(em conjunto com Adriano Belisário, para )apublica.org
Acesse a matéria
ConclusõesConclusões
Big data não é o que muitos pensam
Poucas empresas realmente precisam nesse momento
Existem aplicações incríveis fora do big data
Não sou contra big data
Obrigado pela atenção (:Obrigado pela atenção (:
{{ ,,
,,
,,
,,
}}
//turicasturicas
twittertwitter
githubgithub
youtubeyoutube
slideshareslideshare
instagraminstagram
turicas@brasil.ioturicas@brasil.io

Mais conteúdo relacionado

Semelhante a Realmente precisamos de big data?

Introdução - Big Data e Business Intelligence
Introdução - Big Data e Business IntelligenceIntrodução - Big Data e Business Intelligence
Introdução - Big Data e Business IntelligenceLeandro Guerra
 
Big Ideas, small Data
Big Ideas, small DataBig Ideas, small Data
Big Ideas, small DataDigital House
 
Desmistificando o Big Data
Desmistificando o Big DataDesmistificando o Big Data
Desmistificando o Big DataZipCode
 
Big Data em 8 perguntas - 09.10.2014 - DATANORTE / GOV RN
Big Data em 8 perguntas -  09.10.2014 - DATANORTE / GOV RNBig Data em 8 perguntas -  09.10.2014 - DATANORTE / GOV RN
Big Data em 8 perguntas - 09.10.2014 - DATANORTE / GOV RNMarcos Luiz Lins Filho
 
Big Data, seu novo paradigma para análise de dados e seus mitos
Big Data, seu novo paradigma para análise de dados e seus mitosBig Data, seu novo paradigma para análise de dados e seus mitos
Big Data, seu novo paradigma para análise de dados e seus mitosJose Augusto Sapienza Ramos
 
I Seminário Big Data Brasil
I Seminário Big Data BrasilI Seminário Big Data Brasil
I Seminário Big Data BrasilMarcos CAVALCANTI
 
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud ComputingUm novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud ComputingJosé Carlos Cavalcanti
 
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 131º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13cictec
 
Big Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoBig Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoHélio Silva
 
Bigdata alexandre v2
Bigdata alexandre v2Bigdata alexandre v2
Bigdata alexandre v2alexculpado
 
Dados - Insumos para a Transformação Digital
Dados - Insumos para a Transformação DigitalDados - Insumos para a Transformação Digital
Dados - Insumos para a Transformação DigitalThiago Avila, Msc
 
Big data Instituto Big Data Brasil Crie
Big data Instituto Big Data Brasil CrieBig data Instituto Big Data Brasil Crie
Big data Instituto Big Data Brasil CrieMarcos CAVALCANTI
 
O Desafio da Integração de TI e Redes Sociais
O Desafio da Integração de TI e Redes SociaisO Desafio da Integração de TI e Redes Sociais
O Desafio da Integração de TI e Redes SociaisMario Faria
 
BigData-Hekima-Ebook.pdf
BigData-Hekima-Ebook.pdfBigData-Hekima-Ebook.pdf
BigData-Hekima-Ebook.pdfssuserbd3b69
 
Como o uso de big data pode beneficiar serviços Públicos e Privados?
Como o uso de big data pode beneficiar serviços Públicos e Privados?      Como o uso de big data pode beneficiar serviços Públicos e Privados?
Como o uso de big data pode beneficiar serviços Públicos e Privados? inovaDay .
 
Big data e Inteligência Artificial
Big data e Inteligência ArtificialBig data e Inteligência Artificial
Big data e Inteligência ArtificialJoão Gabriel Lima
 

Semelhante a Realmente precisamos de big data? (20)

Introdução - Big Data e Business Intelligence
Introdução - Big Data e Business IntelligenceIntrodução - Big Data e Business Intelligence
Introdução - Big Data e Business Intelligence
 
Big Ideas, small Data
Big Ideas, small DataBig Ideas, small Data
Big Ideas, small Data
 
Desmistificando o Big Data
Desmistificando o Big DataDesmistificando o Big Data
Desmistificando o Big Data
 
Big Data em 8 perguntas - 09.10.2014 - DATANORTE / GOV RN
Big Data em 8 perguntas -  09.10.2014 - DATANORTE / GOV RNBig Data em 8 perguntas -  09.10.2014 - DATANORTE / GOV RN
Big Data em 8 perguntas - 09.10.2014 - DATANORTE / GOV RN
 
Big Data - uma visão executiva
Big Data - uma visão executivaBig Data - uma visão executiva
Big Data - uma visão executiva
 
Big Data, seu novo paradigma para análise de dados e seus mitos
Big Data, seu novo paradigma para análise de dados e seus mitosBig Data, seu novo paradigma para análise de dados e seus mitos
Big Data, seu novo paradigma para análise de dados e seus mitos
 
I Seminário Big Data Brasil
I Seminário Big Data BrasilI Seminário Big Data Brasil
I Seminário Big Data Brasil
 
Artigo big data_final
Artigo big data_finalArtigo big data_final
Artigo big data_final
 
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud ComputingUm novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
Um novo "ABC" das TICs: (A)nalytics + (B)ig Data + (C)loud Computing
 
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 131º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
1º Seminário CICTEC - Um Novo ABC das TICs - José Carlos Cavalcanti 22 05 13
 
BigData
BigDataBigData
BigData
 
Big Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoBig Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e Mercado
 
Bigdata alexandre v2
Bigdata alexandre v2Bigdata alexandre v2
Bigdata alexandre v2
 
Dados - Insumos para a Transformação Digital
Dados - Insumos para a Transformação DigitalDados - Insumos para a Transformação Digital
Dados - Insumos para a Transformação Digital
 
Big data Instituto Big Data Brasil Crie
Big data Instituto Big Data Brasil CrieBig data Instituto Big Data Brasil Crie
Big data Instituto Big Data Brasil Crie
 
O Desafio da Integração de TI e Redes Sociais
O Desafio da Integração de TI e Redes SociaisO Desafio da Integração de TI e Redes Sociais
O Desafio da Integração de TI e Redes Sociais
 
BI & BigData
BI & BigDataBI & BigData
BI & BigData
 
BigData-Hekima-Ebook.pdf
BigData-Hekima-Ebook.pdfBigData-Hekima-Ebook.pdf
BigData-Hekima-Ebook.pdf
 
Como o uso de big data pode beneficiar serviços Públicos e Privados?
Como o uso de big data pode beneficiar serviços Públicos e Privados?      Como o uso de big data pode beneficiar serviços Públicos e Privados?
Como o uso de big data pode beneficiar serviços Públicos e Privados?
 
Big data e Inteligência Artificial
Big data e Inteligência ArtificialBig data e Inteligência Artificial
Big data e Inteligência Artificial
 

Mais de Álvaro Justen

Sobre os ombos de gigantes
Sobre os ombos de gigantesSobre os ombos de gigantes
Sobre os ombos de gigantesÁlvaro Justen
 
Projeto Brasil.IO COVID-19: Dados Públicos Acessíveis
Projeto Brasil.IO COVID-19: Dados Públicos AcessíveisProjeto Brasil.IO COVID-19: Dados Públicos Acessíveis
Projeto Brasil.IO COVID-19: Dados Públicos AcessíveisÁlvaro Justen
 
Dados abertos, Python e PostgreSQL: a combinação perfeita
Dados abertos, Python e PostgreSQL: a combinação perfeitaDados abertos, Python e PostgreSQL: a combinação perfeita
Dados abertos, Python e PostgreSQL: a combinação perfeitaÁlvaro Justen
 
A era da pós-verdade - minhas reflexões e crenças
A era da pós-verdade - minhas reflexões e crençasA era da pós-verdade - minhas reflexões e crenças
A era da pós-verdade - minhas reflexões e crençasÁlvaro Justen
 
Ciência de Dados na Linha de Comando
Ciência de Dados na Linha de ComandoCiência de Dados na Linha de Comando
Ciência de Dados na Linha de ComandoÁlvaro Justen
 
Brasil.IO: Libertação de Dados Públicos, com Python
Brasil.IO: Libertação de Dados Públicos, com PythonBrasil.IO: Libertação de Dados Públicos, com Python
Brasil.IO: Libertação de Dados Públicos, com PythonÁlvaro Justen
 
#opendata #fail: Causos da Transparência Brasileira
#opendata #fail: Causos da Transparência Brasileira#opendata #fail: Causos da Transparência Brasileira
#opendata #fail: Causos da Transparência BrasileiraÁlvaro Justen
 
Brasil.IO: Dados Abertos para Mais Democracia
Brasil.IO: Dados Abertos para Mais DemocraciaBrasil.IO: Dados Abertos para Mais Democracia
Brasil.IO: Dados Abertos para Mais DemocraciaÁlvaro Justen
 
Dados abertos, direito autoral e democracia
Dados abertos, direito autoral e democraciaDados abertos, direito autoral e democracia
Dados abertos, direito autoral e democraciaÁlvaro Justen
 
Jornalismo de Dados: Programando a Democracia no Brasil
Jornalismo de Dados: Programando a Democracia no BrasilJornalismo de Dados: Programando a Democracia no Brasil
Jornalismo de Dados: Programando a Democracia no BrasilÁlvaro Justen
 
Introdução a programação com Python (para jornalistas)
Introdução a programação com Python (para jornalistas)Introdução a programação com Python (para jornalistas)
Introdução a programação com Python (para jornalistas)Álvaro Justen
 
Libertando dados públicos com ferramentas livres
Libertando dados públicos com ferramentas livresLibertando dados públicos com ferramentas livres
Libertando dados públicos com ferramentas livresÁlvaro Justen
 
Introdução a Programação com Python
Introdução a Programação com PythonIntrodução a Programação com Python
Introdução a Programação com PythonÁlvaro Justen
 
Software Livre versus Open Source
Software Livre versus Open SourceSoftware Livre versus Open Source
Software Livre versus Open SourceÁlvaro Justen
 
Datos Tabulares: La Manera Pythónica
Datos Tabulares: La Manera PythónicaDatos Tabulares: La Manera Pythónica
Datos Tabulares: La Manera PythónicaÁlvaro Justen
 
[FISL17] Liberando dados com um comando, por Álvaro Justen
[FISL17] Liberando dados com um comando, por Álvaro Justen[FISL17] Liberando dados com um comando, por Álvaro Justen
[FISL17] Liberando dados com um comando, por Álvaro JustenÁlvaro Justen
 
Arduino (para fazedores)
Arduino (para fazedores)Arduino (para fazedores)
Arduino (para fazedores)Álvaro Justen
 
Dados tabulares: A Maneira Pythônica
Dados tabulares: A Maneira PythônicaDados tabulares: A Maneira Pythônica
Dados tabulares: A Maneira PythônicaÁlvaro Justen
 
[PyBr11] Lendo dados tabulares: versão pythônica
[PyBr11] Lendo dados tabulares: versão pythônica[PyBr11] Lendo dados tabulares: versão pythônica
[PyBr11] Lendo dados tabulares: versão pythônicaÁlvaro Justen
 

Mais de Álvaro Justen (20)

Sobre os ombos de gigantes
Sobre os ombos de gigantesSobre os ombos de gigantes
Sobre os ombos de gigantes
 
Projeto Brasil.IO COVID-19: Dados Públicos Acessíveis
Projeto Brasil.IO COVID-19: Dados Públicos AcessíveisProjeto Brasil.IO COVID-19: Dados Públicos Acessíveis
Projeto Brasil.IO COVID-19: Dados Públicos Acessíveis
 
Dados abertos, Python e PostgreSQL: a combinação perfeita
Dados abertos, Python e PostgreSQL: a combinação perfeitaDados abertos, Python e PostgreSQL: a combinação perfeita
Dados abertos, Python e PostgreSQL: a combinação perfeita
 
A era da pós-verdade - minhas reflexões e crenças
A era da pós-verdade - minhas reflexões e crençasA era da pós-verdade - minhas reflexões e crenças
A era da pós-verdade - minhas reflexões e crenças
 
Ciência de Dados na Linha de Comando
Ciência de Dados na Linha de ComandoCiência de Dados na Linha de Comando
Ciência de Dados na Linha de Comando
 
Brasil.IO: Libertação de Dados Públicos, com Python
Brasil.IO: Libertação de Dados Públicos, com PythonBrasil.IO: Libertação de Dados Públicos, com Python
Brasil.IO: Libertação de Dados Públicos, com Python
 
#opendata #fail: Causos da Transparência Brasileira
#opendata #fail: Causos da Transparência Brasileira#opendata #fail: Causos da Transparência Brasileira
#opendata #fail: Causos da Transparência Brasileira
 
Brasil.IO: Dados Abertos para Mais Democracia
Brasil.IO: Dados Abertos para Mais DemocraciaBrasil.IO: Dados Abertos para Mais Democracia
Brasil.IO: Dados Abertos para Mais Democracia
 
Dados abertos, direito autoral e democracia
Dados abertos, direito autoral e democraciaDados abertos, direito autoral e democracia
Dados abertos, direito autoral e democracia
 
Jornalismo de Dados: Programando a Democracia no Brasil
Jornalismo de Dados: Programando a Democracia no BrasilJornalismo de Dados: Programando a Democracia no Brasil
Jornalismo de Dados: Programando a Democracia no Brasil
 
Python no Jornalismo
Python no JornalismoPython no Jornalismo
Python no Jornalismo
 
Introdução a programação com Python (para jornalistas)
Introdução a programação com Python (para jornalistas)Introdução a programação com Python (para jornalistas)
Introdução a programação com Python (para jornalistas)
 
Libertando dados públicos com ferramentas livres
Libertando dados públicos com ferramentas livresLibertando dados públicos com ferramentas livres
Libertando dados públicos com ferramentas livres
 
Introdução a Programação com Python
Introdução a Programação com PythonIntrodução a Programação com Python
Introdução a Programação com Python
 
Software Livre versus Open Source
Software Livre versus Open SourceSoftware Livre versus Open Source
Software Livre versus Open Source
 
Datos Tabulares: La Manera Pythónica
Datos Tabulares: La Manera PythónicaDatos Tabulares: La Manera Pythónica
Datos Tabulares: La Manera Pythónica
 
[FISL17] Liberando dados com um comando, por Álvaro Justen
[FISL17] Liberando dados com um comando, por Álvaro Justen[FISL17] Liberando dados com um comando, por Álvaro Justen
[FISL17] Liberando dados com um comando, por Álvaro Justen
 
Arduino (para fazedores)
Arduino (para fazedores)Arduino (para fazedores)
Arduino (para fazedores)
 
Dados tabulares: A Maneira Pythônica
Dados tabulares: A Maneira PythônicaDados tabulares: A Maneira Pythônica
Dados tabulares: A Maneira Pythônica
 
[PyBr11] Lendo dados tabulares: versão pythônica
[PyBr11] Lendo dados tabulares: versão pythônica[PyBr11] Lendo dados tabulares: versão pythônica
[PyBr11] Lendo dados tabulares: versão pythônica
 

Realmente precisamos de big data?

  • 1. RealmenteRealmente precisamos deprecisamos de big data?big data? Álvaro JustenÁlvaro Justen Encontro GEDAIEncontro GEDAI 15 junho de 2019 - Curitiba/PR15 junho de 2019 - Curitiba/PR
  • 2. $ whoami$ whoami TuricasTuricas, prazer! =), prazer! =) Sigam-me os bons:Sigam-me os bons: {{ ,, ,, ,, ,, }} //turicasturicas twittertwitter githubgithub youtubeyoutube slideshareslideshare instagraminstagram turicas@brasil.ioturicas@brasil.io
  • 3. Brasil.IOBrasil.IO “ Restringir acesso a dados públicos é elitizar a democracia. ”
  • 4. Curso para 3.000+ jornalistasCurso para 3.000+ jornalistas
  • 5. -- O que é big data?O que é big data? “ Big data is a field that treats ways to analyze, systematically extract information from, or otherwise deal with data sets that are too large or complex to be dealt with by traditional data- processing application software. ” Wikipedia
  • 6. Programas tradicionais deProgramas tradicionais de processamento de dadosprocessamento de dados Não é só o Excel! Sistemas de gestão de bancos de dados: SQLite PostgreSQL MySQL MongoDB Riak Oracle ... Sistemas "não tradicionais" já conseguem gerenciar gigabytes de dados facilmente
  • 7. Não abrir noNão abrir no Excel nãoExcel não significa ser bigsignifica ser big data!data!
  • 8. Qual o tamanhoQual o tamanho dos dados?dos dados?
  • 9. -- (definição de ) Dados AbertosDados Abertos “ Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras. ” OpenData Handbook Open Definition Mais detalhes: Lei de Acesso à Informação: 12.527/2011
  • 10. Tamanho de alguns datasetsTamanho de alguns datasets Salários dos magistrados 500k registros 250 MB Candidaturas (1996-2018) 2,9M registros 2 GB Filiações partidárias 23M registros 7,25 GB
  • 11. Tamanho de alguns datasetsTamanho de alguns datasets (2)(2) Empresas brasileiras 40M registros 12 GB Sócios das empresas 18M registros 3,7 GB Gastos diretos Gov Federal 92M registros 70 GB
  • 12. O que significa, então, bigO que significa, então, big data?data? Abre no Excel. Definitivamente não! São 10GB! Não. Mais de 100GB! Também não. 1TB! Ainda não! Mais de 2TB. Talvez.
  • 13. Mas só falam deMas só falam de big data...big data...
  • 14. Startup BullshitStartup Bullshit DON'T BELIEVE THE HYPEDON'T BELIEVE THE HYPE southpark.cc.com
  • 15. Companies don't need bigdataCompanies don't need bigdata They need right dataThey need right data hbr.org
  • 17. LGPD só faz sentido com bigLGPD só faz sentido com big data?data? twitter.com/turicas/status/1139512328590962688
  • 18. Preciso de big data paraPreciso de big data para machine learning?machine learning? Não! Para deep learning: talvez.
  • 19. O que dá praO que dá pra fazer sem bigfazer sem big data?data?
  • 20. EMAp/Escola de Direito FGV Supremo em NúmerosSupremo em Números fgv.br/supremoemnumeros
  • 21. (em conjunto com Giulliana Biaconi, para )generonumero.media Leia a matéria
  • 22. (em conjunto com Natália Mazotte, para ) Rua: substantivo (ainda)Rua: substantivo (ainda) masculinomasculino generonumero.media youtu.be/7yQ8U2tFFq4
  • 23. (em conjunto com Adriano Belisário, para )apublica.org Acesse a matéria
  • 24. ConclusõesConclusões Big data não é o que muitos pensam Poucas empresas realmente precisam nesse momento Existem aplicações incríveis fora do big data Não sou contra big data
  • 25. Obrigado pela atenção (:Obrigado pela atenção (: {{ ,, ,, ,, ,, }} //turicasturicas twittertwitter githubgithub youtubeyoutube slideshareslideshare instagraminstagram turicas@brasil.ioturicas@brasil.io