O documento discute o conceito de big data e se realmente precisamos dele. Explica que big data não significa apenas abrir dados no Excel e que seu tamanho depende de cada caso, podendo variar de gigabytes a terabytes. Também mostra exemplos de aplicações que podem ser feitas sem big data, como análises com dados abertos e machine learning.

1. RealmenteRealmente
precisamos deprecisamos de
big data?big data?
Álvaro JustenÁlvaro Justen
Encontro GEDAIEncontro GEDAI
15 junho de 2019 - Curitiba/PR15 junho de 2019 - Curitiba/PR

2. $ whoami$ whoami
TuricasTuricas, prazer! =), prazer! =)
Sigam-me os bons:Sigam-me os bons:
{{ ,,
,,
,,
,,
}}
//turicasturicas
twittertwitter
githubgithub
youtubeyoutube
slideshareslideshare
instagraminstagram
turicas@brasil.ioturicas@brasil.io

3. Brasil.IOBrasil.IO
“ Restringir acesso a dados públicos é
elitizar a democracia. ”

4. Curso para 3.000+ jornalistasCurso para 3.000+ jornalistas

5. --
O que é big data?O que é big data?
“ Big data is a field that treats ways to
analyze, systematically extract
information from, or otherwise deal with
data sets that are too large or complex
to be dealt with by traditional data-
processing application software. ”
Wikipedia

6. Programas tradicionais deProgramas tradicionais de
processamento de dadosprocessamento de dados
Não é só o Excel!
Sistemas de gestão de bancos de dados:
SQLite
PostgreSQL
MySQL
MongoDB
Riak
Oracle
...
Sistemas "não tradicionais" já conseguem gerenciar gigabytes
de dados facilmente

7. Não abrir noNão abrir no
Excel nãoExcel não
significa ser bigsignifica ser big
data!data!

8. Qual o tamanhoQual o tamanho
dos dados?dos dados?

9. -- (definição de )
Dados AbertosDados Abertos
“ Dados abertos são dados que podem
ser livremente usados, reutilizados e
redistribuídos por qualquer pessoa -
sujeitos, no máximo, à exigência de
atribuição da fonte e
compartilhamento pelas mesmas
regras. ”
OpenData Handbook Open Definition
Mais detalhes:
Lei de Acesso à Informação: 12.527/2011

10. Tamanho de alguns datasetsTamanho de alguns datasets
Salários dos magistrados
500k registros
250 MB
Candidaturas (1996-2018)
2,9M registros
2 GB
Filiações partidárias
23M registros
7,25 GB

11. Tamanho de alguns datasetsTamanho de alguns datasets
(2)(2)
Empresas brasileiras
40M registros
12 GB
Sócios das empresas
18M registros
3,7 GB
Gastos diretos Gov Federal
92M registros
70 GB

12. O que significa, então, bigO que significa, então, big
data?data?
Abre no Excel. Definitivamente não!
São 10GB! Não.
Mais de 100GB! Também não.
1TB! Ainda não!
Mais de 2TB. Talvez.

13. Mas só falam deMas só falam de
big data...big data...

14. Startup BullshitStartup Bullshit
DON'T BELIEVE THE HYPEDON'T BELIEVE THE HYPE
southpark.cc.com

15. Companies don't need bigdataCompanies don't need bigdata
They need right dataThey need right data
hbr.org

16. E agora?E agora?

17. LGPD só faz sentido com bigLGPD só faz sentido com big
data?data?
twitter.com/turicas/status/1139512328590962688

18. Preciso de big data paraPreciso de big data para
machine learning?machine learning?
Não!
Para deep learning: talvez.

19. O que dá praO que dá pra
fazer sem bigfazer sem big
data?data?

20. EMAp/Escola de Direito FGV
Supremo em NúmerosSupremo em Números
fgv.br/supremoemnumeros

21. (em conjunto com Giulliana Biaconi, para )generonumero.media
Leia a matéria

22. (em conjunto com Natália Mazotte, para )
Rua: substantivo (ainda)Rua: substantivo (ainda)
masculinomasculino
generonumero.media
youtu.be/7yQ8U2tFFq4

23. (em conjunto com Adriano Belisário, para )apublica.org
Acesse a matéria

24. ConclusõesConclusões
Big data não é o que muitos pensam
Poucas empresas realmente precisam nesse momento
Existem aplicações incríveis fora do big data
Não sou contra big data

25. Obrigado pela atenção (:Obrigado pela atenção (:
{{ ,,
,,
,,
,,
}}
//turicasturicas
twittertwitter
githubgithub
youtubeyoutube
slideshareslideshare
instagraminstagram
turicas@brasil.ioturicas@brasil.io