Nesta palestra, vamos introduzir conceitos de MapReduce de dados da cidade. Vamos explorar dados em BigData da cidade e importantes insights que podem ajudar o cidadão comum a descobrir o que está acontecendo em sua cidade e, assim, ajudar a política local a gastar dinheiro com projetos que realmente valham a pena serem investidos. Palestra feita no Hacktown 2017, dia 9 de Setembro de 2017 (http://hacktown.com.br/palestra-minando-dados-de-sua-cidade-para-sua-comunidade-utilizando-java-ou-python/)

1. Minando dados de
sua cidade para
sua comunidade
(utilizando Java ou Python)
09 de Setembro
(15h30min - 16h30min)
Restaurante Papão

2. Quem é o Cesar Nogueira?
• Engenheiro de Software Pleno na Indra;
• Trabalhou em grandes empresas como
Instituto de Pesquisas Eldorado,
IBM (USA), Fundação CPqD
trabalhando diretamente com Java, Python e tecnologias
voltadas para análise de dados para backend;
■ Atual organizador do @SouJavaCampinas;
@cesarnogcps
26 anos

3. ATENÇÃO
http://tiny.cc/AndroidQR http://tiny.cc/AppleQR
ESTA
APRESENTAÇÃO
É DINÂMICA
E INCLUI VÁRIOS
QR CODES

4. Agenda
● O que é BigData?
● Minando dados com Java
● Minando dados com Python
● Projeto Serenata de Amor
● Minando dados interessantes pela API do
Meetup.com para sua comunidade.

5. O que é Big Data?

9. Minando dados com Java

10. Utilizando Hadoop MapReduce

12. Job tracker é o componente mestre que é responsável pela
execução completa do trabalho MapReduce global.
Para um trabalho enviado,
sempre haverá um jobtracker executado no Namenode.
Tasktrackers são os componentes escravos que são
responsáveis pela execução das tarefas individuais nos Datanodes.

13. Tutorial GRATUITO
para você fazer em casa durante a
madrugada
REALTIME EVENT PROCESSING IN
HADOOP WITH NIFI, KAFKA AND STORM
https://br.hortonworks.com/tutorial/realtime-event-processing-in
-hadoop-with-nifi-kafka-and-storm/

17. Minando dados com Python

18. MapReduce com Python

19. Hadoop Streaming com Python
https://examples.javacodege
eks.com/enterprise-java/apac
he-hadoop/hadoop-streaming
-example/
Source code:
http://examples.javacodegeeks.com/wp-co
ntent/uploads/2016/03/HadoopStreaming_
WordCount_Python.zip

20. https://github.com/fmasanori/treinamento
Treinamento gratuito
de raspagem de dados
https://github.com/fmasanori/search-script-scrape

21. Minando dados interessantes pela
API do Meetup.com para sua
comunidade

23. https://raw.githubusercontent.com/comunidadescampinas/agenda-api/master/src/lib.js
`${BASE_URL}/${comunidade}/events?key=${API_KEY}`
export const listarEventosTodasComunidades =
() =>
Promise.all(comunidades.map(listarEventos))
.then(res =>
res
.filter(i => !!i)
.reduce( (todos, atual) => ({
entities: {
comunidades:
mergeEntities('comunidades', todos.entities,
atual.entities),
locais: mergeEntities('locais',
todos.entities, atual.entities),
eventos: mergeEntities('eventos',
todos.entities, atual.entities)
},
result: todos.result.concat(atual.result)
}) )
)
.catch( err => { throw new Error(err) })

24. https://agendatechrmc.surge.sh/

25. Veja com a API foi construída!
https://github.com/comunidadescampinas/agenda-api

31. Curte programar em Java?
Descubra o novíssimo slack nacional de Java!
Entre agora pelo link:
http://javadevbr.herokuapp.com

32. Curte programar em Python?
Descubra o novíssimo slack nacional de Python!
Entre agora pelo link:
http://slack-pythonbrasil.herokuapp.com/

33. Dúvidas ???
Pode perguntar.
Sério.

34. Plataforma com as principais
séries temporais
do Brasil
em um só lugar
Inteligência
competitiva e de
mercado

35. Valeu!
o/
www.cesarnogueira.tech