Surfar na Web é Crawlear
Web Crawler, Spider, Web Robot ou Bots é um programa que navega pela Internet de forma automatizada, realizando download de arquivos. Html, Css, Javascript, Imagens, Vídeos, Pdfs.
O crawling não está, necessariamente, ligado ao protocolo HTTP (WWW).
Outros protocolos FTP, SSH, Telnet, SMTP e por aí vai ...
7. Surfar na Web é Crawlear
Web Crawler, Spider, Web Robot ou Bots é
um programa que navega pela Internet de
forma automatizada, realizando download de
arquivos. Html, Css, Javascript, Imagens,
Vídeos, Pdfs.
O crawling não está, necessariamente,
ligado ao protocolo HTTP (WWW).
Outros protocolos FTP, SSH, Telnet, SMTP e
por aí vai …
8. Algumas pranchas
• Python
• GO
• Ruby
• JAVA
• C/C++
• Erlang
• Scala
• Elixir
Escolha a prancha e viaje na Onda
12. Scrapy
É um framework em Python para extração de
Dados.
• Xpath (XML Path Language, é uma linguagem
de consulta (Query Language)
• C libraries libxml2 and libxslt
13.
14. A liberdade é um estado Mental
O mais Importante é a estratégia para pegar a Onda
15.
16. • WEB 1.0
• WEB 2.0
• Sinergia de Sistemas (MicroServices)
• Inteligência Coletiva
• Internet das Coisas
• WEB 3.0
19. Quem utiliza Big Data?
• Banco
• Governo
• Ensino
• Saúde
• Varejo
• Publicidade
• Relacionamentos Inter-Humanos
20. Next Session ?
• Distância Euclidiana
• Correlação de Person
• Coeficiente de Tanimoto
• Algoritmos Genéticos
• Aprendizagem
• Tecnologia de Agentes
• PageRank (Como Case de Sucesso e Modelo Histórico)
Mar com um volume de dados – estruturados e não estruturados.
Vendido por US$ 342 milhões, BuscaPé começou com R$ 100 ao mês = 91% Romero Rodrigues
Big Data é o termo que descreve o imenso volume de dados – estruturados e não estruturados – que impactam os negócios no dia a dia. Mas o importante não é a quantidade de dados. E sim o que as empresas fazem com os dados que realmente importam. Big Data pode ser analisado para a obtenção de insights que levam a melhores decisões e direções estratégicas de negócio.
Big Data é o termo que descreve o imenso volume de dados – estruturados e não estruturados – que impactam os negócios no dia a dia. Mas o importante não é a quantidade de dados. E sim o que as empresas fazem com os dados que realmente importam. Big Data pode ser analisado para a obtenção de insights que levam a melhores decisões e direções estratégicas de negócio.
Big Data é o termo que descreve o imenso volume de dados – estruturados e não estruturados – que impactam os negócios no dia a dia. Mas o importante não é a quantidade de dados. E sim o que as empresas fazem com os dados que realmente importam. Big Data pode ser analisado para a obtenção de insights que levam a melhores decisões e direções estratégicas de negócio.