Surfar na Web é Crawlear Web Crawler, Spider, Web Robot ou Bots é um programa que navega pela Internet de forma automatizada, realizando download de arquivos. Html, Css, Javascript, Imagens, Vídeos, Pdfs. O crawling não está, necessariamente, ligado ao protocolo HTTP (WWW). Outros protocolos FTP, SSH, Telnet, SMTP e por aí vai ...

1. Surfando com Python* nas ondas
da Internet
Elinaldo Monteiro
Developer at Jus Navigandi

3. O surf é uma prática desportiva efetuada
na superfície da água ...

4. O Oceano de Dados

5. Em 1 minunto

6. Alguns Surfistas

7. Surfar na Web é Crawlear
Web Crawler, Spider, Web Robot ou Bots é
um programa que navega pela Internet de
forma automatizada, realizando download de
arquivos. Html, Css, Javascript, Imagens,
Vídeos, Pdfs.
O crawling não está, necessariamente,
ligado ao protocolo HTTP (WWW).
Outros protocolos FTP, SSH, Telnet, SMTP e
por aí vai …

8. Algumas pranchas
• Python
• GO
• Ruby
• JAVA
• C/C++
• Erlang
• Scala
• Elixir
Escolha a prancha e viaje na Onda

9. images/mark.jpg images/ramalho.jpgimages/tarsis.jpgimages/bruno.jpeg

12. Scrapy
É um framework em Python para extração de
Dados.
• Xpath (XML Path Language, é uma linguagem
de consulta (Query Language)
• C libraries libxml2 and libxslt

14. A liberdade é um estado Mental
O mais Importante é a estratégia para pegar a Onda

16. • WEB 1.0
• WEB 2.0
• Sinergia de Sistemas (MicroServices)
• Inteligência Coletiva
• Internet das Coisas
• WEB 3.0

17. A questão principal é, porque Crawlear ?

19. Quem utiliza Big Data?
• Banco
• Governo
• Ensino
• Saúde
• Varejo
• Publicidade
• Relacionamentos Inter-Humanos

20. Next Session ?
• Distância Euclidiana
• Correlação de Person
• Coeficiente de Tanimoto
• Algoritmos Genéticos
• Aprendizagem
• Tecnologia de Agentes
• PageRank (Como Case de Sucesso e Modelo Histórico)

21. Perguntas ?
elinaldo.up@gmail.com