O documento discute a extração de dados da web usando Selenium WebDriver e MongoDB. Ele apresenta Selenium como uma ferramenta para automatizar a manipulação de páginas web e extrair dados. Em seguida, explica como MongoDB pode ser usado para armazenar os dados extraídos de forma flexível. Por fim, fornece um exemplo prático de extração de dados do Campeonato Brasileiro usando essas tecnologias.

1. Globalcode – Open4education
NoSQL – Extração de Dados na Web
com MongoDB e Selenium
Renato Groffe
Microsoft MVP, MTAC

2. Globalcode – Open4education
Contatos
https://medium.com/@renato.groffe/
/renatogroffe /in/renatogroffe
/canaldotnet
/renatogroffe/renatogroff
/canaldotnet

3. Globalcode – Open4education
Agenda
Extração de dados da Web: motivações
Selenium WebDriver: uma visão geral
Extração de dados com MongoDB e Selenium: um
exemplo prático

4. Globalcode – Open4education
Extração de dados da Web –
Motivações
Nem sempre existem APIs REST (públicas ou
privadas) para atender a uma demanda
específica
Aplicações podem ser construídas para a
extração de dados a partir de páginas Web

5. Globalcode – Open4education
Solução possível
Implementação de robôs/bots para extração e carga de dados

6. Globalcode – Open4education
Solução possível
Selenium WebDriver + MongoDB
++

7. Globalcode – Open4education
Selenium – Visão geral
Testes automatizados de interfaces Web
Recursos para a manipulação de elementos de
uma página HTML
Compatibilidade com browsers como
Firefox, Chrome, Internet Explorer, Edge,
Opera
Site: http://www.seleniumhq.org/

8. Globalcode – Open4education
Selenium – Algumas plataformas
suportadas

9. Globalcode – Open4education
Selenium e boas práticas
Uso do padrão Page Object, proposto por
Martin Fowler
Encapsulamento das chamadas envolvendo a
manipulação de elementos HTML, de forma a
simplificar a escrita de testes
Referência:
http://martinfowler.com/bliki/PageObject.html

10. Globalcode – Open4education
Que tal não abrir múltiplas janelas?
Browsers como Mozilla Firefox e Google
Chrome contam agora com o modo
headless
Maior velocidade na execução de testes
Quem está processando os testes não
precisa aguardar a sua execução e
conclusão

11. Globalcode – Open4education
Por que MongoDB?
Open source
Multiplataforma
Flexibilidade por ser schemaless

12. Globalcode – Open4education
E como fica a extração de dados?
Processos de extração podem ser implementados em
qualquer plataforma empregando Selenium WebDriver
Uso de modo headless
A manipulação de elementos HTML estará
completamente desvinculada da implementação de testes
MongoDB + Selenium WebDriver → o caráter
multiplaforma desta combinação é mais uma vantagem
++

13. Globalcode – Open4education
Exemplo prático
Extração de dados do Campeonato Brasileiro:
github.com/renatogroffe/Extracao-Brasileirao-Mongo-DotNetCore2.1

14. Globalcode – Open4education
Obrigado!!!