Muitas vezes precisamos retirar dados de sites e sistemas web. E o selenium webdriver é uma ferramenta ótima para trabalhar com interações web. Com suporte a várias linguagens e ambientes veremos alguns exemplos de como capturar esses dados.

1. @pokemaobr
WebScrapping com
Selenium Webdriver

2. Rodrigo 'Pokemaobr' Cardoso
Bacharel em Matemática Aplicada e Computacional pela UFRRJ
MBA em Engenharia de Softwares Orientado para Serviços pelo IBTA
Apresentador @ The Velopers
Evangelista @ PHPSP
Criador do canal de youtube PokePHP
@pokemaobr - rodrigo.cardoso@imasters.com.br
@pokemaobr

3. O problema?

4. Sistema de Inscrição

5. Não tinha API

6. Daí tinha ingresso
free...

7. Cadastrar 500
pessoas na mão?

8. Acho melhor não né!

9. Pesquisando
soluções...

10. No início era o verbo...
cURL

11. PHP >= 4.0.2

14. Exemplo de Utilização

15. Prós

16. Prós
É nativo, basta habilitar a extensão

17. Prós
Sintaxe simples

18. Prós
Existe várias opções para os vários
tipos ações (POST, GET, COOKIES,
etc)

19. Contras

20. Contras
Uma chamada por URL,
“continuidade” só possível através
de COOKIES

21. Contras
Tem que se “desenhar” um form
específico do site.

22. Contras
Não “roda” javascript

23. Contras
Utilização de bibliotecas externas
para “parsear” o html

24. Não resolveu o
problema...

25. Alternativas ao CURL
file_get_contents ( bem similar ao
CURL, utilizando o conceito de
STREAMS, menos código para GET)

26. Alternativas ao CURL
GuzzleHTTP ( biblioteca que facilita
a realização de chamadas HTTP,
utiliza o cURL em seu core )

27. Aí fui ver o que
poderia me
salvar...

28. Selenium

29. Selenium
Motor para automação de browsers.

30. Selenium
É exatamente o browser.

31. Selenium
Utilizado para testes funcionais.

32. Selenium
É em JAVA.

33. Como posso
instalar isso aí?

34. Selenium - Instalação
Ter o último JAVA instalado.

35. Selenium - Instalação
Baixar o .jar
http://www.seleniumhq.org/downl
oad/
e rodar no terminal.

36. Selenium - Instalação
Precisa de um “driver” para cada
navegador.

37. Selenium - Instalação
Colocar o caminho dos “drivers” na
path do SO ou na pasta onde está o
client do Selenium.

38. Se é em JAVA com
funciona em PHP?

39. Facebook Webdriver
https://github.com/facebook/php-
webdriver

40. Facebook Webdriver
Abstração do Selenium utilizando
PHP.

41. Facebook Webdriver
Fácil sintaxe.

42. Facebook Webdriver
Fácil execução.

43. Facebook Webdriver
Você pode interagir com o browser e
capturar dados do browser.

44. Como começar?

45. Facebook Webdriver
“Rodar” o client

47. Facebook Webdriver
Dai é só dar o composer require
facebook/webdriver

49. Facebook Webdriver
Já no seu código PHP...

50. Facebook Webdriver
Autoload...

51. Facebook Webdriver
“Definir” o host...

52. Facebook Webdriver
“Definir” o driver...

53. Facebook Webdriver
Mandar o get na URL...

54. <?php
require_once 'vendor/autoload.php';
use FacebookWebDriverRemoteRemoteWebDriver;
use FacebookWebDriverRemoteDesiredCapabilities;
$host = 'http://localhost:4444/wd/hub';
$driver = RemoteWebDriver::create($host,
DesiredCapabilities::chrome());
$driver->get('https://phpeste.net');

55. Facebook Webdriver
E ver a mágica acontecer!

58. Facebook Webdriver
Você pode “ler” ou “preencher” os
dados por: id, name, className,
linkText, CssSelector, tagName,
xPath...
$icon = $driver-
>findElement(WebDriverBy::className('classe'));

59. Facebook Webdriver
E se a gente quisesse clicar para
comprar um ingresso?

60. Facebook Webdriver
Dá um “inspecionar” onde você quer
clicar e vê o HTML

62. Facebook Webdriver
Fomos trollados, pq não tem id, nem
name, a classe é usada nos 2 botões,
ou seja ferrou muito...

63. Facebook Webdriver
Mas podemos tentar pegar por
exemplo pela classe “btn-primary” e
pegar o primeiro elemento?

64. Facebook Webdriver
Daí é só colocar mais um use e outra
linha loka. E depois é só clicar...

65. use FacebookWebDriverWebDriverBy;
$links = $driver-
>findElements(WebDriverBy::className('btn-
primary'));
$links[0]->click();

67. Facebook Webdriver
Oia, funcionou...

68. Facebook Webdriver
E se quiséssemos pegar o nome de
palestrantes na programação?

69. Facebook Webdriver
E se quiséssemos pegar o nome de
palestrantes na programação?

70. Facebook Webdriver
Denovo vamos “inspecionar”

71. Facebook Webdriver
Fomos trollados novamente...

73. Facebook Webdriver
Vamos tentar com a tag “h5”

75. Facebook Webdriver
Parece que deu bom… Agora é só
pedir só o texto que dá bom!

77. Facebook Webdriver
Deu bom, como ficou o código?

78. <?php
require_once 'vendor/autoload.php';
use FacebookWebDriverRemoteRemoteWebDriver;
use FacebookWebDriverRemoteDesiredCapabilities;
use FacebookWebDriverWebDriverBy;
$host = 'http://localhost:4444/wd/hub';
$driver = RemoteWebDriver::create($host,
DesiredCapabilities::chrome());
$driver->get('https://phpeste.net/programming/');
$speakers = $driver->findElements(WebDriverBy::tagName('h5'));
foreach ($speakers as $speaker) {
echo $speaker->getText() . PHP_EOL;
}

79. Facebook Webdriver
E se a gente quisesse fazer uma
pesquisa no google?

80. Facebook Webdriver
Dá um “inspecionar” onde você quer
clicar e vê o HTML

82. Facebook Webdriver
Dai é só “enviar” as “teclas” para o
elemento na classe...

84. Facebook Webdriver
E o código?

85. <?php
require_once 'vendor/autoload.php';
use FacebookWebDriverRemoteRemoteWebDriver;
use FacebookWebDriverRemoteDesiredCapabilities;
use FacebookWebDriverWebDriverBy;
$host = 'http://localhost:4444/wd/hub';
$driver = RemoteWebDriver::create($host,
DesiredCapabilities::chrome());
$driver->get('https://google.com.br/');
$driver->findElement(WebDriverBy::className('gLFyf'))
->sendKeys('Pokemaobr');

86. Facebook Webdriver
Mas será que funciona de verdade?

87. Facebook Webdriver
Bem, isso aí é só pra começar…
Agora é com vocês...

88. Rodrigo 'Pokemaobr' Cardoso
Apresentador @ The Velopers
@pokemaobr
contato@pokemaobr.dev
@pokemaobr
Dúvidas?