Спикер — Глеб Яма — PHP разработчик BWT Group Уровень аудитории — Ничего не знаю, но хочу!/Знаю только в теории. Доклад – обучающий/демонстрационный

1. Парсер:
что? зачем? как?
Gleb Yama
developer
BWT group

2. Откуда столько информации?

3. Нам нужен список автомобилей.
Делать будем на PHP
- можно взять справочник и
просто перенабрать :-)
- можно самостоятельно
гуглить и заполнять базу
- можно спарсить откуда то

4. Подготовка. Анализ структуры сайта.
1)Использует ли сайт авторизацию для доступа к контенту (login/pass)?
2)Как строятся урлы на сайте (/?auto=Honda)?
3)Желательно найти карту сайта (sitemap.xml)
4)Использует ли сайт куки или какие-то специфические хэдеры?
5)Есть ли контент подгружаемый асинхронно (есть ajax?)?
6)Анализ структуры страниц (что именно нам нужно)

5. Все готово, начинаем парсить.
file_get_content
(быстро но неудобно)
CURL
(функционально,
много параметров)
guzzle
(аналог CURL)

6. CURL наш выбор.
private static function requestByCurl($url, $proxy)
{
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);
curl_setopt($curl, CURLOPT_ENCODING, "gzip");
curl_setopt($curl, CURLOPT_PROXY, $proxy);
curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; WOW64;
rv:48.0) Gecko/20100101 Firefox/48.0');
curl_setopt($curl, CURLOPT_HTTPHEADER, array("Cookie: lang="v=2&lang=en-
us"",));
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
$response = curl_exec($curl);
$code = curl_getinfo($curl, CURLINFO_HTTP_CODE);
curl_close($curl);
return ['code' => $code, 'data' => $response];
}

7. Как выбрать нужное? Вариант 1
feelinglucky/php-readability
Автоматически выбираем только основной контент.
private function parseContent($html)
{
$readability = new Readability($html);
$readabilityData = $readability->getContent();
return $readabilityData['content'];
}

8. Как выбрать нужное? Вариант 2
PHP Simple HTML DOM Parser
Если заранее известна структура страницы
private function parseImages($htmlText)
{
$html = str_get_html($htmlText);
$images = $html->find('img');
foreach ($images as $img) {
saveImg($img->src);
}
}

9. Как выбрать нужное? Вариант 3
RegExp
Если мы не знаем где находится нужный элемент
function parseEmails( $htmlText ) {
preg_match_all( "/[w][w.-]*([+][d])?(@)[w.-
]+(.)[w]+/ui", $htmlText, $matches );
return $matches[0];
}

10. Как то не быстро получается
И так, парсится у нас одна ссылочка за 1 секунду… а нам надо спарсить
100 000 000 ссылок (реальная задача) итого примерно 1157 дней.
Выход - многопоточность

11. Многопоточность для PHP - reactphp/react
$loop = ReactEventLoopFactory::create();
for ($i = 0; $i < $numberOfChildren; $i++) {
$process[$i] = new ReactChildProcessProcess("php web.php $i");
$process[$i]->on('exit', function ($exitCode, $termSignal) {
//do something on exit
});
}
foreach ($process as $pr) {
$pr->start($timer->getLoop());
$pr->stdout->on('data', function ($output) {
//do something on process output
});
}
$loop->run();

12. Имитация человека (Человек - парсер)
Маскировка может нас
спасти
Рандомное время между
запросами

13. Сайту это не нравится
Можно нанять трудолюбивых китайцев для ввода...

14. ...совсем не нравится

15. Прокси
- платные
(дорого и стабильно)
- бесплатные
(дешево и ненадежно,
но иногда подходит)

16. Но это еще не все проблемы...
1) многоядерный процессор
2) много оперативной памяти
3) быстрый диск для работы базы
4) быстрый интернет
8 - 16 ядра
8 - 16 Гб
SSD или RAID
100 мбит - 1 гбит
Если мы хотим запостить более чем 400 потоков

17. Пример № 2
ТЗ “Хочу найти много сайтов в гугл,
а потом собрать все eMail с этих сайтов”

18. Подготовка
- У всей сайтов разная структура
страниц и ссылок. Нам нужен
краулер.
- Некоторые сайты используют JS
фреймворки (Angular, React). Нам
нужен PhantomJS.

19. Краулер
- найти карту сайта
- найти все страницы самостоятельно

20. PhantomJS
var page = require('webpage').create(),
system = require('system');
page.open(system.args[1], function (status) {
if (status !== 'success') {
console.log('Unable to access network');
} else {
var p = page.evaluate(function () {
return
document.getElementsByTagName('html')[0].outerHTML
});
console.log(p);
}
phantom.exit();
});

21. Как защитить свой сайт?
- авторизация
- контент в виде картинок
- контент подгружаемый по
действию пользователя
- анализ трафика
- капча и бан