Event: #SE2016 Stage: Java Data: 3 of September 2016 Speaker: Vladimir Mikhel Topic: Scrapping the web INHACKING site: https://inhacking.com SE2016 site: http://se2016.inhacking.com/

1. Scrapping the web
Грабим веб

3. Команда

4. Проблемы
- Мобильная версия сайта
- Мобильное приложение для ..
- Проиндексировать содержимое сайта (поиск)
- Приложение-читалка (Flipboard, ..)
- Мониторинг / аггрегация контента соцсетей по тегу / геотегу / группе /..
- Агрегация контента одной организации
- Собрать все товарные позиции в интернет магазине (Alibaba, ..)
- Сниппет страницы

5. SAAS
поиск для сайтов

7. Apache Solr DataImportHandler
jdbc/DIH
• -full-import
• -delta-import

9. к просмотру страниц
к продолжительности посещения
уменьшение
Интересные цифры

11. 1 – вводим URL
сайта
2 – процесс краулинга ~20
секунд
3 – тестуруем выдачу
с картинками
+ код для вставки на
сайт

12. Нужен парсер!

13. Маска

14. Пример - маска для сбора данных из OG-тегов

15. Масок много
- System Masks – High Level level < 0.2f
- Custom Masks (Site / Domain) 0.2f <= level <0.4f
- System Masks – Low Level 0.4f <= level

16. Выходной документ JSON / базовые поля
_id,
_url,
_canonical,
_title,
_category, //category/rubric on site
_subCategory, // 1 level deeper
_siteName,
_image,
_imageGif,
_images(true),
_imagesGif(true),
_imagesTotal,
_description,
_descriptionRss,
_body,
_bodyPresentedHtml,
_bodyPresentedJson,
_bodyNe,
_bodyPresentedHtmlNe,
_bodyPresentedJsonNe,
_sumtext,
_base,
_authorName,
_authorUrl,
_types(true), //URL contexts
_tagsNavi(true), // site navigational tags
_tagsBody(true), // nouns and adjectives detected with standard postprocessor in body
_neBody(true),
_keywords(true), // mainly meta keywords
_language, // language 2letter
_tags(true), // sum of tag field with type prefixes
_datePublished,
_dateParsed,
_videoYoutube,
_videoVimeo,
_generator, // CMS provided
_cmsName, // CMS name in canonical form
_cmsVersion, // CMS version in canonical form
_robots(true),
_noindex

17. Постпроцессоры - их тоже много
ensureBodyRss (_descriptionRss)
htmlPresenterPostprocessor (_bodyPresentedJson/_bodyPresentedHtml)
htmlCleanerPostprocessor
ensureDocumentId (md5Hex(url))
ensureBody (_description)
ensureImages (относительный в абсолютный _image, _imageGif, _images,
_imagesGif)
ensureParsedDate
descriptionPresentedPostprocessor (540 символов || _bodyPresentedJson 260-270
символов)
imageGifPostprocessor(_image ->_imageGif /_images
->_imagesGif)
firstImagePresentedPostprocessor (_images[0] ->_image,
_imagesGif[0] -> _imageGif, _bodyPresentedJson[0 img] ->
_image)
taggerNePostprocessor (->_neBody)
myNewsTagImploderPostprocessor (_tags <- _types, _tagsNavi,
_neBody, _keywords, _language) (TagType (__siT, __siC, __kwd)
-> _tags)
docdresserPostprocessor (DocDresser tags -> _tags)
deduplicatorPostprocessor (!allowDuplicates)
imagePostProcessor - отправляет на закачку
imageCounterPresentedPostprocessor (_imagesTotal)

18. ПИВОТ

19. Новости Технологии Смешное
развлечения, новости, статьи,
видео
все лучшее в одном
приложении

20. Новостные
сайты
Глянец Галереи Видео гиф
Разные форматы
отображения

21. Инстаграм фиды Твиттер фиды

22. Нужен новый формат документа

23. PRESENTED JSON

24. За года появилось
новых формата
отображения контента

25. Нужно тегирование

26. FREEBASE тегирование
Deprecated - Google WTF?

27. ● -пример словаря
● -пример документа с тегами

28. Отбрасываем категории топиков FREEBASE
● Оставляем топики <= 3 слова
● Оставляем RU, UA, EN
● Индексируем в Elastic Search

29. Пользователи требуют RSS

30. НУЖЕН “УМНЫЙ” ПАРСЕР
находить тело статьи и делать это хорошо

31. ШАГ 1 - Нахождение опорной точки в DOM
нечеткий поиск RSS / title – скриншот-пример

32. Плохие слова

33. ШАГ 2 - Нахождение граничных точек
сверху
снизу
внутри баннер читайте так
же
СКРИНШОТ выделенный кусок
граничного

35. ШАГ 3 – Оценка вариантов
● Плотность текста
● Содержит ноду с высокой плотностью
● Количество изображений
● Содержание видео эмбедов
● Является вероятным article контейнером
● Содержит вероятный article контейнер
● Глубина DOM блока
● Удаленность от опорной точки

36. Общая архитектура системы
Блок-схема

37. Синтаксис и демонстрация на тестовом стенде

38. Запуски скорость работы
Наше приложение открылось заоткрылось за

40. Планы на будущее
- МашинЛернинг нейросети над масками DOM
- конвертация форматов
Тут можно упомянуть конкурентные решения / че как
- ML над DOM
- ML над рендером - computer vision [diffbot]
- сторонние эвристические решения - Boilerpipe,

41. Сюрприз
Доступ к тестовому стенду http://..

42. Контакты