Описание аспектов портирования и тестирования выполнения задачи построения клиентских профилей платформой управления данными 1DMP на программно-аппаратном комплексе Oracle Big Data Appliance. Топология развертывания. Hardware. Software. Результаты тестирования.

1. Гармония
платформы
управления
данными
1DMP
и
Oracle
Big
Data
Appliance
Сергей
Жемжицкий,
CTO
CleverDATA
09
июля
2015
г.

2. Company
Profile
Mechanical
sympathy
of
Oracle
Big
Data
Appliance
&
1DMP
pla]orm
1DMP:
Платформа
управления
данными
Сергей
Жемжицкий,
CTO,
CleverDATA,
9
июля,
2015

3. cleverdata.ru
|
info@cleverdata.ru
Make
your
data
clever
Развитие
бизнеса
на
международном
рынке
Входит
в
тройку
лидеров
российских
ИТ
компаний
43
подразделения
в
России
и
за
рубежом
Более
7000
сотрудников
100
тыс.проектов
для
10
тыс.заказчиков
Решение
для
повышения
эффективности
маркетинговых
коммуникаций
для
B2C
компаний
«Биржа»
данных
Разработчик
систем
предиктивной
аналитики
на
больших
данных
Собственные
центры
разработки
Партнерство
с
мировыми
лидерами
Центр
экспертизы
по
технологиям
Big
Data
и
Digital
Markebng
1DMP

4. cleverdata.ru
|
info@cleverdata.ru
Агенда
• Платформа
1DMP;
• Задача
построения
профилей;
• Результаты
тестирования
на
Oracle
Big
Data
Appliance.

5. cleverdata.ru
|
info@cleverdata.ru
Платформа
1DMP

6. Основные
компоненты
• Raw
Data
Storage
–
хранение
«сырых»
данных
• Master
Data
Storage
–
хранение
готовых
аудиторных
профилей
• Raw
Data
Loader
–
механизмы
загрузки
данных
из
внешних
источников
• User
tracker
–
механизм
трекинга
пользователей,
поддержка
таблицы
синхронизации,
синхронизация
трафика
с
внешними
поставщиками
• Master
Data
Connector
–
API
работы
с
внешними
потребителями
данных
(DSP/SSP)
• Web
Crawler
–
обогащение
данных
веб
контентом
из
открытых
источников
• Predic|on
Engine
–
механизм
обработки
данных
алгоритмами
машинного
обучения
• Rule
Based
Engine
–
механизм
обработки
данных
на
базе
описываемых
правил
• Geo
Locator
–
компонент
обогащения
данных
данными
по
геолокации
• Profile
builder
–
компонент
сбора
«интегрированного»
профиля
пользователя
cleverdata.ru
|
info@cleverdata.ru

7. Место
продукта
в
ИТ
инфраструктуре
Customer
Transacbon
Data
Web
analybcs
CRM
DWH/CM/Call
center
Company
Data
Social
Data
Web
surfing
eCommerce
Data
3th
Party
Data
Mobile
Data
Data
Exchange
3th
Party
Offline
Data
BI
and
reporbng
Company
Web
Site
Mobile
Apps
Company
acbvibes
Customers
acbvibes
Web
and
Mobile
RTB
ecosystem
(DSP)
Partners
web
and
mobile
Social
Web
Email
Campaign
Management
Campaign
management
SMS
Call
center
Offline
1DMP
Big
Data
storage
Real
Time
storage
Predicbve
analybcs
Scoring
Data
Собрать
максимальное
количество
данных
Определить
что,
кому
и
как
следует
предложить
Донести
маркетинговое
сообщение
до
клиента
Open
Internet
Data
cleverdata.ru
|
info@cleverdata.ru

8. cleverdata.ru
|
info@cleverdata.ru
Задача
построения
профилей

9. cleverdata.ru
|
info@cleverdata.ru
Поток
данных

10. cleverdata.ru
|
info@cleverdata.ru
Протестированные
компоненты
• Raw
Data
Storage
–
хранение
«сырых»
данных
• Master
Data
Storage
–
хранение
готовых
аудиторных
профилей
• Raw
Data
Loader
–
механизмы
загрузки
данных
из
внешних
источников
• User
tracker
–
механизм
трекинга
пользователей,
поддержка
таблицы
синхронизации,
синхронизация
трафика
с
внешними
поставщиками
• Master
Data
Connector
–
API
работы
с
внешними
потребителями
данных
(DSP/SSP)
• Web
Crawler
–
обогащение
данных
веб
контентом
из
открытых
источников
• Predic|on
Engine
–
механизм
обработки
данных
алгоритмами
машинного
обучения
• Rule
Based
Engine
–
механизм
обработки
данных
на
базе
описываемых
правил
• Geo
Locator
–
компонент
обогащения
данных
данными
по
геолокации
• Profile
builder
–
компонент
сбора
«интегрированного»
профиля
пользователя

11. cleverdata.ru
|
info@cleverdata.ru
Топология
развертывания

12. cleverdata.ru
|
info@cleverdata.ru
Вызовы
visitors
publishers
adver|sers
100
ms
50
ms
20
ms
10.000+
rps

13. cleverdata.ru
|
info@cleverdata.ru
Hardware
Hardware
(12
Nodes)
• Intel(R)
Xeon(R)
CPU
E5-­‐2699
v3
@
2.30GHz,
36
physical
and
72
virtual
cores
• 128
GB
RAM
• 12
x
4
TB
HDD
• 20
GBPS
Infiniband
NICs

14. cleverdata.ru
|
info@cleverdata.ru
So‘ware
So‘ware
• CDH
5.3.0
(Hadoop
2.5.0)
• Oracle
NoSQL
EE
3.2.5
• Wrk
(latest)
• Nmon
14g
&
Analizer
4.0
Data
• 73
GB
of
raw
gzipped
data
• 6
x
106
of
HTML
pages
• 256
MB
block
size
• 512
bytes
messages

15. cleverdata.ru
|
info@cleverdata.ru
Построение
профилей
из
6x106
HTML-­‐страниц

16. cleverdata.ru
|
info@cleverdata.ru
Построение
профиля

17. cleverdata.ru
|
info@cleverdata.ru
Время
выполнения
от
количества
нод,
с

18. cleverdata.ru
|
info@cleverdata.ru
CPU-­‐|me
на
ноду,
с

19. cleverdata.ru
|
info@cleverdata.ru
CPU-­‐|me
на
ядро,
с

20. cleverdata.ru
|
info@cleverdata.ru
RAM
на
ноду,
GB

21. cleverdata.ru
|
info@cleverdata.ru
Раздача
пользовательских
профилей

22. cleverdata.ru
|
info@cleverdata.ru
Раздача
профиля

23. cleverdata.ru
|
info@cleverdata.ru
Пропускная
способность
от
кол-­‐ва
ядер,
тыс.

24. cleverdata.ru
|
info@cleverdata.ru
Время
отклика
от
кол-­‐ва
ядер,
90%
и
99%,
мс.

25. cleverdata.ru
|
info@cleverdata.ru
Утилизация
CPU
от
кол-­‐ва
ядер,
%

26. cleverdata.ru
|
info@cleverdata.ru
Утилизация
NICs
от
кол-­‐ва
ядер,
тыс.
pps

27. cleverdata.ru
|
info@cleverdata.ru
Результаты

28. cleverdata.ru
|
info@cleverdata.ru
• Раздача
пользовательских
профилей
с
одного
узла
Oracle
Big
Data
Appliance
составила
более
101,5
тысяч
(в
1,45
раз
больше
изначально
ожидаемого
числа)
запросов
в
секунду;
• Время
отклика
на
запрос
в
99%
случаев
не
превысило
1,17
миллисекунды
(в
1,7
раза
лучше
ожидаемого);
• Время
классификации
Интернет-­‐страниц
и
построение
пользовательских
профилей
на
6
узлах
Oracle
Big
Data
Appliance
составило
11
минут
17
секунд,
и
оказалось
в
5,43
раза
лучше
ожидаемых
результатов.
Результаты

29. info@cleverleaf.co.uk
::
info@cleverdata.ru
cleverleaf.co.uk
::
cleverdata.ru
1dmp.io
::
crawler.1dmp.io
facebook.com/CleverData
::
+7
(495)
967-­‐66-­‐50