Social network analysis. Graph structure and communities. Lecture at HSE in Russian

1. Математические модели
интернет-технологий:
от интернет рекламы до
социальных сетей
Леонид Жуков
(ГУ ВШЭ)
1

2. План доклада
Talk outline
Социальные сети
нахождение сообществ
Поисковая реклама
сегментация рынка
Интернет радио
рекомендационная система
Математическая модель:
Граф
Кластеризация (алгоритмы на графах)
2

3. Социальные сети
Social networks
Социальная сеть (social network) — социальная структура,
состоящая из группы узлов, которыми являются социальные
объекты (люди или организации), и связей между ними
(социальных взаимоотношений) - Wikipedia
Интернет (2000 - ...)
MySpace (300 млн), FaceBook, (50 млн), Friendster, ...
Одноклассники (11 млн), В контакте (7 млн), Мой Круг ...
Математическое представление – граф G( V, E)
Множество вершин | V | – “люди”
Множество ребер | E | – “отношения”
Направленный / ненаправленный
3

4. Возможные исследование
Study topics
Анализ структуры
идентификации ролей пользователей
развитие и рост сети
нахождение сообществ
Процессы в сети
распостранение информации
распостранение влияния
сетевая экономика
Реклама и монетизация
4

5. Социальная сеть Flickr
Flickr social network
5

6. Графическое представление
Flickr graph
6

7. Матрица смежности
Adjacency matrix
7

8. Матрица смежности
Adjacency matrix
8 580,000 users, 3,500,000 links

9. Сортировка Cuthill-McKee
Reverse Cuthill-McKee ordering
9 580,000 users, 3,500,000 links

10. Flickr: статистика
Flickr stats
количество узлов (пользователей)= 584,207
количество ребер (связей) = 3,555,115
максимальная входящая степень узла = 3531
максимальная выходящая степень узла = 8976
< входящая степень узла > = < выходящая степень узла > = 6
диаметр графа = 18
средняя длина пути = 5.3
число сильно связанных компонент = 152,324
наибольшие сильно связанные комп = 274,649 : 374 : 186 :155 : …
число связанных компонент = 43,189
наибольшие связанные компоненты = 404,893 : 378 : 112 : 108 : …
максимальное ядро (core number) = 249 (size 668)
10

11. Безмасштабные сети
Scale-free (complex) networks
Степенной закон распределения степеней узлов
(power law)
Медленно растущее среднее расстояние между
узлами (small world)
Высокий коэффициент кластеризации
Наличие гигантской связанной компоненты
11

12. Безмасштабные сети
Scale free
Функция вероятности распределения Кумулятивная функция распределения
PDF
CDF
CDF
Node degree Node degree
12

13. Безмасштабные сети
Scale free
Node degree
Nodes sorted
by in-degrees
Node number
Node degree
Nodes sorted
by out-degrees
13 Node number

14. K - ядра
K - core
15 2-core, 7,815 nodes

15. K - ядра
K - core
5-core, 2,233 nodes
16

16. K - ядра
K - core
17
10-core, 819 nodes

17. Разделение графа
Graph partitioning
18

18. Разделение графа
Graph partitioning
1 2 3 4
5
6
7 8
A B
Graph separators:
Normalized cut:
19
J. Shi and J. Malik, 2000

19. Спектральное разделение графа
Spectral graph partitioning
2 M. Fielder, 1973
1 3 4
5
6
7 8
assign each node indicator , p= {-1,-1,-1,-1, +1, +1, +1}
smallest cut:
combinatorial optimization, NP hard, relax:
20

20. Решение
Solution
Quadratic optimization:
Eigenvalue problem:
Rounding off
p= {-1,-1,-1,-1, +1, +1, +1}
21

21. Пример: нормированное разделение
Example: normalized cuts
1 2 3 4
5
6
7 8
-1 +1
L = x= p=
22

22. Спектральное разделение графа
Spectral graph cut
node layout Eigenvector – sorted
Cut values
x=
23

23. Спектральная сортировка
Spectral ordering
Eigenvector Eigenvector – sorted
perm = [1 2 6 7 3 8 4 5]
Adjacency matrix Adjacency matrix – re-ordered
24

24. Спектральная сортировка
Spectral ordering
2^N vs N
25

25. Кластеризация
Clustering
26

26. Рекурсивное дерево
Recursive partitioning tree
27

27. Спектральная сортировка ядра Flickr
Flickr: “10-core” spectral ordering
28

28. Иерархическая кластеризация (таксономия)
Hierarchical clustering
29