2 июля 2011, Я.Субботник в Екатеринбурге Дмитрий Кузнецов "Роботы и люди в Твиттере" О докладе: Какие роботы есть в Твиттере и сколько их? Чем они занимаются и как взаимодействуют с людьми? Как отделить робота от человека, и как нам поможет в этом MatrixNet?

1. Роботы и люди в
Twitter'е
Дмитрий Кузнецов
разработчик
Я.Субботник, Екатеринбург, 2 июля 2011 года

2. Зачем мы сегодня
здесь?
2

4. Информационный мусор
4

5. Twitter
Twitter растёт, и мы любим
эксперименты!
5

6. Русский Twitter
6

7. Русский Twitter
Сегодня 2010 год
700 тыс + 300 тыс +
пользователей
200 тыс +
400 тыс + твитов
каждый день
7 По данным Яндекс.Поиска по блогам

8. Русский Twitter
В России В Мире
700 тыс + 200 млн +
пользователей
155 млн +
400 тыс + твитов
каждый день
5 % пользователей пишут 75% всех твитов
8 По данным Яндекс.Поиска по блогам
и http://business.twitter.com

9. Twitter : контент
9

10. Twitter : контент
Кто о чём пишет
4%
4% 14%
новости
спам
общение
38% трёп
прочее
40%
10 *PearAnalytics

11. Русский Twitter
русскоговорящие пользователи Twitter'а — почти
замкнутая система
11

12. Twitter : контент
каждый третий твит содержит ссылку
http://clck.ru/5dzj
1. рассказать другим о чём-то интересном
2. самопродвижение и реклама
12

13. Twitter : кто пишет?
13

14. Twitter : роботы

15. Twitter : роботы
контент сгенерирован автоматически или
«редакцией»
15

16. Twitter : роботы
трансляции с сайта или блога
16

17. Twitter : роботы
ссылки — не всегда основное содержимое твитов
17

18. Twitter : роботы
спам
33%
46%
роботы
18

19. Twitter : роботы
Сколько?
- 10 % пользователей являются роботами
- 25 % всех твитов произведены на свет
роботами
19

20. Twitter : роботы
Теперь роботы тоже умеют искать
20

21. Twitter : роботы
сегодня аккаунт есть не только у президентов
21

22. Twitter : роботы
сегодня аккаунт есть не только у президентов
22

23. Мы научились их
отличать!
23

24. Как?
Задача классификации — машинное обучение
24

25. Классификация
факторы из
содержимого твитов
25

26. Пример
каждый твит содержит ссылку, и пользователь
ни с кем не разговаривает
много смайликов и ответов другим
пользователям
26

27. Пример
каждый твит содержит ссылку, и пользователь
ни с кем не разговаривает
доля ссылок на пост
стилистические факторы
много смайликов и ответов другим
пользователям
разговор с «людьми»
27

28. Классификация
факторы из социального
графа
28

29. Итого
извлечение факторов
+
суровая математика
= классификация
29

30. Повторяйте это дома!
30

31. Повторяйте это дома!
Twitter API: http://dev.twitter.com/doc
RapidMiner: http://rapid-i.com
Weka: http://www.cs.waikato.ac.nz/ml/weka
SVM-Light: http://svmlight.joachims.org
31

32. Дмитрий Кузнецов
Разработчик
drsmith@yandex-team.ru