Презентация с Митапа в ФОМ: "Общественное мнение: ответы и не ответы".

1. Использование параданных для
оценки ошибки неответов в
телефонных опросах
Тимур Османов,
Фонд «Общественное мнение»
Митап «Общественное мнение: ответы и неответы»
24 ноября 2016 года, Москва

2. В работе проводится анализ агрегированного массива телефонных опросов
ФОМ, репрезентирующих население России 18+. Все опросы проведены по
вероятностной (RDD) пересекающейся двухосновной выборке номеров
мобильных и стационарных телефонов. Опросы проводились в период с
февраля 2013 по октябрь 2016 года. В опросах не использовались никакие
квоты на социально-демографические параметры.
Случайная генерация телефонных номеров опирается на информацию о
задействованных диапазонах телефонной связи в России, размещенную на
официальном сайте Россвязи.
Размер базы – более 221 тысяч случаев согласий и отказов от интервью.

3. Отличаются ли те, до кого мы дозваниваемся,
от тех, кто не берёт трубку или сбрасывает
звонок?
Отличаются ли отказывающиеся от опросов
люди от тех, кто соглашается отвечать на
вопросы анкеты?

4. Мини-интервью при отказе от основного опроса
неэффективны - около 60-70% отказников не
отвечают ни на какие вопросы

5. Что мы знаем?
номер телефона
1. регион проживания
(с вероятностью 96-99% )
2. тип телефона
(с вероятностью 85% для стационарных и 99,5% для мобильных )
результат обращения
(полное интервью, прерванное интервью, отказ)
пол респондента
(фиксируется у всех, с кем началось интервью, и у отказников)

6. С опросом по стационарным телефонам всё сложно:
1. Вероятность взять трубку при звонке по стационарным
телефонам различна для разных членов
домохозяйства
2. Случайный отбор в домохозяйстве работает плохо
Поэтому будем сейчас говорить
только о мобильных телефонах

7. В целом по России среди тех, кто берёт трубки
по мобильным, доля мужчин немного ниже
данных Росстата
43,9% против 45,1%
128 тысяч кейсов. При сопоставлении не используются весовые коэффициенты, компенсирующие разную вероятность отбора. В связи с чем, строго говоря, некорректно
утверждать, что распределения ответов согласившихся респондентов репрезентируют население России.
До кого мы дозваниваемся

8. Есть разница по регионам:
При сопоставлении не используются весовые коэффициенты, компенсирующие разную вероятность отбора. В связи с чем, строго говоря, некорректно утверждать, что
распределения ответов согласившихся респондентов репрезентируют население России.
Где и до кого мы дозваниваемся
Регион Случаев
Доля мужчин
Опрос Росстат Разница
Республика Ингушетия 200 53% 44% 9%
Камчатский край 292 56% 50% 6%
Москва и МО 19977 48% 45% 3%
Чеченская Республика 804 50% 48% 1%
ХМАО 1363 49% 48% 1%
Калининградская область 878 47% 46% 1%
Санкт-Петербург и ЛО 7164 45% 45% 1%
…
Регион Случаев
Доля мужчин
Опрос Росстат Разница
…
Республика Хакасия 461 39% 45% -6%
Забайкальский край 733 41% 47% -6%
Республика Мордовия 678 39% 45% -6%
Чувашская Республика 1091 39% 46% -6%
Мурманская область 653 40% 47% -7%
Республика Марий Эл 638 38% 45% -7%
Республика Бурятия 625 39% 46% -7%

9. В целом по России по мобильным телефонам
отказываются от опроса на первом вопросе
55%респондентов
126 тысяч кейсов. При сопоставлении не используются весовые коэффициенты, компенсирующие разную вероятность отбора. В связи с чем, строго говоря, некорректно
утверждать, что распределения ответов согласившихся респондентов репрезентируют население России.

10. 56%
51%
56%
60%
46%
48%
50%
52%
54%
56%
58%
60%
62%
2013 2014 2015 2016
Динамика отказов
по мобильным телефонам
Количество случаев по годам: 2013 – 30339, 2014 – 31711, 2015 – 30478, 2016 – 42352.

11. Есть разница по регионам
Где отказываются от опроса
Регион Случаев
Доля
отказов
Санкт-Петербург и ЛО 7161 63%
Москва и МО 19973 63%
Республика Татарстан 3292 59%
Нижегородская область 3128 59%
Воронежская область 2149 57%
Липецкая область 1051 57%
Пензенская область 1250 57%
…
Регион Случаев
Доля
отказов
…
Республика Адыгея 281 47%
Томская область 893 47%
Алтайский край 1887 46%
Республика Карелия 601 46%
Республика Бурятия 624 46%
Забайкальский край 732 45%
Севастополь и Крым 973 44%

12. В целом по России по мобильным телефонам
женщины отказываются значительно чаще
мужчин
56,7% против 50,4%
126 тысяч кейсов. Сопоставляются ответы респондентов, согласившихся принять участие в опросе, с ответами отказников (респондентов, отказавшихся принять участие
в опросе). При сопоставлении не используются весовые коэффициенты, компенсирующие разную вероятность отбора. В связи с чем, строго говоря, некорректно
утверждать, что распределения ответов согласившихся респондентов репрезентируют население России.
Кто отказывается от опроса

13. Есть разница по регионам
Регион Случаев
Доля отказов
Мужчины Женщины Разница
Республика Дагестан 1705 43% 59% 16%
Чеченская Республика 804 43% 57% 15%
Мурманская область 653 46% 60% 14%
КБР 574 44% 56% 12%
Белгородская область 1344 45% 57% 12%
Смоленская область 842 44% 56% 12%
Республика Хакасия 460 41% 52% 11%
…
Кто и где отказывается от опроса
Регион Случаев
Доля отказов
Мужчины Женщины Разница
…
Ульяновская область 1066 51% 53% 2%
Калининградская область 878 49% 51% 2%
Костромская область 584 52% 53% 2%
Орловская область 763 54% 55% 1%
Республика Марий Эл 638 51% 52% 1%
РСОА 523 48% 48% 0%
Республика Бурятия 624 45% 44% -1%
При сопоставлении не используются весовые коэффициенты, компенсирующие разную вероятность отбора. В связи с чем, строго говоря, некорректно утверждать, что
распределения ответов респондентов репрезентируют население регионов.

14. В целом по России среди согласившихся
отвечать доля мужчин немного выше данных
Росстата
47,9% против 45,1%
58 тысяч кейсов. При сопоставлении не используются весовые коэффициенты, компенсирующие разную вероятность отбора. В связи с чем, строго говоря, некорректно
утверждать, что распределения ответов респондентов репрезентируют население России.

15. Есть разница по регионам:
При сопоставлении не используются весовые коэффициенты, компенсирующие разную вероятность отбора. В связи с чем, строго говоря, некорректно утверждать, что
распределения ответов респондентов репрезентируют население регионов.
Кто и где начинает участвовать в опросе
Регион Случаев
Доля мужчин
Опрос Росстат Разница
Чеченская Республика 394 58% 48% 10%
Республика Дагестан 823 57% 47% 10%
Москва и МО 7459 54% 45% 9%
Санкт-Петербург и ЛО 2648 51% 45% 7%
Ярославская область 469 49% 43% 6%
Самарская область 1230 50% 44% 5%
Белгородская область 640 50% 45% 5%
…
Регион Случаев
Доля мужчин
Опрос Росстат Разница
…
Чувашская Республика 531 43% 46% -3%
Ульяновская область 505 42% 45% -3%
Амурская область 369 43% 46% -3%
Забайкальский край 406 44% 47% -3%
Костромская область 273 41% 45% -4%
Республика Марий Эл 301 40% 45% -6%
Республика Бурятия 340 39% 46% -7%

16. Ошибка неответов при реализации RDD
выборки по мобильным телефонам
смещает результаты по полу респондента
и по субъектам РФ