O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.
Репрезентативность
телефонных опросов
Тимур Османов
ФОМ

Продолжая Грушина. Февраль 2014.
В данной презентации под термином телефонный опрос понимается
опрос населения России, проведенный на основе случайной (RDD...
Общая теория ошибок (total error framework)
[Lavrakas, P.J, 2013, P. 835]

Ошибки измерения

Ошибки репрезентации

КОНСТРУ...
Общая теория ошибок (total error framework)
[Lavrakas, P.J, 2013, P. 835]

Ошибки измерения

Ошибки репрезентации

КОНСТРУ...
Ошибки покрытия
Величина ошибки покрытия обусловлена долей
покрытия и отличиями между охваченной и
неохваченной частями со...
Ошибки покрытия
По данным ФОМ* уровень телефонизации
населения России составляет 95%.
Только 5% населения России не имеют ...
Ошибки покрытия
Вопрос о наличии стационарного либо мобильного
телефона задается в опросах ФОМ с 2011 года.
Мы знаем, что ...
Общая теория ошибок (total error framework)
[Lavrakas, P.J, 2013, P. 835]

Ошибки измерения

Ошибки репрезентации

КОНСТРУ...
Ошибки выборки
Вероятность респондентов попасть в выборку
зависит от их практик пользования телефонами.
Например:
• пожилы...
Ошибки выборки
Сколько человек 18 лет и старше, включая
Вас, проживает вместе с Вами в Вашей
семье?

Размер домохозяйства
...
Ошибки выборки
Телефонный опрос
без взвешивания

Телефонный опрос
выравнивается
вероятность отбора

Опрос ftf

38.8

58.0
...
Общая теория ошибок (total error framework)
[Lavrakas, P.J, 2013, P. 835]

Ошибки измерения

Ошибки репрезентации

КОНСТРУ...
Ошибки неответов
Величина ошибки неответов обусловлена
величиной достижимости и отличиями между
опрошенной и недостигнутой...
Ошибки неответов
Логика работы интервьюеров
Дозвонились
(взяли трубку)

• Техническая достижимость

Согласие на
опрос

• Р...
Ошибки неответов
Технический результат дозвона:
Результат дозвона*:

Стац.

Моб.

Дозвонились

18%

17%

Занято

10%

4%

...
Ошибки неответов
Устойчивость результата дозвона по одному и тому же номеру телефона
в различных опросах
Звонок 2
Мобильны...
Ошибки неответов
Результат взаимодействия с респондентом:
полное интервью
отказ
моложе 18 лет
прерванное интервью
вне целе...
Ошибки неответов
Устойчивость результата взаимодействия с респондентом по одному и
тому же номеру телефона в различных опр...
Ошибки неответов
Отличия между опрошенной и недостигнутой
частями совокупности:
1. Мини-интервью при отказе от основного
о...
Ошибки неответов
Отказникам задается несколько вопросов.

Вы проживает в городе или селе?

33% отказников ответили на этот...
Ошибки неответов
Отказникам задается несколько вопросов. Сколько полных лет Вам исполнилось?

36% отказников ответили на э...
Ошибки неответов
Анализ прерванных интервью.
По подавляющему большинству вопросов значимых отличий
между полными и прерван...
Общая теория ошибок (total error framework)
[Lavrakas, P.J, 2013, P. 835]

Ошибки измерения

Ошибки репрезентации

КОНСТРУ...
Общая теория ошибок
Наибольший потенциал к появлению
систематических смещений находится на
стадии ошибок неответов.
При эт...
Спасибо за внимание!

Тимур Османов,
Фонд «Общественное мнение»,
osmanovtim@yandex.ru

Продолжая Грушина. Февраль 2014.

2...
Próximos SlideShares
Carregando em…5
×

de

Репрезентативность телефонных опросов Slide 1 Репрезентативность телефонных опросов Slide 2 Репрезентативность телефонных опросов Slide 3 Репрезентативность телефонных опросов Slide 4 Репрезентативность телефонных опросов Slide 5 Репрезентативность телефонных опросов Slide 6 Репрезентативность телефонных опросов Slide 7 Репрезентативность телефонных опросов Slide 8 Репрезентативность телефонных опросов Slide 9 Репрезентативность телефонных опросов Slide 10 Репрезентативность телефонных опросов Slide 11 Репрезентативность телефонных опросов Slide 12 Репрезентативность телефонных опросов Slide 13 Репрезентативность телефонных опросов Slide 14 Репрезентативность телефонных опросов Slide 15 Репрезентативность телефонных опросов Slide 16 Репрезентативность телефонных опросов Slide 17 Репрезентативность телефонных опросов Slide 18 Репрезентативность телефонных опросов Slide 19 Репрезентативность телефонных опросов Slide 20 Репрезентативность телефонных опросов Slide 21 Репрезентативность телефонных опросов Slide 22 Репрезентативность телефонных опросов Slide 23 Репрезентативность телефонных опросов Slide 24 Репрезентативность телефонных опросов Slide 25
Próximos SlideShares
Использование параданных для оценки ошибки не ответов в телефонных опросах
Avançar
Transfira para ler offline e ver em ecrã inteiro.

8 gostaram

Compartilhar

Baixar para ler offline

Репрезентативность телефонных опросов

Baixar para ler offline

Телефонные опросы в России через призму общей теории ошибок (total error framework)

Livros relacionados

Gratuito durante 30 dias do Scribd

Ver tudo

Репрезентативность телефонных опросов

  1. 1. Репрезентативность телефонных опросов Тимур Османов ФОМ Продолжая Грушина. Февраль 2014.
  2. 2. В данной презентации под термином телефонный опрос понимается опрос населения России, проведенный на основе случайной (RDD) двухосновной пересекающейся выборке мобильных и стационарных номеров телефонов. Случайная генерация телефонных номеров опирается на информацию о задействованных диапазонах телефонной связи в России, размещенную на официальном сайте Россвязи. Репрезентативность – это свойство выборки воспроизводить характеристики исследуемой совокупности. Продолжая Грушина. Февраль 2014. 2
  3. 3. Общая теория ошибок (total error framework) [Lavrakas, P.J, 2013, P. 835] Ошибки измерения Ошибки репрезентации КОНСТРУКТ ЦЕЛЕВАЯ ГРУППА Ошибки спецификации ОСНОВА ВЫБОРКИ ИЗМЕРЕНИЕ Ошибки измерения Ошибки выборки СПРОЕКТИРОВАННАЯ ВЫБОРКА ОТВЕТ Ошибки регистрации Ошибки неответов НАБОР ДАННЫХ Ошибки вывода Ошибки покрытия РЕАЛИЗОВАННАЯ ВЫБОРКА ВЫВОДЫ, ЗАКЛЮЧЕНИЯ, РЕКОМЕНДАЦИИ Продолжая Грушина. Февраль 2014. Ошибки редактирования 3
  4. 4. Общая теория ошибок (total error framework) [Lavrakas, P.J, 2013, P. 835] Ошибки измерения Ошибки репрезентации КОНСТРУКТ ЦЕЛЕВАЯ ГРУППА Ошибки спецификации ОСНОВА ВЫБОРКИ ИЗМЕРЕНИЕ Ошибки измерения Ошибки выборки СПРОЕКТИРОВАННАЯ ВЫБОРКА ОТВЕТ Ошибки регистрации Ошибки неответов НАБОР ДАННЫХ Ошибки вывода Ошибки покрытия РЕАЛИЗОВАННАЯ ВЫБОРКА ВЫВОДЫ, ЗАКЛЮЧЕНИЯ, РЕКОМЕНДАЦИИ Продолжая Грушина. Февраль 2014. Ошибки редактирования 4
  5. 5. Ошибки покрытия Величина ошибки покрытия обусловлена долей покрытия и отличиями между охваченной и неохваченной частями совокупности. Продолжая Грушина. Февраль 2014. 5
  6. 6. Ошибки покрытия По данным ФОМ* уровень телефонизации населения России составляет 95%. Только 5% населения России не имеют ни мобильного, ни домашнего стационарного телефона. По данным Pew Research Center** мобильный телефон есть у 94% населения. *Всероссийский ftf опрос ФОМнибус проводился 20-23 февраля 2014 года. Выборка 3000 респондентов. Погрешность не превышает 2,5 п.п. У 90% населения есть мобильный телефон, у 53% населения есть стационарный телефон. **Выборка 996 респондентов, опрос ftf проводился 5-21 марта 2013 года, погрешность не превышает 3,6 п.п. [http://www.pewglobal.org/2014/02/13/emerging-nations-embrace-internet-mobile-technology/] Продолжая Грушина. Февраль 2014. 6
  7. 7. Ошибки покрытия Вопрос о наличии стационарного либо мобильного телефона задается в опросах ФОМ с 2011 года. Мы знаем, что люди без телефона значительно отличаются от людей с каким-либо телефоном (мобильным либо стационарным домашним). Однако ошибка покрытия не превышает 1 п.п. Анализировались распределения ответов на вопросы, которые были в одной анкете с вопросом о наличии телефонов. Продолжая Грушина. Февраль 2014. 7
  8. 8. Общая теория ошибок (total error framework) [Lavrakas, P.J, 2013, P. 835] Ошибки измерения Ошибки репрезентации КОНСТРУКТ ЦЕЛЕВАЯ ГРУППА Ошибки спецификации ОСНОВА ВЫБОРКИ ИЗМЕРЕНИЕ Ошибки измерения Ошибки выборки СПРОЕКТИРОВАННАЯ ВЫБОРКА ОТВЕТ Ошибки регистрации Ошибки неответов НАБОР ДАННЫХ Ошибки вывода Ошибки покрытия РЕАЛИЗОВАННАЯ ВЫБОРКА ВЫВОДЫ, ЗАКЛЮЧЕНИЯ, РЕКОМЕНДАЦИИ Продолжая Грушина. Февраль 2014. Ошибки редактирования 8
  9. 9. Ошибки выборки Вероятность респондентов попасть в выборку зависит от их практик пользования телефонами. Например: • пожилые чаще пользуются стационарными телефонами, молодежь – мобильными; • в селе люди часто используют мобильный телефон в качестве домашнего; • чаще других несколькими сим-картами пользуются жители крупных городов, люди с высшим образованием. Продолжая Грушина. Февраль 2014. 9
  10. 10. Ошибки выборки Сколько человек 18 лет и старше, включая Вас, проживает вместе с Вами в Вашей семье? Размер домохозяйства Есть ли у Вас стационарный домашний телефон? Стац. Есть ли у Вас личный мобильный телефон? Моб. Скажите, пожалуйста, вы всегда один (одна) пользуетесь этим мобильным телефоном, или им пользуется несколько человек? Если несколько, то сколько именно? Пользователи моб. Сейчас вы лично постоянно (не реже раза в неделю) для разговора пользуетесь одним номером мобильного телефона, сим-картой или несколькими? Если несколькими, то сколькими именно? Количество моб. Продолжая Грушина. Февраль 2014. 10
  11. 11. Ошибки выборки Телефонный опрос без взвешивания Телефонный опрос выравнивается вероятность отбора Опрос ftf 38.8 58.0 47.2 45.5 50.5 только мобильный 3.2 7.4 44.4 мобильный и стационарный 5.1 только стационарный Анализ 17 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в период с апреля по декабрь 2013 года. Всего 17208 полных интервью. Всероссийский ftf опрос ФОМнибус проводился 20-23 февраля 2014 года. Выборка 3000 респондентов. Погрешность не превышает 2,5 п.п. Продолжая Грушина. Февраль 2014. 11
  12. 12. Общая теория ошибок (total error framework) [Lavrakas, P.J, 2013, P. 835] Ошибки измерения Ошибки репрезентации КОНСТРУКТ ЦЕЛЕВАЯ ГРУППА Ошибки спецификации ОСНОВА ВЫБОРКИ ИЗМЕРЕНИЕ Ошибки измерения Ошибки выборки ОТВЕТ СПРОЕКТИРОВАННАЯ ВЫБОРКА Ошибки регистрации Ошибки неответов НАБОР ДАННЫХ Ошибки вывода Ошибки покрытия РЕАЛИЗОВАННАЯ ВЫБОРКА ВЫВОДЫ, ЗАКЛЮЧ ЕНИЯ, РЕКОМЕНДА ЦИИ Продолжая Грушина. Февраль 2014. Ошибки редактирования 12
  13. 13. Ошибки неответов Величина ошибки неответов обусловлена величиной достижимости и отличиями между опрошенной и недостигнутой частями совокупности. Продолжая Грушина. Февраль 2014. 13
  14. 14. Ошибки неответов Логика работы интервьюеров Дозвонились (взяли трубку) • Техническая достижимость Согласие на опрос • Результат контакта с отобранным респондентом Завершенное интервью Продолжая Грушина. Февраль 2014. • Доведение интервью до конца 14
  15. 15. Ошибки неответов Технический результат дозвона: Результат дозвона*: Стац. Моб. Дозвонились 18% 17% Занято 10% 4% Неверный номер Нет ответа Ошибка при звонке 35% 31% 6% 34% 36% 8% Анализ телефонных опросов ФОМ, проведенных в период с августа 2013 года по февраль 2014 года. Всего 680000 телефонных номеров, задействованных в различных проектах. * Под результатом дозвона понимается результат последнего звонка на телефонный номер. Продолжая Грушина. Февраль 2014. 15
  16. 16. Ошибки неответов Устойчивость результата дозвона по одному и тому же номеру телефона в различных опросах Звонок 2 Мобильный телефон Дозвонились Занято Неверный номер Нет ответа Ошибка при звонке 53% 3% 6% 37% 2% Занято 9% 18% 36% 31% 6% Неверный номер 2% 4% 59% 31% 4% Нет ответа 14% 4% 26% 51% 5% Ошибка при звонке 24% 3% 11% 31% 31% Дозвонились Звонок 1 Случаев: 6205 1528 12277 12607 1522 Устойчивость 52% Звонок 2 Стационарный телефон Дозвонились Занято Неверный номер 71% 2% 3% 23% 1% Занято 4% 65% 11% 17% 2% Неверный номер 2% 4% 79% 12% 3% 17% 6% 13% 60% 4% 7% 15% 31% 27% Звонок 1 Нет ответа Ошибка при звонке Ошибка при звонке Случаев: 20% Дозвонились Нет ответа 1908 1695 2850 3107 424 Устойчивость 66% Продолжая Грушина. Февраль 2014. 16
  17. 17. Ошибки неответов Результат взаимодействия с респондентом: полное интервью отказ моложе 18 лет прерванное интервью вне целевой группы другое Моб. 27% 42% 4% 7% 7% 13% Стац. 18% 48% 4% 4% 12% 16% Анализ 17 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в период с апреля по декабрь 2013 года. Всего 17208 полных интервью Продолжая Грушина. Февраль 2014. 17
  18. 18. Ошибки неответов Устойчивость результата взаимодействия с респондентом по одному и тому же номеру телефона в различных опросах Звонок 2 Звонок 1 Мобильный телефон полное интервью отказ моложе 18 лет прерванное интервью вне целевой группы другое Устойчивость полное интервью отказ моложе 18 лет 37% 13% 9% 18% 15% 24% 34% 62% 24% 49% 40% 44% прерв. вне целевой интервью группы 2% 2% 48% 3% 3% 1% 4% 4% 3% 5% 4% 5% 4% 7% 6% 8% 26% 6% другое 18% 12% 10% 17% 12% 19% Случаев: 1489 2153 185 237 388 572 43% Звонок 2 Звонок 1 Стационарный телефон полное интервью отказ моложе 18 лет прерванное интервью вне целевой группы другое Устойчивость полное интервью отказ моложе 18 лет 25% 9% 14% 13% 7% 19% 44% 65% 34% 60% 26% 46% 4% 3% 26% 4% 2% 3% прерв. вне целевой интервью группы 4% 2% 3% 9% 1% 3% 5% 7% 5% 5% 58% 6% другое 19% 13% 17% 9% 6% 23% Случаев: 879 1887 149 128 410 593 45% Продолжая Грушина. Февраль 2014. 18
  19. 19. Ошибки неответов Отличия между опрошенной и недостигнутой частями совокупности: 1. Мини-интервью при отказе от основного опроса. 2. Анализ прерванных интервью. Продолжая Грушина. Февраль 2014. 19
  20. 20. Ошибки неответов Отказникам задается несколько вопросов. Вы проживает в городе или селе? 33% отказников ответили на этот вопрос. В 67% случаев мы не знаем тип населенного пункта отказников. Тип населенного пункта город, пгт село респондентов Результат взаимодействия с респондентом Полное Отказ интервью 81% 19% 80% 20% 1675 3059 Анализ 3 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в январе-феврале 2014 года. Продолжая Грушина. Февраль 2014. 20
  21. 21. Ошибки неответов Отказникам задается несколько вопросов. Сколько полных лет Вам исполнилось? 36% отказников ответили на этот вопрос. В 64% случаев мы не знаем возраст отказников. Зависимость коэффициента кооперации (COOP3) от пола и возраста респондента, типа телефона. 0.7 0.6 0.5 0.4 0.3 <= 24,00 25,00 - 28,00 29,00 - 33,00 Муж. Стац. 34,00 - 38,00 39,00 - 44,00 Жен. Стац. 45,00 - 50,00 51,00 - 55,00 Муж. Моб. 56,00 - 61,00 62,00 - 70,00 Жен. Моб. 71,00+ Анализ 17 волн всероссийского телефонного опроса ФОМ-ОМ, проведенных в период с апреля по декабрь 2013 года. Всего 17208 полных интервью. Продолжая Грушина. Февраль 2014. 21
  22. 22. Ошибки неответов Анализ прерванных интервью. По подавляющему большинству вопросов значимых отличий между полными и прерванными интервью не наблюдается. Но есть и исключения. Более склонны прерывать интервью: • • • • • пожилые люди (65+ вне зависимости от пола) с низким доходом без мобильного телефона без стационарного телефона никогда не пользовались интернетом, НЕ суточная аудитория интернета Анализ 22 волн телефонного опроса ФОМ ОМ, проведенных в период с апреля 2013 года по январь 2014 года. Различия в ответах на открытые вопросы не анализировались. Средняя продолжительность опросов не превышала 15 минут Продолжая Грушина. Февраль 2014. 22
  23. 23. Общая теория ошибок (total error framework) [Lavrakas, P.J, 2013, P. 835] Ошибки измерения Ошибки репрезентации КОНСТРУКТ ЦЕЛЕВАЯ ГРУППА Ошибки спецификации ОСНОВА ВЫБОРКИ ИЗМЕРЕНИЕ Ошибки измерения Ошибки выборки ОТВЕТ СПРОЕКТИРОВАННАЯ ВЫБОРКА Ошибки регистрации Ошибки неответов НАБОР ДАННЫХ Ошибки вывода Ошибки покрытия РЕАЛИЗОВАННАЯ ВЫБОРКА ВЫВОДЫ, ЗАКЛЮЧ ЕНИЯ, РЕКОМЕНДА ЦИИ Продолжая Грушина. Февраль 2014. Ошибки редактирования 23
  24. 24. Общая теория ошибок Наибольший потенциал к появлению систематических смещений находится на стадии ошибок неответов. При этом ошибки неответов изучены значительно хуже других типов ошибок. Величина достижимости, а порой и сам факт её наличия, игнорируются в подавляющем большинстве проводимых в России опросов. Продолжая Грушина. Февраль 2014. 24
  25. 25. Спасибо за внимание! Тимур Османов, Фонд «Общественное мнение», osmanovtim@yandex.ru Продолжая Грушина. Февраль 2014. 25
  • trilenakoneva

    Feb. 5, 2015
  • IvanNizgoraev

    Feb. 4, 2015
  • a_nikushin

    Feb. 4, 2015
  • anyamanolova

    Nov. 27, 2014
  • mmatskevich

    Mar. 1, 2014
  • maximodintsov

    Mar. 1, 2014
  • mavletova

    Feb. 28, 2014
  • fkrasnov

    Feb. 28, 2014

Телефонные опросы в России через призму общей теории ошибок (total error framework)

Vistos

Vistos totais

1.710

No Slideshare

0

De incorporações

0

Número de incorporações

9

Ações

Baixados

27

Compartilhados

0

Comentários

0

Curtir

8

×