Как проверять свои идеи и быть уверенным, что ваш продукт получится хорошим?
•
0 likes•526 views
Никита Зенченко, опытный UX-дизайнер дизайнер «Эпам Системз» расскажет кратко, но по сути (“lifehacks”) о базовых методах тестирования, проведении и подготовки исследований и оценке полученного результата. Актуально для научных проектов! - Обзор методов тестирования с привлечением пользователей и без них - Рекомендации по подготовке и проведению исследований - Нюансы оценки результатов и получение правильных выводов --- В рамках проведения «Научного Хакатона» мы приглашаем вас на митапы, где будут проводиться обучающие и консультационные сессии под руководством экспертов в области науки, бизнеса и ИТ. У вас будет возможность обсудить задачи, получить экспертную помощь, объявить о вакантных местах в команде и не только. Присоединяйтесь и решайте научные задачи командами! Cайт: http://sciencehit.by/hackathon Регистрация в команды: https://sciencehit.timepad.ru/event/462869/ Группа в fb: https://www.facebook.com/groups/scihackathon/?ref=bookmarks Группа в vk: https://vk.com/event141357156
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Как проверять свои идеи и быть уверенным, что ваш продукт получится хорошим?
Similar to Как проверять свои идеи и быть уверенным, что ваш продукт получится хорошим? (20)
More from Sciencehit.by
More from Sciencehit.by (20)
Как проверять свои идеи и быть уверенным, что ваш продукт получится хорошим?
- 5. ЧТО ТАКОЕ UX RESEARCH? КОГДА И ДЛЯ ЧЕГО ОН НУЖЕН?
- 6. ПОПУЛЯРНЫЕ ОТВЕТЫ • Сделать счастливого пользователя • Создание качественного продукта • Экономия средств и времени на разработку • Так правильно, все так делают • Проверка решений • Решение споров и разногласий • Инструмент мотивации команды на длительных проектах • Увидеть новые способы и идеи • Найти проблемы и их причины заранее • … • • Profit
- 7. Let’s Test
- 10. Андрей Курьян
- 12. Дима Босенко
- 14. http://lpgenerator.ru/blog/2016/02/16/14-primerov-neveroyatno-effektivnyh-cennostnyh-predlozhenij/
- 17. В ЧЕМ РАЗНИЦА МЕЖДУ ЗНАНИЕМ И МИФОМ?
- 19. ИССЛЕДОВАНИЕ – процесс принятия решения о соответствии представления о предмете его реальности (понятия – объекту). Действительность ПРЕДСТАВЛЕНИЕ (Понятие) РЕАЛЬНОСТЬ (Объект) СУТЬ ИССЛЕДОВАНИЯ
- 20. НАУЧНЫЙ ЭКСПЕРИМЕНТ Подтвержденное научным экспериментом теоретическое ПРЕДСТАВЛЕНИЕ становится ЗНАНИЕМ. Все остальное – миф и выдумки :)
- 21. ЭКСПЕРИМЕНТ – ПРОВЕРКА ГИПОТЕЗЫ В конце должен остаться только один … результат :) Доверять можно только результатам НАУЧНОГО эксперимента!
- 22. КАКОЙ ЭКСПЕРИМЕНТ МОЖНО СЧИТАТЬ НАУЧНЫМ?
- 23. БАЗОВЫЕ ЭЛЕМЕНТЫ НАУЧНОГО ЭКСПЕРИМЕНТА ИССЛЕДОВАНИЕ Метод Проблема Данные Гипотеза
- 24. АНАТОМИЯ ИССЛЕДОВАНИЯ Определение проблемы и целей ее решения1 Анализ проблемы и выдвижение гипотез2 Выбор метода исследования и дизайн эксперимента3 Определение и рекрутинг респондентов4 Сбор данных5 Анализ данных6 Интерпретация данных и написание отчета7 Апробация8* Используйте эти этапы как контрольный-лист артефактов для вашего будущего исследования.
- 26. АНАТОМИЯ ИССЛЕДОВАНИЯ Определение проблемы и целей ее решения1 Анализ проблемы и выдвижение гипотез2 Выбор метода исследования и дизайн эксперимента3 Определение и рекрутинг респондентов4 Сбор данных5 Анализ данных6 Интерпретация данных и написание отчета7 Апробация8* Используйте эти этапы как контрольный-лист артефактов для вашего будущего исследования.
- 27. Умная цитата для убедительности: «Определение проблемы зачастую гораздо более важно, чем ее последующее решение» Альберт Эйнштейн ПЕРВЫМ ДЕЛОМ СФОРМУЛИРУЙТЕ ВОПРОС
- 28. Пока вы не определили то, что собираетесь исследовать («класть под микроскоп») и как этот предмет взаимосвязан с другими, которые составляют объект исследования, вы будете не исследовать а угадывать результат. ОБЪЕКТ — процесс, создающий проблемный предмет. ПРЕДМЕТ (понятие) — то, с чем работает исследователь. ОПРЕДЕЛЕНИЕ ГРАНИЦ И ВЗАИМОСВЯЗЕЙ
- 29. ПРИМЕР
- 30. АНАТОМИЯ ИССЛЕДОВАНИЯ Определение проблемы и целей ее решения1 Анализ проблемы и выдвижение гипотез2 Выбор метода исследования и дизайн эксперимента3 Определение и рекрутинг респондентов4 Сбор данных5 Анализ данных6 Интерпретация данных и написание отчета7 Апробация8* Используйте эти этапы как контрольный-лист артефактов для вашего будущего исследования.
- 31. ПЕРЕМЕННЫЕ В НАУЧНОМ ЭКСПЕРИМЕНТЕ Анализ проблемы (ОБЪЕКТА И ПРЕДМЕТА исследования) позволяет выделить переменные в эксперименте: • Независимые • Зависимые • Побочные Зависимая переменная – что проверяем Независимая переменная – чем проверяем Взаимоотношение зависимой и независимой переменной описываются ГИПОТЕЗОЙ эксперимента.
- 32. ПРИМЕР ПРИМЕР
- 33. ПОНЯТИЕ ГИПОТЕЗЫ ГИПОТЕЗА– предварительное вероятностное суждение о причинно- следственных связей исследуемого объекта. Гипотеза формулируется кратким конкретным утверждением, на которое можно дать однозначный ответ. Пример: Респонденты не используют браузерные стрелки для навигации по сайту.
- 34. КРИТЕРИИ ОЦЕНКИ ГИПОТЕЗЫ Гипотеза должна быть конкретной и измеримой. Шкалы измерения гипотезы: 1. Номинальная 2. Порядковая 3. Интервальная 4. Относительная От выбора шкалы проверки гипотезы зависит выбор способа ее проверки – МЕТОД ИССЛЕДОВАНИЯ Пример: Субъективные результаты лучше всего интерпретировать порядковой или относительной шкалой. • Группе 1 понравилось больше чем группе 2. (Относительная) • В группе 1 в 2 раза больше тех, кто сказал что доволен. (Порядковая) Подходящий метод проверки этих гипотез – интервью.
- 35. Определение проблемы и целей ее решения1 Анализ проблемы и выдвижение гипотез2 Выбор метода исследования и дизайн эксперимента3 Определение и рекрутинг респондентов4 Сбор данных5 Анализ данных6 Интерпретация данных и написание отчета7 Апробация8* Используйте эти этапы как контрольный-лист артефактов для вашего будущего исследования. АНАТОМИЯ ИССЛЕДОВАНИЯ
- 36. НАУЧНЫЙ ЭКСПЕРИМЕНТ Способ проверки гипотезы – провести ЭКСПЕРИМЕНТ. ЭКСПЕРИМЕНТ – управляемый процесс изменения одной или нескольких независимых переменных для измерения их влияния на одну или несколько зависимых переменных при условии исключения влияния посторонних переменных факторов.
- 39. ДИЗАЙН ЭКСПЕРИМЕНТА — ЭТО ВЫБОР КРИТЕРИЕВ ПРОВЕРКИ ГИПОТЕЗ https://www.nngroup.com/articles/which-ux-research-methods/
- 40. МАТРИЦА ДЛЯ ВЫБОРА МЕТОДОВ https://www.nngroup.com/articles/which-ux-research-methods/
- 41. НЕТ ИДЕАЛЬНОГО РЕШЕНИЯ! Разный набор методов может привести к результату, но! Важно подобрать набор методов, обеспечивающих лучшее качество результата –ДОСТОВЕРНОСТИ. Критерии достоверности обусловлены ВАЛИДНОСТЬЮ выбранных методов. Например: • Точный сценарий. События должны происходить в соответствующем порядке • Четкие критерии проверки гипотез. Причина должна быть статистически связана с эффектом • Альтернативные объяснения должны быть сведены к минимуму
- 42. ВАЛИДНОСТЬ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ Внутренняя валидность - соответствие реального исследования идеальному, степень влияния независимой переменной на зависимую. Важна для КАЧЕСТВЕННЫХ методов исследований. Внешняя валидность - насколько результаты конкретного исследования можно распространить на весь класс подобных ситуаций, явлений. Критерием оценки является РЕПРЕЗЕНТАТИВНОСТЬ. Важна для КОЛИЧЕСТВЕННЫХ методов исследований.
- 43. ФАКТОРЫ, ВЛИЯЮЩИЕ НА ВНУТРЕННЮЮ ВАЛИДНОСТЬ: • Фон и события между исходным и итоговым экспериментом • Естественное развитие (усталость, привыкание и т.д.) • Эффект тестирования • Инструментальные погрешности • Отсев и отбор испытуемых • Статистическая регрессия (эффект крайних показателей) МЕТОДЫ КОНТРОЛЯ ВАЛИДНОСТИ • Метод исключения. Исключаем известную побочную переменную. Например, не берем на тест экспертов. • Метод выравнивания условий. Когда вмешивающийся признак известен, но нельзя избежать его влияния. Эффект обучения: сперва тестируем первую версию, потом вторую и наоборот. • Метод рандомизации. Например, вопросы в анкете или случайные респонеднты.
- 44. Определение проблемы и целей ее решения1 Анализ проблемы и выдвижение гипотез2 Выбор метода исследования и дизайн эксперимента3 Определение и рекрутинг респондентов4 Сбор данных5 Анализ данных6 Интерпретация данных и написание отчета7 Апробация8* Используйте эти этапы как контрольный-лист артефактов для вашего будущего исследования. АНАТОМИЯ ИССЛЕДОВАНИЯ Зависят от выбранного метода
- 45. РАЗБЕРЕМ ПОДГОТОВКУ EMAIL SURVEYS https://www.nngroup.com/articles/which-ux-research-methods/
- 46. ОПРОСЫ, АНКЕТЫ
- 47. Определение проблемы и целей ее решения1 Анализ проблемы и выдвижение гипотез2 Выбор метода исследования и дизайн эксперимента3 Определение и рекрутинг респондентов4 Сбор данных5 Анализ данных6 Интерпретация данных и написание отчета7 Апробация8* Используйте эти этапы как контрольный-лист артефактов для вашего будущего исследования. АНАТОМИЯ ИССЛЕДОВАНИЯ
- 48. КОЛИЧЕСТВО ОТВЕТОВ, УРОВЕНЬ ОТКЛИКА, РЕПРЕЗЕНТАТИВНОСТЬ
- 50. ПРИГЛАШЕНИЕ
- 51. But what’s in it for me? And I’m really ready for a coffe Your answers to this survey are important for our work! ПРИГЛАШЕНИЕ
- 52. МОТИВИРУЙТЕ И СОЗДАВАЙТЕ ПРАВИЛЬНЫЕ ОЖИДАНИЯ Затраченные усилия Полученная награда Доверие Проверяйте баланс до того как отправите приглашение
- 53. Доверие: - Представьтесь - Объясните почему вы пишете этому человеку и почему вам это нужно Обещайте вознаграждение: - Объясните цель опроса - Объясните почему именно этот респондент поможет вам - Объясните какая ему будет от этого польза Опишите что предстоит сделать: - Поясните тему опроса - Укажите когда надо пройти опрос, дедлайн - Сориентируйте по времени заполнения, но избегайте точных формулировок (вы можете ошибится)! СОДЕРЖАНИЕ ХОРОШЕГО ПРИГЛАШЕНИЯ
- 55. Определение проблемы и целей ее решения1 Анализ проблемы и выдвижение гипотез2 Выбор метода исследования и дизайн эксперимента3 Определение и рекрутинг респондентов4 Сбор данных5 Анализ данных6 Интерпретация данных и написание отчета7 Апробация8* Используйте эти этапы как контрольный-лист артефактов для вашего будущего исследования. АНАТОМИЯ ИССЛЕДОВАНИЯ
- 56. ПРОДУМАЙТЕ ФОРМУЛИРОВКИИ ВОПРОСОВ Алгоритм ответа на вопрос Понять Вспомнить (Найти) Оценить Вписать
- 57. СПРАШИВАЙТЕ ТО, ЧТО ЧЕЛОВЕК МОЖЕТ ЗНАТЬ
- 61. Определение проблемы и целей ее решения1 Анализ проблемы и выдвижение гипотез2 Выбор метода исследования и дизайн эксперимента3 Определение и рекрутинг респондентов4 Сбор данных5 Анализ данных6 Интерпретация данных и написание отчета7 Апробация8* Используйте эти этапы как контрольный-лист артефактов для вашего будущего исследования. АНАТОМИЯ ИССЛЕДОВАНИЯ
- 66. ИСПОЛЬЗОВАНИЕ ФОРМ ОПРОСОВ ДЛЯ ИНДИВИДУАЛЬНЫХ ИНТЕРВЬЮ
- 67. Определение проблемы и целей ее решения1 Анализ проблемы и выдвижение гипотез2 Выбор метода исследования и дизайн эксперимента3 Определение и рекрутинг респондентов4 Сбор данных5 Анализ данных6 Интерпретация данных и написание отчета7 Апробация8* Используйте эти этапы как контрольный-лист артефактов для вашего будущего исследования. АНАТОМИЯ ИССЛЕДОВАНИЯ
- 73. ГЛАВНАЯ ЗАПОВЕДЬ ИССЛЕДОВАТЕЛЯ! НЕ НАВРЕДИ! Исследователь иногда допускает мелкие ошибки в методологии, проведении исследования и формирования выводов, которые могут быть обнаружена не скоро, а разрушительная сила ошибочных результатов может быть фатальна.
- 74. СПАСИБО!