Специалисты UsabilityLab завершили сравнительное исследование сайтов банков – третье по счёту для банковского сектора. Предметом свежего исследования стал популярный канал ДБО интернет-сайт.
геннадий драгун - Качество и Юзабилити - 1я белорусская юзабилити конференция
Site banking ut_method_11.11_kk_
1. СРАВНИТЕЛЬНОЕ ИССЛЕДОВАНИЕ УДОБСТВА БАНКОВСКИХ ПРОДУКТОВ ДЛЯ ПОЛЬЗОВАТЕЛЕЙ
Описание методологии исследования
Банковские сайты
Исследование проводилось в период с сентября по ноябрь 2014 г.
2. Записаться на презентацию
Введение
РЕЗЮМЕ ИССЛЕДОВАНИЯ
Мы пригласили в нашу лабораторию реальных пользователей и попросили их выполнить на сайте задание, например, подобрать вклад. Такая процедура называется «юзабилити-тестирование». Каждое тестирование проводится индивидуально, то есть в один момент времени мы работаем только с одним человеком. При этом мы наблюдаем за тем, с какими сложностями сталкивается респондент при выполнении задания, и наоборот, какие интерфейсные решения ему помогали.
Для оценки решений мы использовали 9 различных метрик, 7 из которых вошли в так называемый «интегральный показатель юзабилитипо задаче».
Цель исследования: сравнение удобства реализации типовых операций в интерфейсах различных банковских сайтах.
Методика исследования: сравнительное usability-тестирование с использованием технологии регистрации движений глаз и обратная карточная сортировка.
2
3. Записаться на презентацию
Введение
РЕЗЮМЕ ИССЛЕДОВАНИЯ
Почему для тестирования отобраны именно типовые задачи?
Преимущественно пользователи обращаются к сайту банка в двух случаях: для получения информации о продуктах или для поиска контактных данных, адресов отделений и банкоматов.
Отсутствие возможности быстро и эффективно найти наиболее полную информацию приведёт к отказу от использования сайта банка.
Для тестирования были отобраны 7 наиболее частотных и важныхпользовательских задач:
Подбор кредитной карты
Поиск отделения банка
Поиск банкомата
Подбор вклада
Просмотр информации по автокредиту
Просмотр информации по ипотеке
Отправка письменного обращения через сайт
3
4. Записаться на презентацию
Что вы получите, читая этот отчёт?
●Видениепреимуществ и недостатков продукта глазамипользователей.
●Понимание возможных причин отказа от использования продукта.
●Возможность по результатам исследования исправить ошибки, мешающие пользователям выполнять необходимые действия. И, как следствие, повысить востребованность продукта на рынке.
●Сравнение с другими банковскими сайтами.
●Понимание того, какие показатели и задачи являются наиболее проблемными у отдельных банков и по отрасли в целом.
7
Введение
ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ
5. Записаться на презентацию
Для кого отчёт окажется наиболее ценным?
●Дляруководителей и начальниковотделов – независимая сравнительная оценка результатов работы по созданию и развитию своего продукта.
●Для маркетологов и менеджеров продуктов – основание для корректировки стратегии развития и продвижения продукта.
●Для технических специалистов –основание для внесения изменений в интерфейс продукта.
Для чего именно он будет полезен?
●Повышение удобствабанковских сайтов и удовлетворённостипользователей от работы с ними.
●Снижение вероятности перехода к использованию продуктов-конкурентов в связи с проблемами интерфейсов.
●Улучшение интерфейсных конкурентных преимуществ банковских сайтов, важных для привлечения новых клиентов банков.
8
Введение
ПРАКТИЧЕСКАЯ ЗНАЧИМОСТЬ
7. Записаться на презентацию
По каким критериям отбирались респонденты?
В тестировании приняло участие 60 человек в возрасте от 18 до 48 лет, которые были условно разделены на две группы по опыту использования банковского сайта («опытные» и «новички»).
Ни один из респондентов не являлся клиентом тестируемого банка.
«Опытными» считаются респонденты, которые самостоятельно подбирали один или несколько банковских продуктов.
«Новичками» считаются респонденты не имеющие опыта подбора вкладов, автокредитов, ипотеки и кредитной карты.
11
«опытные»
«новички»
6
10
=
60
х
Методы исследования
АУДИТОРИЯ
8. Записаться на презентацию
Юзабилити-тестирование –качественный экспериментальный лабораторный метод анализа взаимодействия пользователяс продуктом при решении типичных задач (ГОСТ Р ИСО 9241-11).
Тестирование проводится в специально оборудованной лаборатории.
Модератор зачитывает задание из сценария, которое респонденту необходимо выполнить. Сценарий тестирования не содержит шагов выполнения задания или подсказок.
Операции респондент выполняет в обычном для себя темпе и при необходимости комментирует возникающие затруднения.
Модератор не вмешивается в ходработы респондента, не задаёт наводящих вопросови не даёт подсказок. По завершении каждого задания и в конце всего тестирования модераторполучает качественныеданные с помощью интервью об удобствевыполнения задания и впечатлении от работы.
Модератор фиксирует время выполненияоперации, затруднения ивопросы пользователя,а также наблюдает и анализирует его поведение.
13
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ
9. Записаться на презентацию
Перед началом тестирования происходитнастройка оборудованиядля регистрациидвижения глаз (eye-tracker) под конкретногореспондента. Весь процесс тестированиязаписывается с помощью специальногопрограммного обеспечения, позволяющего визуализироватьполученную информацию в виде тепловых карт и траекторий движения глаз.
Eye-tracking –метод регистрации движения глазреспондентапо экрану при работе синтерфейсом. Позволяет делать выводы обожиданиях и проблемах во времявзаимодействияс продуктом.
14
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ
10. Записаться на презентацию
Исследование проводится при помощиспециализированного программного обеспечения, вкотором исследователем в видедерева задаётся структура тестируемогобанковского сайта.
Респондентупредлагаетсявыполнить те же 7задач, что и восновной части тестирования. Разницалишь в том,что вместо выполнения операции респондентупредлагаетсяотметить раздел, в котором он ожидаетувидетьвозможность выполнить заданную операцию.
Сортировка проводится до тестирования,чтобы исключить влияние обучения пользователянавигации в системе в процессе исследования.
Обратная карточная сортировка (tree testing) – качественный экспериментальныйметод проверки удобства навигации и наименованийв существующей информационной архитектуребанковского сайта.
15
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ
11. Записаться на презентацию
После выполнения всех заданий пользователюнеобходимооценить свои впечатления от работысбанковским сайтом по17 парам прилагательных спротивоположными значениями.
Например, привлекательный/отталкивающий. Нашкале пользователь отмечает тот балл, которыйлучше всего отражает его впечатлениевконтекстепредложеннойпары характеристик.
Семантический дифференциал –метод построенияиндивидуальных семантических пространств, позволяющий оценивать восприятие одного и того же объекта разнымиреспондентами. Эта методика пришла в маркетинговыеисследованияиз психологии (Ч. Осгуд, 1952 г.) Еёрезультатом являются качественныехарактеристики эмоционального восприятиябренда, которые не влияют на рейтинговый балл по задачам.
16
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ
12. Записаться на презентацию
После выполнения каждого задания респондент заполняет анкету с оперативными метриками. После выполнения всехзаданий респонденту даётсяанкета (итоговые метрики), в которой он оценивает свое общее впечатлениеот работына банковском сайтепопредложенным вопросам.
Юзабилити-метрики представляют собой две анкетына 15вопросов после каждого задания (оперативные метрики) и на 7 вопросов после завершения исследования(итоговые метрики). По каждому вопросу респондент оценивает удобствобанковского сайтапо 5-бальной шкале.
17
Методы исследования
ПРИМЕНЁННЫЕ МЕТОДИКИ
13. Записаться на презентацию
Дополнительные показатели:
Основые показатели:
Результативность
Эффективностьрекламы
Юзабилити-ошибки
Эмоциональноевосприятиебренда
Субъективная удовлетворённость
Непонятныеформулировки
Удобствонавигации
Наличиебазовогофункционала
18
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ
Полнота информации
14. Записаться на презентацию
Юзабилити-ошибки -количество проблем интерфейса, препятствующих совершению пользователемнеобходимогодействия и снижающих удовлетворённость от использованияпродукта.
Возникающие у пользователя затруднения фиксируются модератором в процессе тестирования.
В процессе анализа проблемы ранжируются по степени критичности. Критичными считаются те проблемы, из-за которых респондент не смог выполнить задание (достичь нужного результата). Некритичными -те, которые не помещали респонденту выполнить задание, но существенно затруднили его работу с интерфейсом, малокритичными –те, которые несущественно затруднили выполнение задачи, но повлияли на удовлетворённость от работы с интерфейсом.
vs
19
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)
15. Записаться на презентацию
Успешность-число пользователей, успешновыполнивших задание.
Во время тестирования модератор отмечает, было ли задание выполнено респондентом. Для каждого здания в сценарии задается критерий его успешного выполнения. Для задач на просмотр информации в качестве критерия выступает правильный ответ на определённый набор вопросов. Для остальных задач –это совершение операции.
Вкачественномисследованиидаженевыполнение задания2из6
респондентовможетслужить
индикаторомналичиясерьезныхошибок
винтерфейсе.
21
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)
16. Записаться на презентацию
Удовлетворённость -субъективное восприятиепользователем удобства работы с интерфейсом.
После выполнения каждой задачи и завершения тестирования респондент заполняет анкету, в которой по шкале от 1 до 5 оценивает удобство работы с сайтом по различным параметрам. Максимальный балл всегда соответствует положительному полюсу, минимальный – отрицательному.
Методика оценки удовлетворённости «Метрики субъективной удовлетворённости» разработана при участии Института Психологии РАН, А.Н. Костиным, д.п.н.
Нет смысла спрашивать респондента
«Понравился ли вам банковский сайт?»,
чаще всего респонденты отвечают
на такие вопросы утвердительно, даже
не задумываясь о смысле своего ответа.
Мы не задаемреспондентампрямые
вопросыоб удовлетворнности,
поскольку данные параметры являются
очень субъективными, и разные
респонденты могут вкладывать в это
различный смысл. Мы используем
специальные объективные методики для
оценки удовлетворённости.
22
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)
17. Записаться на презентацию
Непонятные формулировки –соответствие названия разделатому смыслу, который вкладывают вэто название пользователи, либо фактическому содержанию этого раздела.
Показатель представляет собой количество неясных формулировок, встретившихся респондентампри выполнении базовых операцийна банковском сайте
Удобство навигации –простота и логичность структуры продукта для пользователя.
Определяется при помощиобратной карточной сортировки. Состоит из нескольких параметров: успешность –смог ли респондент верно указать раздел, в котором находится нужная информация; время, затраченное респондентом на поиск необходимого раздела в структуре сайта.
23
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)
18. Записаться на презентацию
Полнота информации–наличие и доступность основной информации о продуктах, а также отделениях и банкоматах на сайте.
24
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ОСНОВНЫЕ)
Наличие базового функционала –фактическое присутствие или отсутствиена банковском сайте возможности выполнить базовые7операций, по которым производится сравнительноеисследование.
19. Записаться на презентацию
Оценка эффективности рекламы. Анализируя данные eye-trackingкамеры, можно сделать выводо том, что привлекает наибольшее внимание пользователяи что на экране не попадает в его поле зрения. В процессе анализа выделяется так называемая«зона интереса», по которой изучается информация о времени фиксации взгляда и последовательностидвижения глаз. Таким образом, можно понять насколько эффективно продвижениеуслуг и акций (насколько предлагаемыена сайтепромо-материалыдействительно различаются пользователями).
Эмоциональная оценка. Для каждого банка строится семантический профиль на основе оценокреспондентовпо парам прилагательных. Затем для каждого банка отбираются наиболеехарактерныеприлагательные (имеющиенаибольший балл) и производится качественный анализ полученных результатов. Также можно сравнитьбанковские сайтыпо доминирующим характеристикам.
25
Методы исследования
ИЗМЕРЯЕМЫЕ ПОКАЗАТЕЛИ (ДОПОЛНИТЕЛЬНЫЕ)
20. Записаться на презентацию
Общий отчёт по сравнительному исследованиюбанковских сайтовсодержит анализ лучших ихудшихрешений по каждому измеряемомупоказателю, а также по каждой пользовательскойзадаче.
Подробные отчёты по отдельным банкам содержат подробный анализ прохождения всех задач в конкретном банке (в том числе, данные метрик), с указанием всех возникших проблем в интерфейсе и рекомендациями по их устранению, а также удачных интерфейсных решений, которые положительно повлияли на общие показатели удобства. Подробный отчёт составляется дополнительно по запросу со стороны заказчиков.
26
Методы исследования
РЕЗУЛЬТАТ ИССЛЕДОВАНИЯ
21. Записаться на презентацию
Рейтинг удобства банковских сайтов
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА
21
Для расчёта балла, присваиваемого каждой операции, основные измеряемые показатели были объединены в 4 фактора, отражающие различные аспекты взаимодействия пользователя с интерфейсом.
Итоговый балл для каждой операции рассчитывался с учётом вклада каждого из факторов.
Дополнительные показатели (эмоциональная оценка и эффективность рекламы) не влияют на рейтинг.
Эффективностькак различные аспекты результативности выполнения заданий.
Экономичностькак затратына деятельность т.е. ресурсыпользователя, затрачиваемые на работу с системой.
Удовлетворённостькак отношениепользователя к продукту.
Надёжность как помехоустойчивость выполнения, безошибочность, рисков и возможных опасных последствий.
22. Записаться на презентацию
Удобствонавигации
(успешность,точность, времявыполнения)
Результативность
Полнота информации
Количество
ошибок
Оперативныеметрики
Итоговыеметрики
Функциональность
27
Эффективность
Экономичность
Удовлетворённость
Надёжность
Рейтинг удобства банковских сайтов
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА
23. Записаться на презентацию
Эффективность
Отражает степень соответствия интерфейса реальным жизненным задачам пользователей. Фактор складывается из того, насколько полно и качественно интерфейс предоставляет пользователю информацию, и насколько верно и точно пользователь совершает все действия при работе с интерфейсом при выполнении базовых операций.
Экономичность
Отражает то, насколько легко и быстро интерфейс дает возможность пользователю достичь своих целей. Складывается из того, сколько времени и усилий пользователь вынужден затрачивать, насколько он утомляется, насколько интерфейс облегчает работу пользователю, предоставляя подходящие в данный момент подсказки и быстрые решения.
Удовлетворённость
Отражает то, насколько высоко пользователь оценивает удобство работы и привлекательность интерфейса. Складывается как из объективных показателей, зафиксированных на тестировании, таких как предсказуемость поведения интерфейса, его понятность, так и из субъективных эмоциональных оценок впечатления от работы с продуктом. В итоге, показатель комфорта описывает то, как пользователь воспринимает работу с интерфейсом в целом.
28
Рейтинг удобства банковских сайтов
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА
24. Записаться на презентацию
Надёжность
Отражает то, насколько стабильно интерфейс дает пользователю возможность достигать своихцелей. Показатель складывается как из количества и критичности ошибок, которые совершает пользователь при работе с сайтом, так и из субъективного впечатления о надёжности и предсказуемости работы.
Функциональность
Отражает количество операций из 7 типичных пользовательских задач, которые теоретически возможно выполнить на сайте банка. При этом, если одно из заданий, не смотря на теоретическую возможность выполнения, не выполнено ни одним респондентом, функциональность также страдает.
29
Рейтинг удобства банковского сайта
МЕТОДИКА РАСЧЁТА РЕЙТИНГОВОГО БАЛЛА