Между молотом и наковальней. Production Quality
•Transferir como PPTX, PDF•
0 gostou•613 visualizações
Доклад Владимира Мордовина на конференции SQA Days-20. 24-26 ноября 2016. Минск www.sqadays.com
Recomendados
Recomendados
Mais conteúdo relacionado
Destaque
Destaque (19)
Mais de SQALab
Mais de SQALab (20)
Между молотом и наковальней. Production Quality
- 1. МЕЖДУ МОЛОТОМ И НАКОВАЛЬНЕЙ WARGAMING ST. PETE
- 2. Владимир Мордовин Release & Localization QA Team Lead Больше 3х лет в тестировании на проекте World of Warships skype: amoriel-dewin e-mail: v_mordovin@wargaming.net Познакомимся
- 3. WORLD OF WARSHIPS — ЭТО FREE-TO-PLAY ММО-ЭКШЕН, КОТОРЫЙ ПОЗВОЛЯЕТ ОКУНУТЬСЯ В МИР МАСШТАБНЫХ ВОЕННО-МОРСКИХ БАТАЛИЙ. ВОЗЬМИТЕ ПОД УПРАВЛЕНИЕ ЛЕГЕНДАРНЫЕ БОЕВЫЕ КОРАБЛИ ПЕРВОЙ ПОЛОВИНЫ ХХ ВЕКА И ЗАВОЮЙТЕ ГОСПОДСТВО НА БЕСКРАЙНИХ ОКЕАНСКИХ ПРОСТОРАХ. WARGAMING ST. PETE
- 5. Release & Localization QA Team Внешние тесты Bug Support / Dev Обратная связь Акции и предложения Localization Feature testing Release & Localization
- 6. Release & Localization QA Team
- 7. • Обработка обратной связи • Блокеры релиза (“must fix”) • Сложность внесения срочных изменений / фиксов на стадии релиза • Региональные особенности (кастомизация) С чем мы столкнулись
- 9. • Неинформативная • Субъективная • Эмоциональная • Лояльная / токсичная • Может быть ложной • Ее просто много Проблемы обратной связи
- 10. • Поддержка пользователей • Супертест • Общий тест • Социальные сети • Любые другие источники Источники обратной связи
- 11. Примеры: как не надо
- 13. Как быть? • Формализация требований к обратной связи • Агрегирование и предоставление (дайджесты)
- 14. • Формализация требований к обратной связи
- 16. Как убедить разработчика? ДАЙДЖЕСТ BUG-SUPPORT
- 17. Как убедить разработчика? ДАЙДЖЕСТ ВПЕЧАТЛЕНИЙ
- 20. Проблема долгой сборки Выпуск патча с фиксом • Релизная сборка – 4 ч • Версионный патч – 1 ч • Минимальные проверки – 0.5-1 ч • Выкладка патча на регионы – 1 ч • = ~7 часов возможного downtime’а
- 21. Чем грозит Hot Fix? • На стадии подготовки релиза – сдвиг сроков, отменой релиза • На продакшене – потенциальная неработоспособность приложения
- 23. • Ограничения государственного законодательства • Недопустимый контент (свастика и т.д.) • Локализация Про что часто забывают?
- 24. Версия для китайского региона: • Национальные флаги • Символика флотов • Командиры без знаков отличия • Локализация • Специальный набор фичей Пример китайской кастомизации
- 25. Национальные флаги Пример китайской кастомизации
- 26. Символика флотов Пример китайской кастомизации Командиры без знаков отличия
- 27. Специальный набор фичей Пример китайской кастомизации
- 28. Anti-online game addiction system Пример китайской кастомизации • Регулярные нотификации в клиенте о том, что он провел N часов в игре. • Время онлайна и оффлайна накапливается. • Если суммарное время онлайна превышает N часа, то игрок начинает получать 50% кредитов и опыта за бой. • Если суммарное время онлайна превышает N+N часов, то игрок не получает кредитов и опыта за бой. • Суммарное время онлайна и оффлайна сбрасываются, если суммарное время оффлайна превышает N+N часов.
- 30. QUESTIONS?
- 31. THANK YOU!
Notas do Editor
- Всем привет! Я Мордовин Владимир. В питерской студии Wargaming я руковожу командой релизного тестирования на проекте «Мир Кораблей». Три года назад в этой самой студии я начал свой путь в отрасли. На сегодняшний день продолжаю (хочется верить=) профессионально и личностно развиваться в той же студии, хоть и в другой роли. Но обо всем по порядку. О чем пойдет речь сегодня? Осмелюсь предположить, что далеко не в каждом проекте есть выделенная группа тестирования, которая занимается «предрелизной» подготовкой версий. Могу я попросить поднять руки тех из Вас, у кого на проекте такая команда есть? Смелее.
- Прочитать Танки Картошка/Корюшка
- дежурства Назначался представитель одного из отделов функционального тестирования, и оставался на поддержке версии. Уже на стадии тестирования Альфа-версии проекта стало очевидно, что всё имеет свой предел Отщипываение Как результат, к началу закрытого Бета-тестирования была сформирована совершенно новая команда, в чьи непосредственные обязанности входили проверки патчей перед выпуском и сопровождение релизов.
- Проект разрастался, задачи менялись и добавлялись новые. Со временем наша команда начала заниматься подготовкой локализационных билдов и активно участвовать в релизах версий. Перечислить Обратная связь в конце В силу специфики своей работы команда много времени уделяет обработке обратной связи от игроков. Фактически, информация от играков– важнейший фактор, определяющий срочность и критичность проблем, с которыми мы сталкиваемся.
- Оставаясь при этом частью команды разработки, мы каждый день сталкиваемся с дилеммой: Как донести до команды разработки критичность пользовательских проблем? Как рассказать о том, что кажущая незначительная проблема для разработчика, напрочь убивает в некоторых игроках желание заходить в игру. Молот и наковальня. И между ними мы. Пусть наковальня будет игровым сообществом, о которое в пух и прах может разбиться даже самая суровая обосновательная база для нововведения. Простое «Не нравится» и нажатие кнопки «Выйти» из игры в этом случае сильнее любого слова. Тогда кто молот? А вот их множество. Перечислить У всех свои сроки, приоритеты, риски, ожидания и планы. Но все это идет к пользователю через нас. А обратная связь о качестве доставленных изменений могучей отдачей также сквозь нас возвращается обратно на сторону команды проекта. И так каждые три недели – против релизного цикла не попрешь=). В 3 недели цикла доставки обновлений нам необходимо уместить несколько сессий супертеста, общий тест, подготовку локализаций, и конечно проверки, проверки и проверки, не забывая, что на проде, версия которую необходимо поддерживать, готовить патчи с фиксами или добавлениями версии.
- После формирования команды и начала деятельности мы сформировали несколько проблемных направлений, с которыми мы столкнулись после при подготовке к релизу, самые интересные из них: Характер ОС в зависимости от региона при условии, что это важнейшая информация для определения приоритетов в работе команды разработки/Must_Fix Невозможность оперативных изменений при условии клиентских исправлений Региональная кастомизация версий
- Какие же проблемы могут встретиться?
- Супертест - это стандартная практика в разработке игр, но для остальных направлений можно сказать, что это привлечение опытных пользователей к закрытому тесту новой, подготавливаемой, версии. Супертест - это около 3х сотен опытных и лояльных игроков. Для супертеста настроен и поддерживается отдельный баг-треккер. Направлен на первые прогоны, на тестирование версии бОльшим количеством человек, чем может предоставить студия. Так как супертесты запускаются с началом стабилизации и проводятся параллельно с регрессионным тестированием, то львиная доля найденных багов чинится уже до следующей сессии. Вообще супертест – это маленький организм или мирок, как посмотреть. Есть менеджер супертеста непосредственно в студии проекта кораблей. Региональные менеджеры. Координаторы супертеста и активисты-помощники. На общем тесте нет ограничений для участия, и зарегистрироваться и поучаствовать в предварительном прогоне версии может каждый. И в отличие от супертеста количество игроков ограничено только на сервере. Значение выставляется в зависимости от версии, но обычно 7-8 тысяч одновременно находящихся на сервер играков. Форум – основной инструмент при сборе и обработке обратной связи с Общего теста. Одно из самых сложных для разбора мест. Да, выделены отдельные темы под баги. Отдельно под фидбэк, под производительность, под карты, режимы, интерфейс. Всё это есть, но всё равно приходится разбирать всё, и принимать во внимание всё написанное.
- После формализации: А агрегирование? когда информация разобрана и структурирована, её можно назвать инструментом. И чем раньше этот инструмент начинает работать, тем оперативнее можно внести изменение в версию или среагировать на критический дефект.
- Нужен слайд?
- Недельный дайджест Вопрос – как воспроизвести и сколько пользователей страдает.
- Это может не быть блокером для игры в целом, но может быть блокером для выпуска версии Вспоминается пример, одна из версий игры прошла уже стандартный цикл подготовки. На этапе супертестов было найдено, заведено и починено огромное количество дефектов, фидбэк лояльной аудитории был неоднозначен, но положительный и ожидаемый. Без особой спешки был подготовлен общий тест и двери открылись всем желающим опробовать нововведения. Уже с первых 24 часовых отчетов стало ясно, что проблемы версии по большей части не в стабильности, стабильность вызывала вопросы в последнюю очередь. Проблема в паре основных фичей версии. Итог: Одна фича переделана к релизу, вторая исключена из версии. Ссылки на reddit – практически всё в NA регионе пролетает через этот ресурс, на RU больше на форуме, соцсетях.
- Вспоминается известная картинка о стоимости починки дефекта В нашем проекте существенный, поддержанный цифрами и ресурсами вид.
- Про трудность с hot fix на прод я лучше расскажу в примере. И вот версия готова, патчи собраны, выложены, релизные проверки завершены. Ждём релиза. Но нам прилетает сообщение от команды паблишинга на актуализацию персональных предложений. Это контрольная проверка предложений на новой версии. Регрессионной тестирование было проведено и ничего не предвещало беды. И так оказалось, что перед релизом на стороне сервера починили один баг, но зацепили некоторые типы персональных предложений в клиентской части. Предложения в срочном порядке пришлось останавливать, подключая команду поддержки из Минска, и параллельно выяснять причину дефекта и как его оперативно починить. А подготовка клиента занимает некоторое время и зацепляет серверную часть: Это 4 часа сборки билда, ещё час на подготовку версионного обновления, чтобы игроки смогли скачать только обновление, а не полноценный билд, проверка фиксов на локальных тестовых окружениях и выкладка патчей, и далее организация релиза с обновлением серверов. Эти факторы и возможность остановить рассылку персональных предложений, смогли перенести фикс в следующее запланированное обновление.
- Приподнять тексты!!!
- Ярчайший пример региональной кастомизации является китайский регион. Подготовка к обновлению китайского региона начинается практически одновременно с общим тестом. Если для всех регионов мы собираем одну версию, одно обновление, то китайский клиент - это отдельная сборка и отельный цикл подготовки. В китайском клиенте заменены все государственные флаги, с японских кораблей убраны хризантемы, а локализация делается непосредственно нашими китайскими партнерами, так что изменены названия многих кораблей. В китайском регионе реализована специальная препродакшн площадка, так называемый «Пионер». На пионере партнеры отсматривают и проверяют версию, собирают список необходимых изменений и список критичных багов. И мы хоть и выделяем китайскую версию из основного цикла, но пионер остается одной из тестовых площадок, при этом площадка максимально приближена к продакшн окружению. Это сервер, хранилище, update service и различные обвязки web-компонентов.
- Ярчайший пример региональной кастомизации является китайский регион. Если для всех регионов мы собираем одну версию, одно обновление, то китайский клиент - это отдельная сборка и отельный цикл подготовки. Для китайского регионе мы даже развернули специональную препродакшн площадку, так называемый «Пионер». На пионере партнеры отсматривают и проверяют версию, собирают список необходимых изменений и список критичных багов.
- Советы об играх и здоровье Не используйте пиратскую версию Остерегайтесь мошенничества Игразависимость опасна для жизни Организовывайте свое время и занимайтесь здоровым образом жизни.
- Ярчайший пример региональной кастомизации является китайский регион. Подготовка к обновлению китайского региона начинается практически одновременно с общим тестом. Если для всех регионов мы собираем одну версию, одно обновление, то китайский клиент - это отдельная сборка и отельный цикл подготовки. В китайском клиенте заменены все государственные флаги, с японских кораблей убраны хризантемы, а локализация делается непосредственно нашими китайскими партнерами, так что изменены названия многих кораблей. В китайском регионе реализована специальная препродакшн площадка, так называемый «Пионер». На пионере партнеры отсматривают и проверяют версию, собирают список необходимых изменений и список критичных багов. И мы хоть и выделяем китайскую версию из основного цикла, но пионер остается одной из тестовых площадок, при этом площадка максимально приближена к продакшн окружению. Это сервер, хранилище, update service и различные обвязки web-компонентов.
- Резюмируя вышесказанное, еще раз остановлюсь на том, к чему мы пришли спустя полтора года с момента возникновения идеи о создании выделенной команды релизного тестирования. создали команду. «быть или не быть». сомнения, объемом полезной работы, - кастомизация версий - работа с локализациями - улучшение инструментария и процедур доставки изменений до пользователя Во-вторых, мы наладили процессы работы с ОС Production Quality в разрезе «Кораблей», важно отметить, что фокус на интересах и ожиданиях пользователя – это то, что направляет развитие проекта. грамотно организованная, выстроенная работа с обратной связью жизненно важна для успеха всего мероприятия. Внимательно прислушиваться к пользователю. Научиться выделять конструктивное зерно из всего потока информации, который от него исходит. И тогда в непрекращающихся жалобах можно будет найти ту крупинку конструктива, которая поможет сформировать требования к новой функциональности. Спасибо за Ваше внимание. Буду рад ответить на возникшие вопросы.