Презентация Василия Бурова на SQA Days-16 14-15 ноября 2014, Санкт-Петербург, Россия www.sqadays.com

1. Тест план и
исследовательско
е тестирование
Василий Буров
Ноябрь, 2014

2. Dell Software Group
Обо мне
• Василий Буров
• Тестирую с 2002
года
• В одной компании
• Один продукт
• Email: vasebur@gmail.com
• Skype: b_o_t_l_e_r

3. • Исследовательское тестирование как единственно
возможный подход тестирования новой
функциональности у большого энтрепрайз продукта с 10
летней историей.
• Тест-план – способ ничего не забыть проверить и
отслеживать статус тестирования.
Dell Software Group
Расскажу о следующем

4. • Коробочный энтерпрайз продукт.
• Выполняет аудит больших смешанных компьютерных
сетей (Windows, Unix, Linux системы).
• Хранилище данных собственной разработки.
• Индексация событий в хранилище для быстрого поиска.
• Сжимаем оригинальные события до 40 раз.
• Обрабатываем события поступающие на сервер со
скоростью до 50000 в секунду.
• Умеем отслеживать сессии пользователя на машине.
Dell Software Group
О продукте

5. • 5 разработчиков, 5 тестировщиков и один аналитик.
• Все работают более 5 лет в команде.
• 3 тестировщика и один разработчик работают с
момента основания продукта.
• У нас команда узконаправленных специалистов.
• Модель «автоматизация как сервис».
Dell Software Group
Наша команда

6. Исследовательское тестирование
«Исследовательское тестирование – процесс, при
котором одновременно происходит дизайн тестов,
выполнение тестирования и обучение.»
Dell Software Group
(Джеймс Бах).

7. • Процесс импровизации, поиск ошибки экспромтом.
• Любой может заниматься ad hoc тестированием.
Dell Software Group
Ad Hoc тестирование

8. Dell Software Group
Подходы к тестированию
http://www.quardev.com/content/whitepapers/et_inside_spectator_sport.pdf

9. История: Сбор DHCP логов в репозитори и базу данных с
агентом и без него.
Описание: В windows 2012 server у событий dhcp лога
появились новые поля.
Задача: Проверить, что мы их корректно собираем.
Dell Software Group
Пример из жизни

10. Dell Software Group
Что получилось
• Нашлось некоторое количество ошибок.
• Их фикс требовал времени т.к. надо было разбираться
как работает сборщик логов написанный давно.
• Было решено не тратить силы и не поддерживать сбор
DHCP логов с этой версии ОС до поступления запроса
от клиента.

11. • Особенность продукта - наличие в легаси кода.
• Начав применять сценарное тестирование время на
написание тест кейсов было бы потрачено впустую.
• Уже написанные тест кейсы могут быть не актуальны в
будущем.
Dell Software Group
Выводы

12. История: Запуск отчета по расписанию. Одновременный
запуск нескольких отчетов.
Описание: Как правило, клиенты планируют запуск всех
своих отчетов на одно время в нерабочие часы. Нужно
уметь запустить все отчеты в заданное время и
построить их без ошибок.
Задача: При компиляции отчет потребляет много
машинных ресурсов. Было решено ограничить число
одновременно исполняющихся отчетов. Это число
задается параметром в конфигурационной базе.
Остальные отчеты организовать в виде очереди на
запуск.
Dell Software Group
Еще пример из жизни

13. • Таска запускалась на всех серверах в организации.
• Если таска не смогла запуститься в заданное время, то
расписание терялось и следующих запусков не
происходило.
• Не работал Failover.
• В результате была переделана структура тасок и работа
с ними.
Dell Software Group
Что получилось

14. • Другая особенность продукта – давно сложившаяся
архитектура и концепция.
• Неэффективность сценарного подхода и в этом примере
– пришлось бы переписывать тест-кейсы.
Dell Software Group
Выводы

15. Dell Software Group
Продукт с 10-летней историей и
особенности его разработки
• Много легаси кода.
• Сложившаяся архитектура и концепция.
• Много функционала который не отрезается и остается
востребован.
• Билд строится за 4-8 часов.
• Нет спецификаций.
• Меняющиеся требования.
• Поддержка совместимости с предыдущими версиями.
• В среднем годовой релизный цикл.

16. Dell Software Group
Нам нужно
• Не забыть что-либо проверить.
• Дать аргументированный ответ о том, сколько
понадобится времени на тестирование.
• Всегда знать где мы находимся.
• Если сроки поджимают, то отприоритезировать
проверки.

17. В самом общем виде - это документ, отражающий что и
как мы делаем чтобы оттестировать наш продукт. Нужен
он для того, чтобы планировать работу, мобилизовать и
распределить человеческие, временные и технические
ресурсы. В некоторых компаниях Тест План выглядит как
график и расписание работ. Где-то это сугубо
технический документ. Нет общего стандарта. Есть
тенденции, есть возможные типовые главы Тест Плана,
которые исключительно хорошо описаны у Канера. Но,
ни один конкретный тест план не содержит всех глав,
которые есть в книжке. Он содержит те из них, которые
адекватны конкретной задаче и нашему видению этой
задачи.
(Михаил Портнов).
Dell Software Group
Тест-план

18. Рассматривать элементы тест-плана как области
функциональности, внутри которых мы применяем
исследовательское тестирование для их проверки.
Dell Software Group
Идея

19. • Проверка основной функциональности.
• Корректность обработки ошибок.
• Нагрузочное тестирование (тестирование
производительности, стресс тестирование, наработка на
отказ).
• Тестирование документации.
Dell Software Group
Структура тест плана

20. Dell Software Group
Шаблон тест-плана
N Name
Duration
(ч.)
Status
(%)
Actual
Bugs
Notes
1
Проверка основной
функциональности
…
2
Корректность обработки
ошибок
…
3 Нагрузочное тестирование
…
4 Проверка документации
…
Итого

21. • Пишем тест план.
• Оформляем в виде Excel документа и выкладываем на
Sharepoint портал.
• Отправляем ссылку на документ всем
заинтересованным лицам.
• Учитываем замечания (если были).
• Тестируем и поддерживаем тест план в актуальном
состоянии.
• Профит 
Dell Software Group
Последовательность действий

22. Dell Software Group
Калькулятор

23. Тест план для проверки калькулятора
Dell Software Group
Name
Проверка основной функциональности
Ввод данных
Проверка арифметических операций
Проверка вывода результата на экран
Проверка работы интерфейса пользователя
Проверка работы на различных ОС
Операции с памятью
Закрытие программы
Проверка работы с минимальными правами
Корректность обработки ошибок
Ввод некорректных символов
Арифметические операции с некорректными данными
Ввод больших данных
Работа при нехватке системных ресурсов
Нагрузочное тестирование
Запуск нескольких копий калькулятора
Операции с большими данными
Проверка на наличие утечек
Проверка документации

24. • Исследовательское тестирование это не только ручное
тестирование.
• Исследовательское тестирование это не только
тестирование «черного ящика».
• Исследовательское тестирование это не только
выполнение тестов.
• Исследовательское тестирование это не хаотический
процесс.
Dell Software Group
Заключение

25. • Нет универсального подхода.
• Все определяется условиями разработки и
характеристиками конкретного продукта.
• Комбинируйте подходы и берите те их части которые
лучше всего удовлетворяют вашим условиям.
Dell Software Group
Заключение

26. Dell Software Group
Вопросы
Email: vasebur@gmail.com Skype: b_o_t_l_e_r

27. Список литературы
• Сэм Канер, Джек Фолк, Енг Кек Нгуен, “Тестирование
программного обеспечения. Фундаментальные концепции
менеджмента бизнес приложений”.
• Cem Kaner, James Bach, Bret Pettichord, “Lessons Learned in
Software Testing”.
• James Bach, “General Functionality and Stability Test Procedure”.
Dell Software Group
http://www.satisfice.com/tools/procedure.pdf
• Jon Bach, “Exploratory Testing. Inside the Spectator Sport”.
http://www.quardev.com/content/whitepapers/et_inside_spectator_spor
t.pdf
• Cem Kaner, “The Value of Checklists and the Danger of Scripts: What
Legal Training Suggests for Testers”.
http://www.kaner.com/pdfs/ValueOfChecklists.pdf