Webinar presentation http://www.returnonintelligence.ru/webinars/1st-class-testing/

1. Core Systems Transformation Solutions
Первоклассное тестирование
Евгений Ланцов

2. 1
Agenda
• Тестирование это больше, чем поиск
дефектов
• Какую информацию может предоставить
тестирование?
• Помогаете ли вы своим тестировщикам?
• Насколько ценно ваше тестирование?
• Как сделать вашу команду тестирования
первоклассной?

3. 2
Восприятие – это все
Что менеджеры зачастую думают о тестировании:
– Узкое место
– Хранители качества
– Любители все сломать
– Кликающие по кнопкам
– Специальные знания не обязательны
– Дорогостоящее излишество
– Отвечает за качество продукта и гарантирует качество

4. 3
Истинная цель тестирования
• Истинная цель тестирования – это предоставление информации о
состоянии продукта.
• “The ultimate reason testers exist is to provide information that others on the
project use to create things of value.” James Bach
• Чтобы оценить тестирование нужно оценить информацию, которую оно
предоставляет
• “Testing is a service role. Feel good about that. The service you provide is
vital.” Cem Kaner

5. 4
Кто способен оценить информацию?

6. 5
Тестирование – центр колеса
QA
Директорат
Пользователи
Тех.
поддержка
SQA
Менеджмент
проекта
Разработчики
Маркетинг
Технические писатели

7. 6
Информация для разработчика
• Цель: Написать код вовремя без грубых ошибок. Чтобы заказчик не
нашел серьезных дефектов. Иначе, буду выглядеть глупо в глазах
команды, особенно менеджера.
• Вопросы:
– Сколько дефектов я допустил?
– Они разбросаны по коду или все в одном месте?
– Я делаю разные ошибки или одни и те же?
• Метрики:
– Количество дефектов на количество строк кода
– Распределение дефектов по функционалу (модулям)
– Причины дефектов (root cause)

8. 7
Информация для тест менеджера
• Цель: Убедиться, что тестировщики нашли бОльшую часть дефектов, и
очень немногие просочатся в релиз.
• Вопросы:
– Каков процент дефектов найденных до, во время и после системного
тестирования?
– Как мы пропустили дефекты?
• Метрики:
– Распределение дефектов по фазам тестирования
– Анализ пропущенных дефектов, их причины

9. 8
Информация для менеджера проекта
• Цель: Создать высококачественный продукт, удобный для заказчика,
решающий его проблемы и не создающий дополнительных затрат после
релиза.
• Вопросы:
– Готов ли продукт к релизу – соответствует ли критериям качества?
– Каково было бы их влияние (impact) на систему, пропусти мы их?
– Сколько еще серьезных дефектов может быть не найдено?
– Каково их влияние?
• Метрики:
– Количество дефектов на количество строк кода
– Оценка оставшегося тестирования
– Анализ влияния дефектов (impact analysis)

10. 9
А также
• Директорат – информации о качестве продуктов компании, информация о
рисках, статус проектов по тестированию
• Технические писатели – отзывы о документации, дефекты документации
• SQA – информация о процессе тестирования, проектных процессах,
помогающая их улучшать
• Техническая поддержка - информация о результатах анализа и/или
тестирования работоспособности, стабильности, надежности,
восстановимости продукта и т.д. (reliability, stability, recoverability)
• Пользователи – информация об известных проблемах (known issues), помощь
по работе с продуктом
• Маркетинг – информация о тестировании для продвижения компании на
рынке

11. 10
Кто способен предоставить эту информацию?

12. 11
Первоклассные тестировщики
Первоклассные тестировщики способны:
– Оценить дизайн и архитектуру приложения еще до того, как код
написан
– Во время написания кода подготовить ручные и автоматизированные
тесты, проверяющие случаи, о которых разработчики даже не думали
– Измерить все, что они протестировали, оценить риски и понять, что
протестировано достаточно, чтобы их минимизировать
– Не просто находить и создавать отчеты о дефектах, но предоставлять
информацию о продукте и ходе тестирования, принимать участие в
анализе требований, дизайне

13. 12
Оцените ваше тестирование
• Участвуют ли ваши тестировщики в обсуждениях требований или дизайн
митингах?
• Делитесь ли вы всей информацией о продукте с тестировщиками?
• Помогаете ли вы тестировщикам с требуемыми тест инструментами?
• Улучшаете ли вы тестируемость продукта?
• Тратите ли вы на тренинги для тестировщиков столько же, сколько для
разработчиков?
• Начинают ли ваши тестировщики работать только, когда код уже
написан?
• Обладают ли ваши тестировщики специфической технической
экспертизой? Легко ли найти им замену?

14. 13
Оцените ваше тестирование
• Нашли ли ваши тестировщики наиболее критичные ошибки до релиза?
• Нравится ли разработчикам работать с тестировщиками?
• Владеют ли они специфической информацией о продукте и рисках?
• Удовлетворены ли они тем, что минимизируют риски продукта до релиза?
• Способны ли они оценить время, необходимое для тестирования, и
объяснить почему?
• Бывает ли так, что сроки релиза срываются из-за тестирования?
• Могут ли ваши тестировщики читать код наравне с разработчиками?
• Можете ли вы оценить объем необходимых изменений в продукте,
основываясь на результатах тестирования?

15. 14
Как нанимается команда первоклассных
тестировщиков?

16. 15
Собеседования
4 основных критерия экспертизы:
– Фундаментальные знания: техники, типы, этапы тестирования
– Опыт: практическое применение фундаментальных знаний, опыт
работы с различными приложениями, способности к освоению новых
– Инструменты/технологии: знание технологий и инструментов,
используемых на проекте, обучаемость новым
– Знания предметной области: понимание ожиданий заказчика в
конкретных доменах, знание потенциальных проблем, применение
этих знаний, специфические техники и типы тестирования

17. 16
Найм и обучение
• Найм:
– Создайте у себя в голове образ идеального тестировщика для вашего
проекта
– Для собеседования подготовьте вопросы и задачи на основе своего
проекта
– Обращайте внимание на обучаемость и логическое мышление в
первую очередь
– Оцените подход к решению нестандартных задач
• Обучение:
– Не экономьте на обучении
– Проводите тренинги
– Сертифицируйте сотрудников
– Мотивируйте самообразование

18. 17
Выводы
• Не всем проектам и командам жизненно необходимо первоклассное
тестирование.
• Подумайте, удовлетворены ли вы вашим тестированием.
• Ваша команда может быть способна на многое. Помогите им раскрыть
потенциал.
• Не набирайте команду тестирования бездумно.
• Растите профессионалов.

19. 18
Вопросы?

20. 19
Использованные статьи
• “The Secret Skill – How to Sell Testing”, Jim Hazen, ST&QA magazine, August
2011
• “No More Second Class Testers!”, Johanna Rothman, pp. 24-32, Better
Software magazine, January 2004
• “Proving Our Worth”, Lee Copeland, pp. 32-36, Better Software magazine,
July/August 2006

21. 20
Спасибо
Evgeniy Lantsov
Test Lead / System Analyst / Scrum Master
Pulkovskoye shosse, 40/4
St. Petersburg, Russia
+7.812.383-5800 ext. 2264
evgeniy.lantsov@returnonintelligence.com