Доклад Таисии Толстуновой на конференции SQA Days-18, 27-28 ноября 2015 г., Москва www.sqadays.com

1. Software quality assurance days
18 Международная конференция
по вопросам качества ПО
sqadays.com
Москва. 27–28 ноября 2015
Таисия Толстунова
НИЦ СПб ЭТУ, Санкт-Петербург, Россия
Оценки тестирования
полезные и условные метрики

2. Толстунова Таисия
В тестировании - 9 лет
В тест-менеджменте - 6 лет
Коммерческие, гос.проекты
Последние 5 лет в основном гос.проекты
Оценки тестирования
полезные и условные метрики
Кто я?

3. Что такое метрики?
Оценки тестирования
полезные и условные метрики

4. Необходимы для:
•оценки процесса
•оценки результата тестирования
Оценки тестирования
полезные и условные метрики
Что такое метрики?

5. Метрики, навязанные сверху
• Количество дефектов / единица времени
• Количество найденных дефектов / количество
пофикшенных дефектов
• Количество дефектов / тысяча строк кода
Оценки тестирования
полезные и условные метрики

6. Что может демотивировать?
• % покрытия
• таблица по функциям плотность дефектов /
количество переоткрытых дефектов
• время на настройку / время на тестирование в целом
• время на ожидание версии / время на тестирование в
целом
Оценки тестирования
полезные и условные метрики

7. Соревновательные “ноты”
Важно: одинаковые условия (схожие продукты, похожие
итерации, примерно одинаковый уровень групп разработки)
Оценки тестирования
полезные и условные метрики

8. Соревновательные “ноты”
Важно: одинаковые условия (схожие продукты, похожие
итерации, примерно одинаковый уровень групп разработки)
Например:
-время до первого дефекта
-критичность найденных дефектов
Оценки тестирования
полезные и условные метрики

9. Зачем нужен свой набор метрик?
Оценки тестирования
полезные и условные метрики

10. Зачем нужен свой набор метрик?
Определение цели ввода метрик
-для корректировки процесса
-для корректировки временных оценок
-для анализа результата
-для ответов на вопросы начальства в своем формате
Оценки тестирования
полезные и условные метрики

11. Примеры метрик для процессов
тестирование требований
Оценки тестирования
полезные и условные метрики

12. Примеры метрик для процессов
тестирование требований
• соотношение дефектов в % с приоритетами;
• соотношения временных затрат по итерациям, либо наборам
требований;
• соотношение запросов пользователей к требованиям по
результатам разработки прототипа и самого программного
продукта
Оценки тестирования
полезные и условные метрики

13. • разработка тестовой документации
Оценки тестирования
полезные и условные метрики

14. • разработка тестовой документации
• % покрытия функций, юзкейсов, требований;
• % согласованной архитектором / разработчиком тестовой
документации
Оценки тестирования
полезные и условные метрики

15. • разработка тестовой документации
• % покрытия функций, юзкейсов, требований;
• % согласованной архитектором / разработчиком тестовой
документации
• тестирование ПО
Оценки тестирования
полезные и условные метрики

16. • разработка тестовой документации
• % покрытия функций, юзкейсов, требований;
• % согласованной архитектором / разработчиком тестовой
документации
• тестирование ПО
• % покрытия функций, юзкейсов, требований;
• затраченные фактические временные ресурсы в сравнении с
плановыми
Оценки тестирования
полезные и условные метрики

17. • разработка тестовой документации
• % покрытия функций, юзкейсов, требований;
• % согласованной архитектором / разработчиком тестовой
документации
• тестирование ПО
• % покрытия функций, юзкейсов, требований;
• затраченные фактические временные ресурсы в сравнении с
плановыми
• тестирование пользовательской документации
Оценки тестирования
полезные и условные метрики

18. • разработка тестовой документации
• % покрытия функций, юзкейсов, требований;
• % согласованной архитектором / разработчиком тестовой
документации
• тестирование ПО
• % покрытия функций, юзкейсов, требований;
• затраченные фактические временные ресурсы в сравнении с
плановыми
• тестирование пользовательской документации
• таблица приоритеты / % найденных вне отдела дефектов
документации
Оценки тестирования
полезные и условные метрики

19. Оценки тестирования
полезные и условные метрики
• метрики в процессе тестирования
• метрика личной эффективности (план / факт)
• метрика количества параллельных задач или процессов (в
том числе для расстановки приоритетов)
• метрики для временных оценок (как правило
считаются по отделам, от которых мы зависим)

20. • метрики в процессе тестирования
• метрика личной эффективности (план / факт)
• метрика количества параллельных задач или процессов (в
том числе для расстановки приоритетов)
• метрики для временных оценок (как правило
считаются по отделам, от которых мы зависим)
• для разных групп разработки: количество итераций с
блокерами и инициативой к итерации от разработчиков
(не в случае agile :)
• для разных групп разработки отличие планируемых
дат от фактической выдачи
Оценки тестирования
полезные и условные метрики

21. Коммерческие и гос.проекты
Что такое коммерческий проект?
- потребитель
- заказчик
- обратная связь от пользователей
- что важно?
- что можно менять?
Оценки тестирования
полезные и условные метрики

22. Коммерческие и гос.проекты
Что такое коммерческий проект?
- потребитель
- заказчик
- обратная связь от пользователей
- что важно?
- что можно менять?
Что такое гос.проект?
- ТЗ
- приёмка госзаказа (заказчиком / ОТК / ВП)
Оценки тестирования
полезные и условные метрики

23. • что можно измерять в коммерческих проектах?
Коммерческие и гос.проекты
Оценки тестирования
полезные и условные метрики

24. • что можно измерять в коммерческих проектах?
• что можно измерять в гос.проектах?
Коммерческие и гос.проекты
Оценки тестирования
полезные и условные метрики

25. • Обратная связь от пользователей и от ОТК+ВП. В чем
сходство?
Оценки тестирования
полезные и условные метрики
Могут быть одинаковые метрики?

26. • Обратная связь от пользователей и от ОТК+ВП. В чем
сходство?
• Почему же на самом деле это разные метрики?
Оценки тестирования
полезные и условные метрики
Могут быть одинаковые метрики?

27. • Обратная связь от пользователей и от ОТК+ВП. В чем
сходство?
• Почему же на самом деле это разные метрики?
Выбор метрик:
• Коммерческий проект – критичность / используемость в обратной
связи от пользователей;
• Гос.заказ - % соотношение типов и приоритетов дефектов от
ОТК+ВП
Оценки тестирования
полезные и условные метрики
Могут быть одинаковые метрики?

28. Работающие и неработающие метрики.
Оценки тестирования
полезные и условные метрики

29. Важные вопросы:
• Соответствуют ли ваши метрики целям?
• А спущенные сверху метрики?
Оценки тестирования
полезные и условные метрики
Работающие и неработающие метрики.

30. Спущенные сверху метрики Выбранные в соответствии
с целями метрики
Количество дефектов
в единицу времени
Качественные соотношения
приоритетов дефектов от ОТК
Найденные / пофикшенные
дефекты
Соотношение типов
пропущенных дефектов от
ОТК
Количество дефектов
на тысячу строк кода
% покрытия функционала
Оценки тестирования
полезные и условные метрики
Работающие и неработающие метрики.
Сравнение наборов метрик.

31. Посмотреть, какие еще бывают метрики:
• Доклады с предыдущих SQA
• SQA Days #17 – Monthly Operations
Review
• SQA Days #16 – Использование метрик
в процессе обеспечения качества
сложных систем
• SQA Days #15 – Waterfall revisited:
практические метрики тестирования
• Доклад на BBST Testing Course
Оценки тестирования
полезные и условные метрики
Нужны свои метрики

32. Skype: thaya.tt
mailto: i@thaya.pro
Оценки тестирования
полезные и условные метрики