O slideshow foi denunciado.
Utilizamos seu perfil e dados de atividades no LinkedIn para personalizar e exibir anúncios mais relevantes. Altere suas preferências de anúncios quando desejar.

Темная сторона метрик

3.695 visualizações

Publicada em

Слайды к рассказу про тёмную сторону метрик на встрече московского клуба тестировщиков.

Publicada em: Software
  • Entre para ver os comentários

Темная сторона метрик

  1. 1. Темная сторона метрик Роман ИВЛИЕВ
  2. 2. 2002-.... • Тестировщик • Разработчик • Руководитель разработчиков • Руководитель тестировщиков • Руководитель проектов • CTO • CIO О СЕБЕ
  3. 3. • 10 лет в Интернете • 570КК выручки за 2014 год • 0,5КК уников в сутки • 30+ сотрудников департамента информационных технологий • 70Тб трафика в месяц • А ещё мы покупаем конкурентов ;) О BANKI.RU
  4. 4. • Метрики, что это и что с ними делать • Метрики - примеры • Темная сторона метрик, как не надо • Темная сторона метрик, как избежать ПРО ЧТО Я БУДУ РАССКАЗЫВАТЬ
  5. 5. БУДЬТЕ БДИТЕЛЬНЫ
  6. 6. Просто весёлая картинка в субботу
  7. 7. Метрики, что это? • Метрика по ISO 14598 - это количественный масштаб и метод, который может использоваться для измерения. • Метрика - это мера, позволяющая получить численное значение некоторого свойства объекта
  8. 8. Метрики, что это?
  9. 9. Метрики, зачем?
  10. 10. • Найденные дефекты/ исправленные дефекты Метрики, примеры (простые)
  11. 11. • Найденные дефекты/ исправленные дефекты • Процент выполненных тестов /процент успешных тестов Метрики, примеры (простые)
  12. 12. • Найденные дефекты/ исправленные дефекты • Процент выполненных тестов /процент успешных тестов • Метрика стилистики и понятности (например, плотность комментариев) Метрики, примеры (простые и один не простой)
  13. 13. Иллюстрация, как можно сломать мозг • Major Defects Per Test Case Review • Minor Defects Per Test Case Review • Total Defects Per Test Case Review • Ratio of Major to Minor Defects Per Test Case Review • Total Defects Per Test Case Review Hour • Major Defects Per Test Case Review Hour • Ratio of Major to Minor Defects Per Test Case Review Hour • Number of Open Defects Per Test Review • Number of Closed Defects Per Test Case Review • Ratio of Closed to Open Defects Per Test Case Review • Number of Major Open Defects Per Test Case Review • Number of Major Closed Defects Per Test Case Review • Ratio of Major Closed to Open Defects Per Test Case Review • Number of Minor Open Defects Per Test Case Review • Number of Minor Closed Defects Per Test Case Review • Ratio of Minor Closed to Open Defects Per Test Case Review • Percent of Total Defects Captured Per Test Case Review • Percent of Major Defects Captured Per Test Case Review • Percent of Minor Defects Captured Per Test Case Review • Ratio of Percent Major to Minor Defects Captured Per Test Case Review • Percent of Total Defects Captured Per Test Case Review Hour • Percent of Major Defects Captured Per Test Case Review Hour • Percent of Minor Defects Captured Per Test Case Review Hour • Ratio of Percent Major to Minor Defects Captured Per Test Case Review Hour • Percent of Total Defect Residual Per Test Case Review • Percent of Major Defect Residual Per Test Case Review • Percent of Minor Defect Residual Per Test Case Review • Ratio of Percent Major to Minor Defect Residual Per Test Case Review • Percent of Total Defect Residual Per Test Case Review Hour • Percent of Major Defect Residual Per Test Case Review Hour • Percent of Minor Defect Residual Per Test Case Review Hour • Ratio of Percent Major to Minor Defect Residual Per Test Case Review Hour • Number of Planned Test Case Reviews • Number of Held Test Case Reviews • Ratio of Planned to Held Test Case Reviews • Number of Reviewed Test Cases • Number of Unreviewed Test Cases • Ratio of Reviewed to Unreviewed Test Cases • Number of Compliant Test Case Reviews • Number of Non-Compliant Test Case Reviews • Ratio of Compliant to Non-Compliant Test Case Reviews • Compliance of Test Case Reviews • Non-Compliance of Test Case Reviews • Ratio of Compliance to Non-Compliance of Test Case Reviews
  14. 14. Иллюстрация, как можно сломать мозг • Major Defects Per Test Case Review • Minor Defects Per Test Case Review • Total Defects Per Test Case Review • Ratio of Major to Minor Defects Per Test Case Review • Total Defects Per Test Case Review Hour • Major Defects Per Test Case Review Hour • Ratio of Major to Minor Defects Per Test Case Review Hour • Number of Open Defects Per Test Review • Number of Closed Defects Per Test Case Review • Ratio of Closed to Open Defects Per Test Case Review • Number of Major Open Defects Per Test Case Review • Number of Major Closed Defects Per Test Case Review • Ratio of Major Closed to Open Defects Per Test Case Review • Number of Minor Open Defects Per Test Case Review • Number of Minor Closed Defects Per Test Case Review • Ratio of Minor Closed to Open Defects Per Test Case Review • Percent of Total Defects Captured Per Test Case Review • Percent of Major Defects Captured Per Test Case Review • Percent of Minor Defects Captured Per Test Case Review • Ratio of Percent Major to Minor Defects Captured Per Test Case Review • Percent of Total Defects Captured Per Test Case Review Hour • Percent of Major Defects Captured Per Test Case Review Hour • Percent of Minor Defects Captured Per Test Case Review Hour • Ratio of Percent Major to Minor Defects Captured Per Test Case Review Hour • Percent of Total Defect Residual Per Test Case Review • Percent of Major Defect Residual Per Test Case Review • Percent of Minor Defect Residual Per Test Case Review • Ratio of Percent Major to Minor Defect Residual Per Test Case Review • Percent of Total Defect Residual Per Test Case Review Hour • Percent of Major Defect Residual Per Test Case Review Hour • Percent of Minor Defect Residual Per Test Case Review Hour • Ratio of Percent Major to Minor Defect Residual Per Test Case Review Hour • Number of Planned Test Case Reviews • Number of Held Test Case Reviews • Ratio of Planned to Held Test Case Reviews • Number of Reviewed Test Cases • Number of Unreviewed Test Cases • Ratio of Reviewed to Unreviewed Test Cases • Number of Compliant Test Case Reviews • Number of Non-Compliant Test Case Reviews • Ratio of Compliant to Non-Compliant Test Case Reviews • Compliance of Test Case Reviews • Number Non-Compliance of Test Case Reviews • Ratio of Compliance to Non-Compliance of Test Case Reviews
  15. 15. Вернёмся к…
  16. 16. • Счетчик новых и исправленных дефектов • Счетчик удачных и неудачных тестов • Число строк кода и число комментариев Чем их мерять?
  17. 17. • Все дефекты найдены и задокументированы • Есть цель исправить все дефекты • Если все известные дефекты исправлены – продукт готов • Есть разумное объяснение для всех исправленных дефектов Смеркалось  Счетчики, предположения
  18. 18. Смеркалось  Проценты, предположения • Перед выполнением точно знаю, сколько тестов будет выполнено • Все четко понимают, что такое «тест» • Все четко понимают, что такое «выполненный» • Выходом теста является либо «Прошел», либо «Не прошел»
  19. 19. Смеркалось  Стилистика Тот, кто считает, точно знает что делает
  20. 20. ВЫГЛЯДИТ НЕПЛОХО
  21. 21. ЧТО С ЭТИМ не нужно ДЕЛАТЬ?
  22. 22. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА
  23. 23. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры
  24. 24. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал)
  25. 25. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно
  26. 26. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!)
  27. 27. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!) • Сделать выводы
  28. 28. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!) • Сделать выводы (ТОЛЬКО верные)
  29. 29. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!) • Сделать выводы (ТОЛЬКО верные) • Наказать виновных
  30. 30. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!) • Сделать выводы (ТОЛЬКО верные) • Наказать виновных (и остальных)
  31. 31. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!) • Сделать выводы (ТОЛЬКО верные) • Наказать виновных (и остальных) • Внести «коррективы»
  32. 32. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!) • Сделать выводы (ТОЛЬКО верные) • Наказать виновных (и остальных) • Внести «коррективы» (а как иначе?)
  33. 33. КЛАССИЧЕСКИЙ ЗАГОН УПРАВЛЕНЦА • Взять цифры (их кто-то написал) • Изучить внимательно (это важно!) • Сделать выводы (ТОЛЬКО верные) • Наказать виновных (и остальных) • Внести «коррективы» (а как иначе?) • ПРОФИТ!
  34. 34. Методы «управления»  Счетчики • Объединение дефектов в один • «Альтернативный» коллектор дефектов • Добавление дефекта, только после того, как он был исправлен • Самостоятельный поиск и исправление дефектов разработчиком
  35. 35. Следствие  Счетчики • А как корректно учитывать дефекты? • Как заставить отказаться от альтернативных путей? • Как считать сложные дефекты? • И т.д.
  36. 36. Методы «управления»  Проценты • «Исправление» термина «тест» в сторону увеличения гибкости • Прогон только «хороших» тестов • Исправление тестов по поведению софта
  37. 37. Следствие  Проценты • Падает ли тест дважды, если он находит два дефекта? • Надо ли прогонять тест, который наверняка упадет? • Надо ли включать в отчет такой дефект? • Если функционал работает частично, все тесты отклонять, или только те, что реально упали?
  38. 38. Методы управления  Стилистика • Комплексное
  39. 39. Следствие  Стилистика • Комплексное
  40. 40. НИЧОСИ…
  41. 41. ПОПРОБУЕМ РАЗОБРАТЬСЯ
  42. 42. ВАЖНО! Стратегия должна быть
  43. 43. Стратегия выбора метрик: измерения • Понять назначение измерения. Какое измерение для чего будет использоваться • Понять цель измерения. Как широко будут использоваться измерения • Найти объект измерения • Определиться с масштабом измерения.
  44. 44. Просто пример измерения
  45. 45. Просто пример масштаба
  46. 46. Стратегия выбора метрик: инструмент • Найти описание естественного изменения объекта измерений, т.е. некоторый алгоритм, по которому изменяется объект измерения. • Найти инструмент для измерения свойств объекта. Например, счетчик новых дефектов. • Важно, чтобы инструмент был исправен!
  47. 47. Стратегия выбора метрик: инструмент • Понять как изменяются измерения, сделанные с использованием выбранного инструмента. • Определиться с масштабом инструмента для измерений.
  48. 48. Стратегия выбора метрик: инструмент • Понять каким образом объект измерения соотносится с инструментом. • Выяснить побочные эффекты, которые могут возникнуть при измерениях объекта выбранным инструментом.
  49. 49. СТАБИЛЬНОСТЬ И РЕГУЛЯРНОСТЬ
  50. 50. ЕДИНАЯ ТОЧКА ЗРЕНИЯ
  51. 51. ПРИМЕР • Команда А: тех.долг - 11 задач . • Команда Б: тех.долг - 110 задач . • Команда В: тех.долг - 0 задач . • Команда Д: тех.долг - 35 задач .
  52. 52. ПРИМЕР • Команда А: тех.долг - 11 задач . • Команда Б: тех.долг - 110 задач . • Команда В: тех.долг - 0 задач . • Команда Д: тех.долг - 35 задач . • О чём нам говорят эти цифры?
  53. 53. КАЖДОМУ СВОЕ «Слова вы услышали, поиск пути за вами» Уильям Деминг
  54. 54. СПАСИБО С удовольствием отвечу на Ваши вопросы @dumtest roman.ivliev@mail.ru roman.ivliyev

×