Евгений Тян, Аскон (Санкт-Петербург) Ведущий разработкчик компании Аскон г. Санкт-Петербург. В течении 5 лет занимаюсь разработкой ПО для проектирования в области архитектуры и строительства. Обычно это крупные проекты в которых сроки разработки от 1 года. Сферы интересов: гибкие методологии разработки, контроль качества, 3D графика, алгоритмы, хранение данных, data mining, diving =) В крупном проекте со временем начинает ломаться то, что раньше работало. На текущей итерации исправляем баги внесенные на прошлых, проект буксует. Необходимо постоянно поддерживать качество продукта, ведь он отдается заказчику на каждом Demo. Существует множество программных средств для регрессионного тестирования, но у всех свои ограничения. Мой доклад об опыте разработки и внедрения системы регрессионного тестирования в компании "Аскон", о том как она встроилась в agile процесс, какие проблемы возникали в ее использовании. Приходите!

1. Стратегия тестирования
крупного проекта в
условиях agile разработки.
Разработка и внедрение
системы регрессионного
тестирования
Евгений Тян
«Аскон»
tyan@ascon.ru

3. Сложность
9!

4. Сложность
46
9! 10

5. Сложность
∞?
46
9! 10

6. Наш проект

7. Наш проект
Наш проект
Решение для архитектуры и
строительства
Срок разработки: 3-4 года
CLOC > 120 000

8. 3D Проектирование

9. Максимальная свобода

10. Как начинали
-Ручное
тестирование
UI - TDD, Покрытие
тестами ~40%
Integration
Unit tests

11. Unit тестов не достаточно
Сложно предусмотреть все возможные
варианты использования модуля

12. Unit тестов не достаточно
Сложно предусмотреть все возможные
варианты использования модуля

13. Unit тестов не достаточно
Сложно перейти от условий
ошибки к Unit-тесту

14. Unit тестов не достаточно
Сложно воспроизвести ошибку

15. Unit тестов не достаточно
Интеграционные тесты работают с
приложением на более высоком уровне

16. Unit тестов не достаточно
Интеграционные тесты работают с
приложением на более высоком уровне

17. Unit тестов не достаточно
Интеграционные тесты работают с
приложением на более высоком уровне

18. Проект буксует
1 итерация

19. Проект буксует
1 итерация 2 итерация

20. Проект буксует
1 итерация 2 итерация 3 итерация
1

21. Проект буксует
1 итерация 2 итерация 3 итерация
1
Итерация 4 Итерация 5
1 2 1 3

22. Проект буксует
1 итерация 2 итерация 3 итерация
1
Итерация 4 Итерация 5 Итерация 6
1 2 1 3 1 2
3

23. Стоимость исправлений

24. Что еще хуже

25. Что еще хуже

26. Что еще хуже

27. КАК ПОДДЕРЖИВАТЬ
КАЧЕСТВО ПРОДУКТА?

28. Тестировать руками?
У нас нет столько
тестеров

29. Автоматизация?
Рассматривали:
TestComplete
Squish

30. Автоматизация?
Выяснили:
Существуют риски с
поддержкой технологий
Зависимость от GUI
Медленно

31. Автоматизация?
Решение: собственная
система автоматизации
тестирования

32. Решение. Инструмент

33. Решение. Инструмент

34. Решение. Инструмент

35. Что такое тест?

36. Инструмент тестера

37. Решение. Инструмент

38. Решение. DoD
Unit test-ы написаны
Code Review проведен
Код слит в основную ветку
Старые тесты работают
Приемочные тесты написаны

39. Автоматизация

40. Проблемы внедрения
Хрупкость тестов на раннем этапе
разработки
Сложность анализа причин поломки теста
Долго не могли привыкнуть поддерживать
тесты

41. Проблемы внедрения
Хрупкость тестов на раннем этапе
разработки

42. Проблемы внедрения
Хрупкость тестов на раннем этапе
разработки

43. Проблемы внедрения. Анализ

44. Поддержка тестов

45. Поддержка тестов
• Каждый ответственен за то,
что его commit не ломает тесты
• Если тест нужно исправить, то этим
занимается разработчик, который
внес изменение

46. Что получили
Собственная система интеграционного
тестирования. Полный контроль
Скорость. За счет возможности отвязаться от
GUI и запустить интеграционные тесты в
несколько потоков. Прохождение 500 тестов ~
3-4 мин.
Возможность запускать тесты на каждый
commit
Система записи сценария встроена в
приложение – любой пользователь может
записать ошибку и отправить нам

47. 300
250
200
150 Собственная утилита
Testcomplete
100
50
0
Время прохождения 500 сценариев, мин

48. Что получили
Затратили времени ~ 2 командо-месяца (5
человек)
Есть ошибки в самом инструменте
тестирования
Поддержка. Любые хотелки делаем сами
(форматы вывода результатов,
интерфейсные удобства, средства анализа)

49. Как сейчас
- Ручное тестирование
- Автоматизированное
тестирование,
UI ~500 сценариев
UI - TDD, более
1500 unit-тестов
Integration Покрытие ~60%
tests
Unit tests

50. Как сейчас
UI
Integration
UI
Unit UI
Integration
tests
Unit tests

51. Как сейчас
1 итерация 2 итерация 3 итерация
1

52. Как сейчас
1 итерация 2 итерация 3 итерация
1
Итерация 4 Итерация 5 Итерация 6
2 3

53. Не нужно оглядываться,
смотрим вперед,
движемся уверенней

54. Кому это надо?

56. Евгений Тян
tyan@ascon.ru