Доклад Ильи Никифорова на SQA Days-22. 17-18 ноября 2017. Санкт-Петербург, Россия www.sqadays.com

1. Software quality assurance days
22 Международная конференция
по вопросам качества ПО
sqadays.com
анкт-Петербург. 17–18 ноября 2017
Никифоров Илья
StarLine. Санкт-Петербург, Россия
Автоматизация тестирования встроенного ПО

2. Автоматизация тестирования встроенного ПО
Научно-производственное
объединение StarLine

Разработка и производство автомобильного
охранно-телематического оборудования и
телематических сервисов с 2000 года

Более 670 сотрудников: 100 в R&D

65 представительств в России и СНГ

15 миллионов автовладельцев выбрали
оборудование StarLine

3. Автоматизация тестирования встроенного ПО
Пару слов об авторе

С 2009 года в команде
StarLine

Руководитель отдела
разработок

Вообще не QA, но в восторге
от результатов команды QA

4. Автоматизация тестирования встроенного ПО
План презентации
1. Что мы тестируем?
2. Как все начиналось?
3. Почему решили автоматизировать?
4. Как мы это сделали?
5. Что дальше?
6. Вопросы

5. Автоматизация тестирования встроенного ПО
Что мы тестируем?

6. Автоматизация тестирования встроенного ПО
Что мы тестируем?

7. Автоматизация тестирования встроенного ПО
Как все начиналось?

8. Автоматизация тестирования встроенного ПО
Как все начиналось?

9. Автоматизация тестирования встроенного ПО
Как все начиналось?

10. Автоматизация тестирования встроенного ПО
Почему решили
автоматизировать?
• Разработка ведется по скраму:
• Каждые 2 недели тестовая прошивка
• Каждые 2 месяца релиз
• Ручное тестирование функционала:
• Время прогона тестов по диаграммам 3
месяца!
• Много похожих рутинных кейсов +
человеческий фактор = ошибки

11. Автоматизация тестирования встроенного ПО
С чего начать? Отправная точка

Ручное тестирование на столе + полевые
испытания бета-тестировщиков (150 машин)

Опыт коллег из web-, серверной и
мобильной разработки не подходит

Готовых инструментов нет

Специалистов на рынке нет

Нужно итерационно улучшать процесс
тестирования, не прерывая текущий

12. Автоматизация тестирования встроенного ПО
С чего начать? Предпосылки

Упростить работу тестировщика, снять
основную рутину

Многие тестировщики «железа» - junior-
программисты, которым интересно в том
числе покодить

Что-то новое = дополнительная мотивация

13. Автоматизация тестирования встроенного ПО
С чего начать? Шаг 1

Подключить к дискретным каналам Arduino,
чтобы она генерировала воздействия и
проверяла реакцию

14. Автоматизация тестирования встроенного ПО
С чего начать? Шаг 1

У тестировщиков загорелись глаза — люди
с энтузиазмом взялись за дело

Меньше ложных ошибок

Время выполнения прогона уменьшилось

Ручной перенос результатов прогона в
TestRail, ручная постановка задач в Jira

Изменение кейса = менять в двух местах

Большая часть кейсов выполняется
вручную

15. Автоматизация тестирования встроенного ПО
Как сейчас?

16. Автоматизация тестирования встроенного ПО
Как сейчас? Результаты

Группа на половину из программистов

Непрерывное выполнение тестовых
прогонов на всей линейке оборудования

Сценарий на базе исходников

Автоматический перенос результатов
прогона в TestRail

Автоматический анализ причин ошибки
теста и их объединение, постановка задач в
Jira

17. Автоматизация тестирования встроенного ПО
Как это работает?

18. Автоматизация тестирования встроенного ПО
Состав команды

1 тест-дизайнер

1 ведущий программист

1 программист

1 прогон-аналитик

19. Автоматизация тестирования встроенного ПО
Состав команды
Тест-дизайнер

Контроль и обработка входных данных

Исследовательское тестирование

Составление диаграмм переходов

Составление тест-кейсов в виде
комментариев в будущих исходниках кода

20. Автоматизация тестирования встроенного ПО
Состав команды
Ведущий программист (руководитель группы)

Архитектура ПО

Формирование требований к стендам,
написание ТЗ для КБ

Координация работ с другими командами
(разработчики мобильных, серверных
приложений)

21. Автоматизация тестирования встроенного ПО
Состав команды
Программист

Пишет код :)

22. Автоматизация тестирования встроенного ПО
Состав команды
Прогон-аналитик

Приемка новых автоматизированных тестов

Анализ результатов тестовых прогонов,
постановка задач на исправление ошибок

Ручное тестирование

23. Автоматизация тестирования встроенного ПО
Что дальше?

Автотесты параллельно с разработкой =
приёмка встроенного ПО с тестами

Автоматический анализ результатов
прогона

Расширение интеграционного тестирования,
синхронизация с группами тестирования
мобильных, десктопных, web-приложений

Выборочное тестирование по запросу

Замена ПК на Raspberry PI

24. Автоматизация тестирования встроенного ПО
Что дальше?

25. Автоматизация тестирования встроенного ПО
Спасибо!
Особая благодарность Водопьян Сергею за помощь в
подготовке материалов