Доклад Дмитрия Гуменюка на конференции SQA Days-17, 29-30 мая 2015 г., Минск www.sqadays.com

1. Гуменюк
Дмитрий
Проект Менеджер
EPAM Systems

3. • Автоматизация и ее проблемы
• Как мы решали эти проблемы
• Report Portal демонстрация live

4. АВТОМАТИЗИЦИЯ:
ПОПУЛЯРНО НО РИСКОВАННО
50%
ПРОЕКТОВ В EPAM
ИСПОЛЬЗУЕТ
АВТОМАТИЗАЦИЮ ТЕСТОВ
90%
НОВЫХ ЗАКАЗЧИКОВ
ИНТЕРЕСУЮТСЯ
ТЕСТИРОВАНИЕМ И
АВТОМАТИЗАЦИЕЙ
НО АВТОМАТИЗАЦИЯ ТЕСТИРОВАНИЯ ВСЕ ЕЩЕ ОЧЕНЬ РИСКОВАННЫЙ
СЕРВИС

5. ПОЧЕМУ АВТОМАТИЗАЦИЯ
ПОПУЛЯРНА?
CI/CD

6. ПОЧЕМУ ПРОВАЛИВАЕТСЯ
АВТОМАТИЗАЦИЯ?Coverage
grows slower
than planned
Implemented,
but not run
Run, but not
analyzed
Not stable: tests
fail without
product bugs
Нет видимости в состояние и проблемы
автоматизации покуда не становиться поздно

7. АВТОМАТИЗАЦИЯ – ИГРЫ ДЛЯ
БОГАТЫХ?

8. ИДЕИ В ОСНОВЕ РЕПОРТ ПОРТАЛАLIVE VISIBILITY В
СОСТОЯНИЕ
АВТОМАТИЗАЦИИ
СОКРАЩЕНИЕ
ЗАТРАТ НА РАЗБОР
РЕЗУЛЬТАТОВ
ПОДДЕРЖКА
ПОПУЛЯРНЫХ
ТУЛОВ В
АВТОМАТИЗАЦИИ
КРАСИВЫЕ
ГРАФИКИ ПРЯМО
ИЗ КОРОБКИ
МОЖЕТ РАБОТАТЬ С
СУЩЕСТВУЮЩЕЙ
АВТОМАТИЗАЦИЕЙ
СОЛЮШЕНЫ
ПОМОГАЮТ ДЕЛАТЬ
ДЕНЬГИ

9. РЕПОРТ ПОРТАЛ В ДЕЙСТВИИ

10. Успех Репорт Портала85%
Всех автоматизаторов
ЕПАМа логинились
и знакомы
с Репорт Порталом
30
проектов
используют RP
ежедневно

11. Report Portal сократил
20%
затрат команды
– Помогает в разборе результатов
автоматизации – падения могут
быть связаны с тикетами в JIRA,
что увеличивает трейсабилити
проблем – как следствие
сокращенное время разбора
результатов
– Увеличение видимости
состояния автоматизации перед
кастомером / Тул используется
во время QA демо сессий, для
предоставления результатов где
кастомеры так же вовлечены
“ – С дешбордами/графиками
инструмент предоставляет
понятные результаты для
вышестоящих менеджеров и
кастомера
– Дает простой доступ для
любого, кто хочет
использовать
– История предоставляет
прекрасную возможность для
работы с разбором
результатов тестов
“
Customer Testing Manager

12. Используем Report Portal с 2013, как
более гибкую замену для ReportNG
HTML отчетов в Jenkins.
Report Portal увеличил видимость
результатов автоматизации и
позволил нам сразу увидеть ее
процесс и узкие места. Благодаря
истории отчетов инженеры могут
быстро определить состояние
тестируемого приложения в том же
тесте в прошлых прогонах.
“ Функция Умного распознования
(Auto-Analysis) сократила время на
разбор результатов на 90%.
Общее сокращение затрат
времени благодаря RP составило 1
рабочий час каждый день для
каждого инженера в рутинной
ежедневной работе.
“
Customer QA Manager
REPORT PORTAL
СОКРАТИЛ 1 ЧАС В
ДЕНЬ С 1 ИНЖЕНЕРА

13. Report Portal глазами
пользователей
Теперь мы тратим в 3 раза
меньше на разбор результатов
падения, чем мы делали это
прежде с html отчетами.
- %Большой Проект%
“
RP самый удобный тул тестовых
отчетов. Он помогает
анализировать тестовые падения
и сортировать проблемы быстро
и ясно
- %Очень большой Проект%
“
С правильным подходом в
использовании RP работает как
очень мощный инструмент и
помощник автоматизации. Он
предоставляет возможности
полно-функциональной
отчетности и спасает вас от кучи
головной боли!
- %крупный проект%
“

14. Репорт Портал: простая интеграция
4 часа
Без рефакторинга тестов!
TestNG
JUnit
Nunit
SoapUI
Cucumber
Cucumber-JVM
Protractor Node.JS
SpecFlow
jBehave
…

15. Репорт Портал: простая интеграция
CI tool (Jenkins)
TestNG
RP adapter
Report Portal Server

17. 5

18. Спасибо за просмотр

19. ghDmitry
Гуменюк Дмитрий
Dzmitry_Humianiuk@epam.com