Презентация доклада Андрея Когута на конференции SQADays-14, Львов 8-9 ноября 2013

1. Шаги мануальщика к автоматизации
на крупном проекте.
Когут Андрей, Softengi

2. О компании
•
•
•
•
Компания Softengi – поставщик услуг в области разработки ПО
Мы работаем преимущественно на рынках Европы и США
16+ лет опыта в области разработки программного обеспечения
Компания входит в Intecracy Group, международный ИТ консорциум
О проекте
•
•
•
Приложение – ERP система по анализу выбросов в окружающую среду
Отдел тестирования – 20 человек
Проект – мамонт (12 лет разработки, 21 модуль + дополнения)
Больше о нас:
www.softengi.com
www.facebook.com/softengi_ua

3. Что имеем на входе?

4. Что делать?

5. Желание

6. Необходимость

7. Целесообразность
автоматизации тестов
Руками – практически невозможно
Большие объемы данных
Точные математические расчеты
Рутинные операции

8. Целесообразность
автоматизации тестов
Риск человеческого фактора
Имеется устоявшийся функционал
Тестирование на разных аппаратных
или программных платформах,
или с разными конфигурациями

9. Когда автоматизация
не имеет смысла
Техническая невозможность
Неустоявшийся функционал системы
Высокая трудоемкость
Короткий проект

10. Что делать дальше?
Собрать орден автоматизации

11. Состав рабочей группы
Основной состав:
•
Технарь (тестировщик)
•
Исполнитель (тестировщик)
•
“Пинатель”
•
Идейные вдохновители
•
Менеджер проекта
Дополнительная помощь:
•
Архитектор
•
Системный администратор

12. Предварительный
план действий
1. Определиться с проектом/версией для автоматизации
2. Выбрать модуль и определиться с глубиной тестирования
3. Выбрать инструмент автоматизации
4. Составить верхнеуровневый план действий/работ и оценить
ориентировочное время
5. Внедрение

13. Правила подачи менеджеру
•
Кто ваш менеджер?...
•
Экономический эффект!
•
Ожидаемое место применения
•
Разбить проект на спринты, по 1-2 недели каждый
Правила хорошего тона:
- Не удлинять спринт
- Не грузить техническими деталями
(предоставлять по необходимости)

14. Анализ эффективности
• Размер проекта
• Глубина/масштабность изменений
• Оценка затрат времени на ручное и автотестирование
T(manual_total) = T(manual_smoke) * N(modules) * N(smokes) = 2 * 13 * 24 = 624 h
T(automation_total) = T(dev_smoke) * N(modules) + T(logs_analysis) + T(maintenance) =
= 20 * 13 + 65 + 104 = 429 h

15. Поддержка автотестов
Два основных случая вмешательства в код тестов:
1. Изменение функционала
2. Изменение интерфейса

16. Внедрение
Доступно с первого кейса!
•
Организация хранения кода
•
“Continuous integration”
•
Анализ логов
•
Анализ проблем на конкретном
окружении - устранение

17. Первый баг!!!

18. Главное – не
останавливаться
•
Мониторинг результатов спринта
•
Регулярные митинги! Сообщаем результаты
•
Формат логов (экономим время)
•
Review инструмента – проблемы,
меняем ли инструмент
•
Пересматриваем глобальные цели

19. Выбор инструмента
Telerik
Selenium
IBM RFT
TestComplete
http://www.telerik.com/
http://docs.seleniumhq.org/about/
http://www03.ibm.com/software/prod
ucts/us/en/functional/
http://smartbear.com/products/qatools/automated-testing-tools
C# supported
C# supported
Java, Visual basic .NET
C#Script (and similar, based on
JScript)
Good
Believed to be good
(no huge problems were observed by
web search)
Believed to be normal
(no huge problems were observed by
web search)
Good
Good
Medium
(has own visual editor)
Normal
(properties in source files)
link
Test script
language(s),
especially C# support
Interaction with UI (IE)
UI elements
recognition properties
management
Normal
(xpath in source files)
UI elements capture
Test studio – DOM explorer + capgure from
page;
Testing framework – Xpath in source code
Xpath in source code
Capture from page
DOM explorer
License
Test studio - License ;
Testing framework – free;
Regular updates
Free;
Open source
There are updates
License
License
Supported by IBM, but
there is no active
development
There are updates
Community, popularity
IDE
Special IE launching
requirements
Probably medium
MSVS
Needs to start new IE window;
Then can attach to new IE windows derived
from parent window; supports pop-ups
poor
Eclipse
Can use existing IE
window(s)
big
Own IDE
Can use existing IE window(s)
Comment
Telerik specify on Microsoft technologines;
C# is a major language for telerik;
big
MSVS (for C#)
Needs to start new IE window;
Then can attach to new IE windows
derived from parent window; supports
pop-ups
Open source – some important bugs
can be postponed;
IE is not a major browser for selenium;
C# is not a major language for
selenium;
Support, development
Used by Enviance

20. Итоги
 Достижения
 Эффективность
 Одобрение менеджмента
 Полученный опыт

21. О докладчике
Андрей Когут
Softengi, test engineer
andrewkogut86@gmail.com
petro_8637
www.fishe4qa.com

22. Вопросы