Доклад на конференции Selenium Camp 2012. http://seleniumcamp.com/program/#parallel-testing Видео: http://video.yandex.ru/users/xpinjection/view/105/#hq

1. Selenium Camp 2012
Основы и нюансы
параллельного тестирования
Deep Shift
Labs
25 февраля, 2012
Киев, Украина

2. Дмитрий Якубовский
Deep Shift
Labs
Java, PHP + тестировщик
bear@deepshiftlabs.com
@deep_bear

3. Параллельное тестирование
http://www.flickr.com/photos/pothikmanush/4565287938

4. Простой тест
a(){} b(){}
Один тест - 5 минут
Итого - 10 минут

5. TestNG: аннотации
@BeforeMethod
class Test {
main() {
prepareBrowser();
a();
@Test
b();
freeBrowser();
} @AfterMethod
}

6. TestNG: аннотации
class Test {
@BeforeMethod
prepareBrowser(){…};
@Test
a(){…};
@Test
b(){…};
@AfterMethod
freeBrowser(){…};
}

7. TestNG: конфигурация
testng.xml
<suite name=“test" verbose="3">
<test name=“simpleTest" parallel="methods"
thread-count=“2">
<classes>
<class name=“Test" />
</classes>
</test>
</suite>

8. Выполнение
TestNG: выполнение
Поток 1 Поток 2
prepareBrowser(){} prepareBrowser(){}
a(){} b(){}
freeBrowser(){} freeBrowser(){}

9. TestNG: выполнение
Selenium server
a(){}
b(){}
Итого - 5 минут

10. Два браузера
Selenium server
a(){}
b(){}
Selenium server
a(){} Selenium server
b(){}
Selenium server

11. Два браузера
Selenium server
Selenium server
a(){}
b(){} ? Selenium server
Selenium server

12. Selenium Grid
Selenium RC
a(){}
a(){} a(){} Selenium RC
b(){} b(){}
Selenium Hub Selenium RC
b(){}
Selenium RC

13. Nerrvana
a(){} Selenium RC
b(){}
Selenium Hub Selenium RC
a(){} … …
b(){}
a(){}
Selenium RC
b(){}
Selenium Hub
Selenium RC

14. Выполнение
Виртуальные машины
RC RC
RC
Hub
RC RC
Hub RC
Xen Xen

15. Выполнение
LVM snapshots
Каждый раз свежая VM
RC
Hub RC
RC
RC
RC
RC
RC

16. Выполнение
Ресурсы: память
Linux Hub 128 МБ
Linux Tester 196 МБ
Windows Tester 256 МБ

17. Выполнение
Подмена браузера
grid_configuration.yml
hub: hub:
port: 4444 port: 4444
environments: environments:
- name: "*iexplore" - name: "*iexplore"
browser: "*iexplore" browser: "*chrome"
- name: "*iehta" - name: "*iehta"
browser: "*iehta" browser: "*chrome"
- name: "*safari" - name: "*safari"
browser: "*safari" browser: "*chrome"
- name: "*opera" - name: "*opera"
browser: "*opera" browser: "*chrome"

23. Уникальные ключи
http://www.flickr.com/photos/jennconspiracy/826680008

24. Тесты мешают друг другу

25. Тесты видят только своё
?tags_for_tests=unique_tag1,unique_tag2

26. Не показывать тестовые!
фильтровать по пользователю:
нельзя (тестирование гостей)
Фильтр по уникальной подстроке:
можно, накладно
Учитывать tags_for_tests:
помечать в спец. колонке

27. График 1..25 потоков
10
8
6
Время
4
2
0
1 2 3 4 5 6 7 … 25
Потоки

28. 1 Количество независимых тестов

29. 2 Ресурсы машины-тестера

30. 3 Ресурсы WAUT
WAUT* - Web Application Under Test

31. 4 От перемены мест…
4
9

32. 3 потока
4
5

33. 2 потока
5 7

34. Пример: общая картина
4 4
5 5
7
1
0

35. Помозговать
http://www.flickr.com/photos/cs___/4163717544/

36. Вопросы
http://nerrvana.com
(сервис для запуска тестов)
bear@deepshiftlabs.com
(не стесняйтесь!)