Тестируем производительность с помощью Selenium

www.luxoft-training.com
Performance testing with Selenium
SQA Days 19

Обо мне
 Александр Шиповалов
 Automation Engineer
 QA Expert in Luxoft Training
@shipovaloff
alshipovalov
ashipovalov@gmail.com

Тестируем производительность с
помощью Selenium

Предисловие
 Или гоните в шею этого “шарлатана”

Предисловие
 “Один за всех и все на одного!”

Где еще…
 Тестирование внешнего вида;
 Тестирование защищенности;
 Тестирование desktop приложений;
 Тестирование мобильных приложений;
 Мало?

Зачем все это надо
 Есть же: Jmeter, Tsung, Locustio, Siege, YandexТанк….
 Но хитрые требования:
- Время отклика экранной формы
 Наличие автоматизированных функциональных тестов;
 Большое количество “guides, manuals, tutirials”…
 Обширное сообщество.

Зачем все это надо
 Соблазн велик;
 Особенно при небольшой нагрузке.
 Менеджмент напирает?

“Автостопом по галактике”
“Я трачу на тебя время только по
одной причине –
мне его девать некуда”

Давайте разделять
 Клиентская производительность;
 Серверная производительность;

Клиентская производительность

В лоб
 Logs;
 Отчеты;
 e. g. Allure
 …

Logs and reports
 Всегда доступно;
 Просто;
 Сложно агрегировать;
 Сложно трактовать результаты;
 Анти-паттерн.

По хитрее
 Browser mob proxy

Browser mob proxy
 Проблема с версиями;
 Что будет с Selenium 3;
 Совместимость?

По хитрее и не бесплатно
 HttpWatch

HttpWatch
 C#
 Ruby
 Javascript
 Internet Explorer and Mozilla Firefox
 HttpWatch Studio
  HAR

По хитрее и не бесплатно
 DynaTrace

DynaTrace
 dynaTrace AJAX Edition;
 Internet Explorer and Mozilla Firefox;

Вкратце
 Больше деталей – меньше надежность;
 Сложность с CI и отчетами;
 Совместимость?
 Безопасность?

True way
 Navigation timing API;
 https://www.w3.org/TR/navigation-timing/
 IE, Firefox, Google Chrome, web-kit браузеры

Navigation timing API

Пример
driver.get(SOME_URL);
JavascriptExecutor js = (JavascriptExecutor) driver;
// Получаем время Load Event End (окончание загрузки страницы)
long loadEventEnd = (Long) js.executeScript("return
window.performance.timing.loadEventEnd;");
// Получаем Navigation Event Start (начало перехода)
long navigationStart = (Long) js.executeScript("return
window.performance.timing.navigationStart;");
// Разница между Load Event End и Navigation Event Start - это время загрузки страницы
System.out.println("Page Load Time is " + (loadEventEnd - navigationStart)/1000 + "
seconds.");

Navigation timing API
 В формате UTC;
 Совесть? Стандарт?

Предварительные выводы
 C клиентской производительностью все хорошо;
 По крайней мере неплохо;
 Есть из чего выбирать;
 Это неудивительно;
 Но будьте осторожны…

Серверная производительность

“Логика – замечательная вещь, но, как
показал процесс эволюции, и у нее
есть свои слабые места”

Очевидно
 Selenium Grid;
 Многопоточность;

Selenium Grid
 Hub не балансировщик;
 Многопоточность в тестах?
 Отчётность?

Хитро
 Jmeter plugins
 Есть нюансы:
- httpclient-4.2.6.jar
- httpcore-4.2.5.jar
- httpmime-4.2.6.jar

“Он привык не замечать, что
происходит вокруг, так ему было даже
уютнее”

Еще хитрее
 Можно так же замерять время загрузки;
 Groovy, JavaScript, Bean Shell…
 Все смешалось в доме Облонских…

Дорого
 BlazeMeter;
 JavaScript или .jmx;
 Альтернативный рекордер для Jmeter;
 Настоящий браузер;
 Наглядно и быстро;
 Настоящие браузеры.

Пример
var pkg = JavaImporter(org.openqa.selenium);
var support_ui =
JavaImporter(org.openqa.selenium.support.ui.WebDriverWait);
var wait = new support_ui.WebDriverWait(WDS.browser, 5000);
WDS.sampleResult.sampleStart();
WDS.browser.manage().window().maximize();
WDS.browser.get("http://localhost");
var searchField = WDS.browser.findElement(pkg.By.id("some_element_id"));
searchField.click();WDS.log.info(WDS.name, "has logged an entry");
WDS.sampleResult.sampleEnd();

Blazemeter
 Blazemeter
 Loadosophia;
 Облачные сервисы….
 Мульти-тесты;
 Географические генераторы.

True way
 Blazemeter Taurus
 Только GET запросы 
 В сценарном режиме
 Но зато никто не придерется 

Taurus
browser: Firefox # available browsers are: ["Firefox", "Chrome", "Ie", "Opera"]
timeout: 10 # global scenario timeout for connecting, receiving results, 30 seconds by default
think-time: 1s500ms # global scenario delay between each request
requests:
- url: http://demo.blazemeter.com/ # url to open, only get method is supported
assert:
- contains:
- blazemeter # list of search patterns
- Trusted

Blazemeter Taurus
 Python and Java;
 Nose and Junit;
 Только итерациями;
 Настоящая консоль.

Еще выводы
 С серверной производительностью все похуже
 Можно, но тяжело и дорого

“Можешь не волноваться. Все выходит
из - под контроля самым лучшим
образом”

Заключение

Давайте жить дружно
 Пусть каждый инструмент делает то, что умеет;
 А мы будем комбинировать;
 Не поддавайтесь соблазну.

“Я предпочитаю быть счастливым,
чем делать все как надо”

Thank you

Questions?

Тестируем производительность с помощью Selenium

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (20)

Semelhante a Тестируем производительность с помощью Selenium

Semelhante a Тестируем производительность с помощью Selenium (20)

Mais de SQALab

Mais de SQALab (20)

Тестируем производительность с помощью Selenium