1. Cómo medir lo inmensurable:
Real User Experience
Almudena Vivanco
Performance Engineer - InfoJobs
#vlctesting

2. ¿de qué vamos a hablar?
Cómo hacemos Performance Testing con SCRUM en
InfoJobs
Monitorización de la experiencia de usuario: Real
User eXperience ( RUX )
15 y 16 de noviembre de 2012 Valencia, España

3. ¿Quiénes somos?
Somos el site líder en empleo donde profesionales y empresas convergen para satisfacer sus necesidades de
contratación. Desde nuestros inicios en 1998 hemos batido los tiempos de respuesta al mercado
330.925 contratos firmados en 2011 en España a
través de InfoJobs
7 de cada 10 ofertas en Internet en España están en
InfoJobs
Datos de Septiembre de 2012
Usuarios únicos 5,330,00
Visitas: 15,226,000
Páginas vistas: 205,000,000
(*) Source: Nielsen Netratings 2010
15 y 16 de noviembre de 2012 Valencia, España

4. Nuestra gente y vocación
200 trabajadores con un objetivo común, nuestra misión
“Hacer fácil para todo el mundo encontrar el mejor trabajo posible”
Equipo InfoJobs
15 y 16 de noviembre de 2012 Valencia, España

5. Durante estos 30 minutos ...
 37 personas serán contratadas usando
InfoJobs (1)
 5 empresas publicarán 58 ofertas de contratación(2)
 1,000,000 peticiones serán procesadas por
nuestros sistemas de monitorización RUX
(1) Contracts signed during 2011 in Spain through InfoJobs, according to an independent study from Salvetti & Llombart
(2) Data from InfoJobs (jan-abr 2012)
15 y 16 de noviembre de 2012 Valencia, España

6. En el último mes ...
 8 de cada 10 grandes compañías Españolas
usan InfoJobs(1)
 11,000 empresas se han dado de alta en
InfoJobs para publicar sus ofertas de trabajo (1)
 33,5 millones búsquedas de trabajo son
ejecutadas (2)
(1) Source: InfoJobs.net (April 2011)
(2) Source: InfoJobs .net (February 2011)
15 y 16 de noviembre de 2012 Valencia, España

7. Performance en Scrum
Pruebas de rendimiento

8. SCRUM
¿Dónde necesitamos pruebas de
rendimiento?
15 y 16 de noviembre de 2012 Valencia, España

9. Pruebas de rendimiento
Pruebas de rendimiento
Pruebas de Rendimiento throughput, confianza, escalabilidad de un sistema bajo carga de trabajo
Determinar respuestas de sistema,
15 y 16 de noviembre de 2012 Valencia, España

10. Estabilidad
Estabilidad
Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es
La estabilidad del entorno productivo es la meta de las pruebas de rendimiento. La aplicación y el sistema tienen
La hipótesis de partida con más éxito.
que ser estables y eficientes.
15 y 16 de noviembre de 2012 Valencia, España

11. Velocidad
Velocidad
No nos interesa únicamente el tiempo de respuesta que le damos a los usuarios, también el uso de la infraestructura y
los recursos. Eficiencia: capacidad de disponer de los recursos del sistema para conseguir un objetivo, en este caso
Tiempo de respuesta y uptime.
15 y 16 de noviembre de 2012 Valencia, España

12. Escalabilidad
Escalabilidad
Ser capaces de Crecer según los requisitos del mercado, de los usuarios, de la tecnología, tener visión de futuro y
conocer los límites
15 y 16 de noviembre de 2012 Valencia, España

13. Escenarios
Escenarios
Una prueba de rendimiento es fácil. Es fácil diseñar escenarios pocos realistas. Es fácil recolectar datos irrelevantes.
Incluso con un buen escenario y unos buenos datos, es fácil utilizar un método estadístico incorrecto.
- Alberto Savoia
15 y 16 de noviembre de 2012 Valencia, España

14. Otro título
Monitorización
Escenarios
Monitorización
Escenarios
Conocer el escenario productivo para tomar una buena decisión sobre cómo orientar las pruebas de rendimiento es
La hipótesis de partida con más éxito.
15 y 16 de noviembre de 2012 Valencia, España

15. Equipos Polivalentes
Equipos Polivalentes
Equipos Polivalentes
Desarrolladores, DBA's, QA's, DevOps, product owners ... todo el equipo toma parte en el rendimiento
15 y 16 de noviembre de 2012 Valencia, España

16. Otro título
Herramientas
Herramientas
Las herramientas adecuadas de pruebas de carga y monitorización que más se adecúen al entorno donde se
realizarán pruebas de rendimiento no son tan importantes como la persona que entienda toda la información que generan.
15 y 16 de noviembre de 2012 Valencia, España

17. Otro título
Mas puntos
Usuarios
Usuarios
Cómo son los usuarios, y qué uso hacen de la aplicación es uno de los principios a tener en cuenta en un buen diseño
de pruebas de rendimiento
15 y 16 de noviembre de 2012 Valencia, España

18. Tuning
Cultura y Producto
Cultura y Producto
Hay que tener en cuenta los recursos con los que se cuentan, y ajustarse a ellos. Hay que compartir con los business
Developers los retos tecnológicos. Cultura de rendimiento.
15 y 16 de noviembre de 2012 Valencia, España

19. Cultura y Producto
En resumen ...
Cultura y Producto
En resumen ...
Eficiencia, Efectividad y Eficacia
15 y 16 de noviembre de 2012 Valencia, España

20. Pruebas
1. Identificar el ambiente
2. Criterios de aceptación
3. Planear y diseñar
4. Configurar el entorno
5. Implementar el diseño
6. Ejecutar
Analizar, reportar y volver a probar!
15 y 16 de noviembre de 2012 Valencia, España

21. Real User eXperience
Sistema de Monitorización

22. Experiencia de nuestros usuarios
Queremos medir
cómo se comporta
InfoJobs para
todas y cada
una de las
peticiones de
nuestros usuarios
15 y 16 de noviembre de 2012 Valencia, España

23. Real User eXperience: RUX
• InfoJobs monitoriza toda
petición que llega a
nuestros sistemas
• Capacidad de respuesta
immediata ante la
falta de disponibilidad
• Ejecución de Test A/B
15 y 16 de noviembre de 2012 Valencia, España

24. RUX: qué medimos
En el web site: todas las páginas incluyen en el footer
un pixel trasparente llamado timer.jpeg al que se
invoca en el evnto onLoad del browser.
En el servidor: la petición llega al servidor web y el
tiempo es calculado.
Gráfico básico sobre qué es lo que medimos y dónde
tenemos pérdida de información.
Internet Apache JBoss Busy sending rendering Internet
User
Infojobs Browser Timer.jpeg
15 y 16 de noviembre de 2012 Valencia, España

25. RUX: Mediana y Cuartiles
• No medimos todas
las peticiones. Sólo
aquellas que cargan
el timer.jpeg y
aquellas que tienen
valores razonables
que calculamos a
partir de la mediana
y el primer y tercer
cuartil.
15 y 16 de noviembre de 2012 Valencia, España

26. RUX: Aplicación
Métricas a lo largo de 8 días de todos los servidores y todas las peticiones.
Métricas al minuto están disponibles filtradas por página y por servidor front end.
Esto nos da una certera métrica de la experiencia del usuario real
15 y 16 de noviembre de 2012 Valencia, España

27. Almudena Vivanco
Performance Engineer
Estudié Matemática aplicada y computación en Oviedo de ahí
mi gusto por los números y gráficas.
Empezó mi aventura en Barcelona siendo programadora
de .Net, de ahí a automatizar con Silktest y testpartner (oÔ) y
finalmente hace 7 años conocí el mundo del rendimiento con
herramientas como Loadrunner y Silkperformer, pasando de
proyecto en proyecto desde Círculo de Lectores a BCN.cat.
Hace 4 años y medio me uní a la plantilla de InfoJobs.net
donde cada día es un nuevo reto.
Datos de Contacto
https://plus.google.com/u/0/105404978869503224992/
15 y 16 de noviembre de 2012 Valencia, España

28. Organiza
Patrocinan
Colaboran
15 y 16 de noviembre de 2012 Valencia, España