The number of mobile devices with Internet connectivity exponentially increases every year. Furthermore, these devices are more and more important not only in business contexts, but also in particular ones. The efficiency of a user performing a task with a mobile device can drastically vary because of its context dependency. Therefore, it is vital to measure the efficiency of the user regarding the surrounding environment. The current methods tend to discard the variation of characteristics of the context where a mobile application is executed. Through this work a new context and interaction model focused on mobile applications is exposed. First, the capture method that adds the minimum deviations caused by external factors to the assessment results has been studied. Then, a system based on a library for Android devices that captures and measures the defined model and the user efficiency is shown and validated.

1. 1/33
DeustoTech - Deusto Institute of Technology, University of Deusto
http://www.morelab.deusto.es
June 20, 2013
Sistema de evaluación de la efectividad del usuario sensible al
contexto para aplicaciones móviles
Iván Pretel, Ana B. Lago

2. 2/33
Outline
Introducción
Calidad Software
Captura del contexto
Sistema de captura
Evaluación preliminar
Conclusiones

3. 3/33
Introducción
Calidad Software
Captura del contexto
Sistema de captura
Evaluación preliminar
Conclusiones

4. 4/33
Introducción
► El número de dispositivos móviles conectados a Internet
aumenta de forma exponencial
► Muy importantes tanto en contextos particulares como en
corporativos
► Gran volumen de negocio y cada vez más empresas
hacen uso de las mismas
+ ≈|=

5. 5/33
Introducción
► Dependiendo del contexto, la eficiencia del usuario a la
hora de realizar una tarea con el dispositivo puede variar
drásticamente
► Por ello, es vital la medición de la eficiencia del usuario
respecto al entorno que le rodea
Introducción
App

6. 6/33
Introducción
► Problema
► Los métodos y sistemas de captura actuales tienden a
descartar la variación de las características del contexto
en el que una aplicación móvil es ejecutada
► Aproximación
► Desarrollo de un método y sistema de captura centrado en
terminales móviles que capture el contexto característico
de este tipo de dispositivos
Introducción

7. 7/33
Introducción
Calidad Software
Captura del contexto
Sistema de captura
Evaluación preliminar
Conclusiones

8. 8/33
Calidad Software
► Calidad según el estándar ISO 9126
► Calidad interna
► Atributos desde un punto de vista interno (recursos
consumidos, escalabilidad...)
► Calidad externa
► Términos en base al comportamiento del software, como son
el número de respuestas no esperadas
► Calidad en uso
► La calidad en uso mide el grado en el que los usuarios
pueden realizar sus tareas en un ambiente particular con
efectividad, productividad, seguridad y satisfacción
Calidad Software

9. 9/33
Efectividad
► Definición según ISO 9126
► Grado de exactitud y completitud con la que los objetivos
pueden ser alcanzados
► Nos dice el grado en el que los objetivos se logran (no cómo)
► Métricas de Efectividad
► Eficacia de la tarea (TE)
– Cantidad de los objetivos conseguidos por un usuario
► Completitud de la tarea (TX)
– Nivel de éxito que el usuario consigue en la realización
de tareas (supone que las tareas se pueden realizar sin
la posibilidad de ser completadas parcialmente)
► Frecuencia de error (EF)
– Número de veces que se comete un error en un periodo
determinado
Calidad Software
TX = TXM / TA
EF= E / T
TE = 1 - ΣAi

10. 10/33
Introducción
Calidad Software
Captura del contexto
Sistema de captura
Evaluación preliminar
Conclusiones

11. 11/33
Captura del Contexto en uso
Captura del Contexto
► ISO 9241-11
► Usuario que realiza la tarea
► El equipo
► Medio (físico y social)
► Varios estudios mantienen que un contexto es sólo la
ubicación física
► Otros dan mucha importancia al ambiente que rodea
usuario
► También añaden a la comunidad y todos los agentes
afectados por el sistema
► Otros parámetros: cultura, interfaz, dispositivo,
conexión...

12. 12/33
Captura del Contexto en uso
► Nuevo modelo basado en tres pilares
Captura del Contexto

13. 13/33
Captura del Contexto en uso
Captura del Contexto
► Basados en laboratorios
► Mayor control sobre los factores que
influencian la interacción
► Se descarta la mayoría del contexto
► Basados en entornos reales
► No puedes controlar los factores que
influencian la interacción
► Se toma consciencia del contexto,
hasta el que no podemos capturar

14. 14/33
Introducción
Calidad Software
Captura del contexto
Sistema de captura
Evaluación preliminar
Conclusiones

15. 15/33
Sistema de Captura
► Captura mediante el
dispositivo móvil
► Si no se desea influir el
contexto, hay que eliminar
todos los elementos que
influyen y utilizar solamente
los elementos que
componen el mismo
► Librería para Android que
captura eventos de
interacción y el modelo de
contexto definido
Sistema de Captura

16. 16/33
Sistema de Captura
► Comandos librería
► Configure(user_name, pass, deviceID)
► Log(event_type, layout, object)
► Send_local_info
Sistema de Captura

17. 17/33
Sistema de Captura
► Variables de interacción
► Qué ha pasado
► Cuándo ha pasado
► Dónde ha pasado
► Quién está involucrado
Sistema de Captura
Timestamp
TaskID
EventType
Interface Layout
Object

18. 18/33
Sistema de Captura
Sistema de Captura
DeviceID
OS versión
Manufacturer
Product
Display
Country
Languaje
► Variables estáticas
► Se capturan durante el registro
► Introducción manual
► Captura automática
Nickname
Gender
Birthday
Hand
Height
Weigh
English
Spanish
Portuguese
German
French

19. 19/33
Sistema de Captura
Sistema de Captura
Noise Level
Light Level
Latittude
Altitude
Speed
Accuracy
City
Country
Condition CODE
Condition DESC
Temperature
Visibility
Atm. Pressure
Atm. Humidity
Atm. Rising
Wind Speed
Wind. Orientation
isConnected
isMobileConn
isWiFiConn
WiFiState
WiFi MBPS
Conn Activity
Net Operator
SIM Operator
SIM State
Conn Net Type
RingerMode
AlarmVol
MusicVol
RingVol
SysVol
SpeakersOn
BluetoothA2dpOn
BluetoothScoOn
HeadphonesOn
MicrophoneOn
MusicOn
Batt Scale
Batt Voltage
Batt Temperature
Batt Status
Batt Health
Batt Technology
DensityDPI
Height
Width
► Variables dinámicas
► Se capturan automáticamente durante la ejecución
► Mediante sensores del teléfono
► Mediante el acceso a la API de Android
► Mediante consulta a servicios externos (Yahoo Weather)

20. 20/33
Introducción
Calidad Software
Captura del contexto
Sistema de captura
Evaluación preliminar
Conclusiones

21. 21/33
Evaluación preliminar
► Ha sido realizada mediante dos experimentos
► Medición de rendimiento del capturador móvil
► Desarrollo de aplicación, pruebas con usuarios reales en
entornos reales y comprobación de los resultados
Evaluación preliminar

22. 22/33
Evaluación preliminar (Rendimiento)
► 1000 capturas
► 8 terminales
► HTC Desire (2.2.2)
► HTC Wildfire (2.2.1)
► Desire HD (2.3.5)
► Desire Z (2.2)
► ZTE Skate (2.3.5)
► Xoom (4.2)
► Galaxy Nexus (4.2)
► Nexus 10 (4.2)
Evaluación preliminar
0
100
200
300
400
1 251 501 751 1001
Nexus 10
0
100
200
300
400
1 251 501 751 1001
HTC Desire

23. 23/33
Evaluación preliminar (Rendimiento)
► Dentro de las muestras
► (MIN) fue de 10 ms. (MAX) fue de 349 ms.
► (SD) bastante estable (22.06 ms.)
► (MEAN) 46.21 ms.
► Se pueden capturar más de 1000/46.21 ≈ 20 interacciones por
segundo de media
Evaluación preliminar
0
100
200
300
400
HTC
Desire
HTC
Wildfire
HTC
Desire
HD
HTC
Desire Z
ZTE Skate Xoom Galaxy
Nexus
Nexus 10
MIN
MAX
SD
MEAN

24. 24/33
Evaluación preliminar (Aplicación)
► 4 sujetos
► Pequeño juego de memoria
► Las partidas se estuvieron registrando
durante un día
► Contextos
► En el hogar (H)
► Transporte público (P)
► Caminando por la calle (C)
► En el trabajo (T)
Evaluación preliminar

25. 25/33
Evaluación preliminar (Aplicación)
► El experimento se dividió en cuatro etapas:
► Descarga e instalación de aplicación
► Registro del usuario se registra mediante la aplicación
► Juego (Se selecciona el contexto y se inicia el juego)
► Subida de datos al servidor
Evaluación preliminar

26. 26/33
Evaluación preliminar (Aplicación)
► Centrándose en la medición de la
efectividad el objetivo de la tarea es
terminar con todas las cartas boca
arriba en menos de 15 turnos (partida
perfecta se hace en 8 movimientos y
ningún error)
► Si las cartas volteadas en un turno no
coinciden, se comete un error.
Evaluación preliminar
TX = TXM / TA EF= E / TTE = 1 – Σai *(1/7)

27. 27/33
Evaluación preliminar (Aplicación)
► La mayoría de usuarios
ha obtenido mejores
resultados es en el
trabajo (T), con una
completitud de la tarea
media de 0.71
► Las mayores frecuencias
de error y las tareas
menos completas son
en los entornos
exteriores: calle (C) y
transporte (P)
Evaluación preliminar
En el hogar (H) En el trabajo (T)
Transporte público (P) Caminando por la calle (C)

28. 28/33
Introducción
Calidad Software
Captura del contexto
Sistema de captura
Evaluación preliminar
Conclusiones

29. 29/33
Conclusiones
► A través de estas pruebas se demuestra que la eficacia
depende del contexto (el cual es necesario no descartar
en entornos de movilidad) y que se puede medir
automáticamente a través de una herramienta software
automática
► Además se ha concluido que se pueden capturar más
de 20 interacciones por segundo con dicha herramienta
sin sesgar la interacción con agentes externos utilizando
simplemente el dispositivo móvil
Conclusiones

30. 30/33
Conclusiones
► Trabajo futuro
► El siguiente paso es estudiar todos los atributos
capturados del modelo de contexto para realizar un
análisis más detallado de las diferentes variables que
varían el resultado de la eficacia
► También se debe trabajar en el aumento del número de
atributos capturados sin dejar desatendido el rendimiento
del sistema, que es el principal agente que puede alterar
los resultados
► Completar la medición automática de más factores de los
cuales depende la calidad en uso
Conclusiones

31. 31/33
Muchas gracias por su atención
Thank you for your attention
Conclusiones
Obrigado!

32. 32/33
DeustoTech - Deusto Institute of Technology, University of Deusto
http://www.morelab.deusto.es
Sistema de evaluación de la efectividad del usuario
sensible al contexto para aplicaciones móviles
Iván Pretel
{ivan.pretel@deusto.es}

33. 33/33
All rights of images are reserved by the original
owners*, the rest of the content is licensed under a
Creative Commons by-sa 3.0 license.
* CISTI Downloads - http://www.aisti.eu/cisti2013
IconEden - http://www.iconeden.com
Iconshock - http://www.iconshock.com
Icons Land - http://www.icons-land.com
Aha-Soft - http://www.aha-soft.com
Mapbox - http://mapbox.com
Designmodo - http://designmodo.com
Alessandro Rei - http://www.kde-look.org/usermanager/search.php?username=mentalrey
Omercetin - http://omercetin.deviantart.com
Oxygen Team - http://www.oxygen-icons.org
LazyCrazy - http://lazycrazy.deviantart.com
Togo Security Council - http://www.untogo.org
Google Play - https://play.google.com
Apple App Store - http://itunes.apple.com/es/browse