1. Metodología WebQEM
Ingeniería de Software II

2. Metodología
 La metodología comprende una serie de
fases y actividades que los evaluadores
deben llevar a cabo en el proceso; entre
las que podemos citar las siguientes
actividades técnicas:

3. Pasos de WebQEM
 Paso 1. Definición de las metas de evaluación y
selección del perfil de usuario
 Paso 2. Definición de los requerimientos de calidad
(y/o costo).
 Paso 3. Definición de criterios de preferencia
elementales y procedimientos de medición
 Paso 4. Definición de estructuras de agregación e
implementación de la evaluación global.
 Paso 5. Análisis de resultados y recomendaciones

4. Definición de metas de
evaluación y perfil usuario
 Los evaluadores deben definir las metas y
establecer el alcance del proyecto de
evaluación Web. La evaluación puede llevarse
a cabo tanto en la fase de desarrollo como en
la fase operativa de un proyecto, y se puede
valorar la calidad de un producto completo o
bien se puede valorar la calidad de un
conjunto de características y atributos de un
componente.

5. Definición de metas de
evaluación y perfil usuario
 Los resultados podrán ser utilizados
para comprender, mejorar, controlar o
predecir la calidad de los productos. Por
otra parte, la relativa importancia de las
características y atributos dependen del
perfil de usuario seleccionado y del
dominio de la aplicación

6. Definición de metas de
evaluación y perfil usuario
 Para propósitos de evaluación en dominios
Web, hemos considerado tres perfiles de
usuario a un alto nivel de abstracción, a
saber: visitantes, desarrolladores, y gerentes.
 Siguiendo un mecanismo de descomposición
podemos, por ejemplo, dividir a la categoría
visitante en clases más específicas

7. Definición de los requerimientos
de calidad (y/o costo)
 Los evaluadores deben acordar y
especificar los atributos y características
de calidad que van a estar presentes en
el proceso, agrupándolos en un árbol de
requerimientos. De las características
de calidad ISO derivamos las sub-
características y de éstas derivamos los
atributos con un mínimo solapamiento.

8. Definición de los
requerimientos de calidad
 A cada atributo cuantificable del
dominio empírico, le asociamos una
variable en el dominio numérico; esta
variable puede tomar un valor real, que
podrá ser medido y computado

9. Definición de los
requerimientos de calidad
 Por ejemplo, en el caso de estudio
realizado de librerías con comercio
electrónico [OLS00b], más de ciento
cuarenta atributos, subcaracterísticas y
características fueron seleccionadas.
WebQEM_Tool permite administrar y
visualizar los requerimientos de calidad

10. Definición de criterios de
preferencia elementales
 Los evaluadores deben definir una base
de criterios para la evaluación
elemental, y realizar el ulterior proceso
de medición y puntaje elemental.
 Un criterio de evaluación elemental
declara y especifica cómo medir
atributos cuantificables.

11. Definición de criterios de
preferencia elementales
 El resultado final es una preferencia o
indicador elemental, el cual puede ser
interpretado como el grado o porcentaje del
requerimiento elemental satisfecho.
 Por lo tanto, para cada métrica de un atributo
necesitamos establecer un rango de valores
aceptables y definir la función de criterio
elemental, que producirá una
correspondencia entre el valor de la métrica
con el nuevo valor que representa la
preferencia elemental.

12. Definición de estructuras de
agregación y evaluación global
 En el paso previo se producen n preferencias
de calidad elemental para los n atributos
considerados en el árbol de requerimientos.
 Por lo tanto, aplicando un mecanismo de
agregación paso a paso, las preferencias
elementales se pueden agrupar
convenientemente para producir al final un
esquema de agregación

13. Definición de estructuras de
agregación y evaluación global
 Las preferencias de calidad parciales y global
se pueden obtener mediante cálculo
conforme al modelo de agregación y puntaje
empleado.
 En los casos de estudio realizados [OLS99 y
00b], hemos usado el modelo LSP (Logic
Scoring of Preference) para estructurar y
computar la calidad global de cada sitio Web.
 No obstante, WebQEM_Tool soporta además
el modelo de agregación y cálculo meramente
aditivo.

14. Análisis de resultados y
recomendaciones
 Una vez diseñado e implementado el
proyecto de evaluación, el proceso
culmina con la documentación de las
conclusiones y recomendaciones. Los
evaluadores analizan los resultados
considerando las metas y el perfil de
usuario establecidos.

15. Análisis de resultados y
recomendaciones
 El proceso de evaluación, mediante el
uso de WebQEM_Tool, produce
información elemental, parcial y global
que puede ser fácilmente analizada por
medio de un modelo de seguimiento
hipertextual y eficientemente empleada
en actividades de toma de decisión.

16. Herramienta WebQEM Tool
 WebQEM_Tool, herramienta de soporte a la
metodología antes descripta, ha sido
diseñada en dos subsistemas que reflejan los
módulos de la aplicación Java propiamente
dicha y los componentes centrados en la Web
para la generación de informes.
 El primer subsistema se encuentra dividido en
tres módulos, a saber:

17. Herramienta WebQEM Tool
 Módulo Java GUI: En este módulo, el
usuario interactúa con la aplicación por
medio de la Interface Gráfica de
Usuario (GUI) implementada en Java 2,
haciendo uso de las facilidades del
paquete Swing

18. Herramienta WebQEM Tool
 Módulo WebQEM: Este es el módulo
que implementa la funcionalidad
principal de la aplicación, e interconecta
los restantes módulos. Por ejemplo, se
emplea JDBC para interactuar con la
capa de datos (ver [OLS01] para
detalles de diseño arquitectural e
implementación ).

19. Herramienta WebQEM Tool
 Módulo de Datos: Es el encargado de
administrar la información de los
proyectos a evaluar, los requerimientos
de calidad (o costo), los indicadores
elementales, como así también
almacenar los resultados parciales y
finales arrojados por los procedimientos
de cálculo durante el proceso.

20. Herramienta WebQEM Tool
 El subsistema de Informes centrado en
la Web también está dividido en tres
módulos:

21. Herramienta WebQEM Tool
 Módulo Browser: Pertenece a la capa de
presentación del modelo
cliente/servidor de tres capas. Sirve de
interface entre el usuario y el servidor
Web cuando se visualiza las páginas
estáticas y dinámicas. WebQEM_Tool
permite seleccionar el navegador Web a
usar.

22. Herramienta WebQEM Tool
 Módulo JSP-HTML/Servlet: En este
módulo los servlets realizan las
llamadas a la capa de datos, conforme
a las distintas consultas del usuario
para obtener la información necesaria y
generar así los documentos dinámicos,
con la ayuda de JSP y HTML.

23. Herramienta WebQEM Tool
 Módulo de Datos: Este módulo
corresponde a la tercera capa de la
arquitectura empleada y es donde
residen las tablas actualizadas por la
aplicación Java.

24. Conclusiones
 Un empleo sistemático y disciplinado de
modelos, métodos y herramientas de
Ingeniería de Software en la Web para el
aseguramiento y control de la calidad
favorece a la comprensión, análisis y
potencialmente a la mejora de la calidad
producida.
 La metodología WebQEM, proporciona un
enfoque sistemático y cuantitativo para la
evaluación y comparación de la calidad
WebApps.

25. Conclusiones
 Al presente ha sido empleada en tres
casos de estudio, en dos proyectos de
evaluación a escala industrial y como
una área de estudio y aplicabilidad en el
proyecto iberoamericano WEST (Web-
based Software Technologies).

26. Conclusiones
 Por otra parte, el empleo de herramientas
que brinden soporte a la metodología permite
a los evaluadores agilizar los procesos de
evaluación y minimizar errores e
imprecisiones [LAV00].
 Uno de los objetivos del proyecto de I+D
que venimos desarrollando, consiste en
incorporar Website MA (herramienta que
realiza la recolección de datos y el cálculo de
métricas Web automatizables [LAF01]), a la
herramienta WebQEM_Tool

27. Conclusiones
 Además, el paquete integrado proveerá,
en su nueva versión, un conjunto de
herramientas homogéneas, ínter
operables y de trabajo colaborativo
centrado totalmente en la Web

28. WebQEM
Explicación por el autor del
método (Dr Olsina)

30. Motivaciones para realizar el
método
 No había una Metodología Cuantitativa
ampliamente reconocida para la evaluación
de WebApps, en el tipo de Métodos de
Inspección por Características.
 Al menos hasta 1998 - WebQEM
 (2000) WebQUAL, 2QCV2Q ...
 Los procesos de Evaluación y Medición para
que sean efectivos requieren no sólo soporte
metodológico sino también tecnológico

31. Problemática en la evaluación
 ¿La Evaluación de la Calidad, está basada
en modelos y métricas de calidad, o está
librada a la intuición y subjetividad de los
evaluadores?
 ¿Los procedimientos de valoración de
atributos y características, están centrados en
modelos de agregación y métodos
cuantitativos de cálculo, o en modelos
cualitativos?

32. Problemática en la evaluación
 ¿Las decisiones fundamentales de la
evaluación están centradas y dirigidas por el
juicio de expertos, o por el juicio de los
usuarios?
 ¿El ente a valorar, puede ser considerado
simple o complejo, desde el punto de vista
de la evaluación?
 ¿Cuáles son los componentes objetivos y
subjetivos en el proceso de evaluación?
¿Los subjetivos pueden ser minimizados?

33. Propuesta WebQEM
 Evaluar y Comparar la Calidad de Artefactos
Web
 más o menos complejos
 Basada en Modelos y Métricas de calidad
 Modelo de Calidad ISO (modelo mixto)
 Cuantificar atributos directos e indirectos
 Basada en modelos de Agregación de
Atributos y Características
 Modelo de cálculo meramente aditivo
 Modelo de cálculo multi-atributo no lineal

34. Propuesta WebQEM
 Centrada en el juicio de evaluadores expertos en el
dominio
 Permita Trazabilidad en el proceso de evaluación
 Favorezca seguimiento y justificación de resultados
 Propuesta de Metodología Integral, Sistemática y
Cuantitativa centrada en principios de IS
 para evaluar la Calidad de Aplicaciones Web
 “Si no sabemos dónde estamos parados un mapa no ayuda”
 Evaluar, para realizar recomendaciones

35. Fases
 Definición de los Requerimientos de Calidad
 Metas de Evaluación
 Perfil de Usuario (gerente, desarrollador, visitante)
 Definición de Requisitos No-funcionales
 Evaluación Elemental
 Considerando etapas de Diseño e Implementación
 Evaluación Parcial/Global
 Considerando etapas de Diseño e Implementación
 Conclusión de la Evaluación
 Considerando Recomendaciones

38. Características
 Usability : “The capability of the
software product to be understood,
learned, used and attractive to the user,
when used under specified conditions”

39. Comparación de
Subcaracterísticas

40. Características y
subcaracterísticas
 Usabilidad
 Comprensión Global del Sitio
 Ayuda y Retroalimentación
 Aspectos de Interface
 Aspectos Estéticos
 Funcionalidad
 Búsqueda y Recuperación
 Navegación y Exploración
 Funciones y Contenido Específicos del Dominio (E-commerce, Museos,
Universidades ...)
 Confiabilidad
 Enlaces
 Páginas
 Compatibilidad de Navegadores
 Eficiencia
 Performance
 Accesibilidad

41. Características y atributos
 Usabilidad
 Comprensión Global del Sitio
 Esquema de Organización Global
 Tabla de Contenidos
 Mapa del Sitio
 Indices (Alfabéticos, Temáticos, Híbridos ...)
 Visita Guiada (convencional y/o virtual)
 Mapa de Imagen
 Aspectos de Interfaces y Estéticos
 Permanencia y Estabilidad en la Presentación de los Controles
Principales
 Controles Directos
 Controles Indirectos
 Estabilidad
 Mantenimiento del Color de los Enlaces

42. Características y atributos
 Confiabilidad
 Enlaces
 Enlaces Rotos
 Enlaces Inválidos
 Enlaces no Implementados
 Páginas
 Páginas Muertas
 Páginas bajo Construcción
 Errores de Ortografia

43. Atributos y métricas

44. Árbol de requerimientos

45. Un vistazo a la herramienta

47. Métricas Web y criterio
elemental

48. Herramientas de automatización
de métricas Web
 NetMechanic: Netmechanic [http://www.netmechanic.com/];
Analizador de Errores y Fallas, Performance, Compatibilidad de
Browsers, etc. Herramienta de reparación.
 WebCriteria: WebCriteria [http://www.webcriteria.com/];
web-based; comparative evaluation of a website with respect to
a benchmark derived from similar well-established websites;
Log File Analyzes, Quality in Use, etc.
 WebGarage: Netscape [http://websitegarage.netscape.com/];
webbased; Performance, HTML tags, Compatibilidad de
Browsers, Log File Analyzes, etc.
 WebSAT: NIST [http://zing.ncsl.nist.gov/WebTools/]; web-
based and off-line; Accesibilidad, Performance, Navegación, etc.

49. Consideraciones finales
 Los desarrollos Web tienen cada vez más complejidad
añadida y están creciendo rápidamente
 Orientación a Documentación y a Funcionalidad de Aplicación
 Sin embargo, las prácticas recientes para desarrollos Web han sido
mas bien ad-hoc
 Y el aseguramiento y el control de la calidad han sido, por lo
general, procesos poco tenidos en cuenta.
 Urge un cambio de paradigma para minimizar la crisis en la Web
 Web QEM realiza un aporte ingenieril mediante el uso de
un enfoque disciplinado y cuantitativo que se adecua a
la evaluación, comparación, análisis y recomendaciones
de la calidad Web

50. Consideraciones finales
 Describimos las fases y actividades
principales y los procedimientos para
realizarlas.
 Fase de Definición y Especificación de los
Requerimientos de Calidad
 Determinación de Metas y Perfil de Usuario
 Selección del Modelo de Calidad
 Modelo fijo de Calidad
 Defina su propio modelo
 Modelo mixto de Calidad
 Especificación del Arbol de Requerimientos
 Arbol de Requerimientos reusable para Dominios Web

51. Consideraciones finales
 Fase de Diseño e Implementación de la
Evaluación Elemental
 Criterios de Evaluación para cada Atributo
Cuantificable
 Valores y Rangos
 Tipos de Criterios de Preferencia Elemental
 Marco Descriptivo (Plantillas) de Características y
Atributos
 Favorece la creación de documentos hiperenlazados
 Modelo de Trazabilidad
 Recolección de datos Manual y Automático
 Website_MA

52. Consideraciones finales
 Fase de Análisis de Resultados y
Recomendaciones
 Web-site QEM permite Comprender el estado del arte de
Sitios Web Operativos
 Subcaracterísticas y Atributos Ausentes
 Problemas de Diseño (Interface, Navegación, Contenido,
Performance, Funcionalidad ...)
 Requerimientos Pobremente Implementados
 Especificar y Controlar Requerimientos de Calidad para
Nuevos Proyectos
 Web-site QEM permite realizar recomendaciones para
Mejorar la Calidad de Productos Web