Valutazione euristica corredata di task analysis. Contiene: - valutazione euristica esperta preliminare; - task analysis contestualizzata poi sulle euristiche; - guidelines per il miglioramento dell'usabilità e dell'esperienza utente del portale La valutazione è stata condotta per l'esame del corso di Ergonomia Cognitiva, presso il CdL Magistrale di Teorie e Tecnologia della Comunicazione.

1. Valutazione del portale della
provincia di Milano
Daniele Begotti

2. Il Portale

3. La struttura
Diversi tipi di contenuto
• Organi di Governo
• Area amministrativa
• Area news
• Territorio
• Siti tematici
Profondità dei gradi di
navigazione
La mappa del sito presenta
fino a 5 livelli di profondità

4. Le statistiche
Mesi N° visitatori unici % visitatori*
Marzo 2014 389.042 12,7%
Febbraio 2014 352.076 11,4%
Gennaio 2014 374.672 12,2%
*Percentuale calcolata sul totale degli abitanti della provincia di Milano (N=3.075.083) dati ISTAT
Area Numero visite % visite
Lavoro 89.322 28,4%
Turismo 69.876 22,2%
Cultura 24.266 7,7%
URP 21.183 6,7%
Politiche sociali 19.084 6%

5. Perché l’ergonomia cognitiva?
Punti critici
• Vastità del contenuto
• Numero di livelli per accedere all’informazione
• Varietà di utenti del target di riferimento
Questi punti possono intaccare
• Usabilità
• Esperienza utente
• Valore sociale del servizio

6. Valutazione in due fasi
Fase 1
Valutazione Esperta
Fase 2
Valutazione Partecipata

7. Valutazione Euristica Esperta
Obiettivi:
- Valutazione preliminare del portale;
- Valutare se i punti critici abbassano
l’usabilità del portale;
Strumenti:
Sono state utilizzate 12 euristiche per la
valutazione di usabilità

8. Le euristiche
Apprendibilità
• Visibilità
• Coerenza
• Familiarità
• Chiarezza
Facilità d’uso
• Navigazione
• Controllo
• Feedback
Efficacia
• Ripristino
• Vincoli
Adattabilità
• Flessibilità
• Stile
• Convivialità
0
2
4
6
8
10
12
Problemi riscontrati nella valutazione
Problemi gravi
Problemi medi
Problemi lievi

9. I risultati della prima fase
Le euristiche che appaiono più critiche sono quelle di:
• Chiarezza;
• Navigazione;
Di minore entità risultano essere quelle di:
• Coerenza;
• Controllo;
• Feedback;
• Visibilità;

10. Valutazione Euristica Partecipata
Obiettivi:
• Verificare e integrare quanto trovato in
sede di VEE;
• Valutare l’esperienza utente;
Due step:
• Test del portale con gli utenti;
• Intervista post-test;

11. I Test Utente (parte 1)
Fase pretest
• misurazione dei tempi ottimali allo
svolgimento dei task
Fase test
• 3 utenti (Nielsen 2000)
• 5 task scelti
• Thinking Aloud
• Registrazione tempi/errori

12. I Test Utente (parte 2)
Errori differenziati per 3 punti:
• Errori lievi: piccoli errori trascurabili che allungano soltanto il
percorso per concludere il task;
• Errori medi: aggiungono serie difficoltà alla conclusione del
task ma non ne pregiudicano il completamento;
• Errori gravi: una volta compiuti non è possibile completare il
task. Si manifestano con un aumento drammatico dei tempi di
svolgimento. Sono accompagnati a comportamenti esplorativi,
innescando anche altri errori;

13. I Test Utente (parte 3)
Finalità del portale
1. Ricerca di informazioni riguardo
la giunta;
2. Ricerca di informazioni riguardo
bandi e concorsi;
3. Ricerca di informazioni riguardo
la regolamentazione provinciale
riguardo un dato tema;
4. Ricerca di informazioni riguardo
l’accesso a dei servizi provinciali;
5. Ricerca di informazioni sul
territorio;
Task
1. L’utente deve raggiungere la
pagina dedicata alla giunta
provinciale;
2. L’utente deve raggiungere i bandi
di gara aperti;
3. L’utente deve trovare la pagina
che descrive l’iter per poter
ottenere una licenza di pesca;
4. L’utente deve scaricare la carta
dei servizi legata alla scuola;
5. L’utente deve scegliere un
evento in un comune a scelta a
cui partecipare la prossima
settimana

14. I Soggetti
Soggetto 1 Soggetto 2 Soggetto 3
• Donna
• 25 anni
• Bassa familiarità con
la tecnologia
• Bassa familiarità con
la burocrazia e gli
uffici amministrativi
• Nativa digitale
• Uomo
• 26 anni
• Alta familiarità con
apparecchi elettronici
(PDA e computer)
• Moderata familiarità
con burocrazia e uffici
amministrativi
• Nativo digitale
• Donna
• 61 anni
• Moderata familiarità
con gli apparecchi
elettronici (PDA e
computer)
• Alta familiarità con
burocrazia e uffici
amministrativi
• No nativa digitale

15. I risultati – i tempi
0
50
100
150
200
250
300
350
400
450
500
1 2 3 4 5
Soggetto 1
Soggetto 2
Soggetto 3
tempi medi pretest

16. I risultati – Gli errori
0
1
2
3
4
5
6
7
t1 (s1) t1 (s2) t1 (s3) t2 (s1) t2 (s2) t2 (s3) t3 (s1) t3 (s2) t3 (s3) t4 (s1) t4 (s2) t4 (s3) t5 (s1) t5 (s2) t5 (s3)
errori gravi
errori medi
errori lievi

17. I risultati - Errori per euristica
0
1
2
3
4
5
6
7
8
9
Chiarezza Familiarità Visibilità Feedback Navigabilità
Soggetto 1
Soggetto 2
Soggetto 3

18. Tipologie generali di errori riscontrati
• Cliccare nella sezione sbagliata
• Cercare in una parte della pagina errata
• Confusione di terminologie, ad esempio tra bandi di
concorso e bandi di gara (familiarità)
• Non trovare la voce di menù nella lista di minisiti
(chiarezza, visibilità)
• Non considerare rilevante una voce di menù
fondamentale (familiarità)
• Percepire elementi chiave come privi di interazione
(feedback)

19. L’intervista
Ha l’obiettivo di estrapolare componenti che non è stato
possibile inferire dai dati:
• Individua le difficoltà incontrate;
• Valuta se l’utente ha capito a cosa servono le varie
funzionalità
• Valuta se l’utente sa come utilizzare i vari strumenti
per la navigazione;
• Valuta l’esperienza utente e la gradevolezza del
servizio;

20. La traccia di intervista
• Quali difficoltà hai incontrato?
• Se dovessi descrivere il tipo di sito (sito vetrina, e-commerce, portale, aggregatore, ecc.)
dove lo collocheresti a prescindere dal tipo di contenuti?
• Hai capito l’utilità dei minisiti?
• Hai capito che differenza c’è tra i minisiti e l’URP?
• Sai cos’è un URP?
• Come ti sembra generalmente la facilità d’uso del sito?
• Il linguaggio del sito ti sembra chiaro? E gli strumenti per la navigazione?
• Ti è piaciuto utilizzare il sito?
• Come giudichi la gradevolezza della grafica del sito?
• Ti sei mai sentito frustrato nell’utilizzo del sito? (in caso di numeri eccessivi di errori)

21. Risultati delle Interviste
• Difficoltà su sidebar di sinistra, form per la navigazione e tag-
cloud dei servizi;
• Un portale «a metà»;
• Funzionalità apprese per tentativi ed errori o per esclusione;
• L’URP visto come mini-sito;
• Sito utilizzabile solo dopo averne capito la logica;
• Linguaggio chiaro se familiare con le P.A.
• Scarsa esperienza utente;
• Scarsa gradevolezza della grafica;

22. Conclusioni
0
2
4
6
8
10
12
Problemi valutazione esperta
Problemi test utente

23. Conclusioni - Guidelines
• No portale! Le esigenze di dinamicità vengono
soddisfatte anche con una soluzione più statica;
• Accorpare le sezioni, riducendo il numero di voci di
menù, eliminando così il menù tagcloud per i servizi;
• Strutturare un sistema di feedback;
• Migliorare il controllo sulla posizione dell’utente
durante la navigazione;
• Ridurre i livelli di navigazione;
• Più chiarezza e visibilità al menù dei siti tematici;