quaderni di usabilità TILS: Scuola Superiore Guglielmo Reiss Romoli

appuntamenti, strumenti di lavoro, personaggi, la rassegna stampa strumenti per approfondire gli argomenti scambia le tue idee ricerche bibliografiche, commenti e suggerimenti, libro degli ospiti consulta i quaderni

vai all'indice del quaderno n° 2

Panoramica dello stato dell’arte sull'usabilità
I costi-benefici delle valutazioni "analitiche" dell’usabilità

Una metodologia per la valutazione analitica dell’usabilità è stata proposta da Jakob Nielsen (1994) ed è basata su un approccio noto come "discount usability engineering".

Il metodo sviluppato da Nielsen si basa su due tecniche combinate: la prima parte del metodo coinvolge gli utenti e utilizza scenari che vengono testati utilizzando protocolli "thinking aloud". In genere prendono parte a questa fase di testing da uno a tre soggetti. Sulla base dei risultati ottenuti gli scenari vengono modificati e testati nuovamente. La seconda parte del metodo implica di testare lo scenario usando la valutazione euristica condotta da esperti di usabilità. Facendo tesoro della massima "il meglio è nemico del buono", Nielsen ha identificato dieci euristiche generali nella progettazione di interfacce usabili (Nielsen 1993) A partire dalle euristiche, gli esperti di usabilità sono in grado di identificare i maggiori problemi di interazione con l'interfaccia che gli utenti reali incontreranno nello svolgimento dei loro compiti lavorativi. Di seguito verrà considerato un esempio di analisi costi-benefici della valutazione euristica basata su (Nielsen 1994). nella valutazione considerata verrà stimato solo il costo relativo alla valutazione degli esperti.

I costi

La stima dei costi della valutazione euristica comprende la stima di una serie di attività che vanno dalla selezione delle tecniche e dei valutatori fino all’analisi della criticità dell’interfaccia da valutare. Di seguito considereremo un esempio citato da (Nielsen 1994). Nella tabella 3 sono riportati i singoli item. Come si può osservare, l’ammontare di ore-persona richieste è di 105 ore.

Dalla Tabella 2 emerge inoltre che il numero totale di ore-persona può essere determinato in funzione del numero di valutatori considerati in ogni singola valutazione. La formula proposta da Nielsen è la seguente:

Tempo-persona (x) = 37.3 + 4.2x, dove x è il numero di valutatori utilizzati.

Il calcolo dei costi si può ottenere semplicemente moltiplicando il numero di ore per il costo orario degli esperti di usabilità. Valutando circa L. 100.000 il costo orario, si otterrebe un costo complessivo di L. 10.500.000.

Tabella 3. Stima del numero complessivo di ore-persona spese nella valutazione euristica di una interfaccia (adattato da Nielsen 1994)

Attività Ore-persona
Scegliere e selezionare tecniche e valutatori 20
Preparare il briefing dei valutatori 3
Preparare lo scenario per i valutatori 2
Briefing (1 esperto del sistema, 1 esperto di valutazione, 11 valutatori per un’ora) 19.5
Preparare il prototipo per la valutazione* 5
Valutazione dell’interfaccia (11 valutatori per un’ora) 11
Osservazione della valutazione (2 osservatori per 11 ore) 22
Debriefing (3 valutatori, 3 progettisti, 1 esperto di valutazione per un’ora) 7
Rilevazione delle criticità dell’interfaccia e costruzione del questionario 8
Ordinamento delle criticità da parte dei valutatori (11 valutatori per 0.5 ore) 5.5
Analisi delle criticità 2
Totale ore-persona 105
Totale costi L. 10.500.000

I benefici

Osserva Nielsen che, "il solo modo per valutare in modo corretto i benefici delle valutazioni di usabilità (sia analitiche, sia empiriche) sarebbe quello di realizzare dapprima due versioni della stessa interfaccia, una realizzata senza attenzione all'usabilità, l'altra realizzata nella prospettiva "user-centred". Successivamente farle utilizzare dagli utenti per svolgere un certo numero di compiti lavorativi per un periodo abbastanza lungo di tempo. Questo processo porterebbe a raccogliere misure comparate sia del tempo richiesto per apprendere ad usare ilsistema, sia dei miglioramenti nell'esecuzione dei compiti. Nella realtà questa situazione è impossibile da verificarsi. E' così necessario ricorrere a congetture ed a stime dei possibili benefici." (Nielsen 1994).

Considerando di nuovo l'esempio precedente, Nielsen considera i benefici derivanti da due dei parametri principali dell'usabilità:

riduzione del tempo di apprendere il sistema (reduction of learning time);
miglioramento nell'esecuzione dei compiti lavorativi (speedup in expert performance).

Non sono stati considerati altri parametri importanti quali ad esempio la riduzione della frequenza degli errori o la soddisfazione nell'uso (user satisfaction) in quanto di difficile valutazione.

Nelle stime riportate si osserva che per 2000 utenti, una riduzione del tempo di apprendimento di mezza giornata in un anno, porta ad un risparmio di 1000 giornate di lavoro.

La stima invece di una riduzione del 3.3% nel miglioramento della performance porta i 2000 utenti a risparmiare circa 65 anni di lavoro ogni anno che corrispondono circa a 14.000 giornate di lavoro** .

Il totale sarebbe quindi di circa 15.000 giornate di lavoro risparmiate.

Per il calcolo dei benefici complessivi assumiamo che il costo della giornata lavorativa per un singolo utente sia di L. 100.000. Il risparmio complessivo sarebbe di circa 1.5 miliardi di lire. Assumendo ipotesi più conservative (ad esempio che solo una metà dei problemi identificati nella valutazione euristica siano fissati; che i risparmi nella performance si realizzino tutti il primo anno e non negli anni successivi, ecc.), si ottiene un risparmio annuale di circa 500 milioni di lire.

Se compariamo i 500 milioni con i 10,5 milioni di lire spesi nella valutazione euristica, si ottiene un rapporto benefici-costi di 48 a 1. Questo rapporto contiene notevoli elementi di incertezza, soprattutto nella stima dei benefici, ma è sufficientemente grande per giustificare la convenienza delle valutazioni di usabilità.

*In questa stima oraria non è ovviamente compreso il tempo necessario alla task analysis iniziale, alla progettazione dell’interfaccia ed all’implementazione del prototipo, che sono svolte in modo indipendente dalla valutazione euristica dell’usabilità dell’interfaccia.

**Questo dato è stato così ottenuto: il 3.3% di risparmio di tempo giornaliero per un singolo utente è di circa 15' (3.3% di 8 ore). Dati 230 giorni lavorativi annui, si ha un risparmio annuo per utenti di 57.5 ore, che corrisponde a oltre 7 giorni lavorativi. Per 2000 utenti si avranno quindi 14.000 giornate lavorative che corrispondono a 60 anni.

Bibliografia
Bias R.G., Mayhew D.J. (1994), Cost-justifying usability, Academic Press
Dumas J.S., Redish J.C. (1994), A practical guide to usability testing, Ablex Publishing Corporation, Norwood, New jersey
Mayhew D.J., Mantei M. (1994), A basic framework for cost-justifying usability engineering, in Bias R.G., Mayhew D.J., Cost-justifying usability, Academic Press
Nielsen J. (1993), Usability Engineering, Academic Press
Nielsen J. (1994), Guerrilla HCI: using discount usability engineering to penetrate the intimidation barrier, in Bias R.G., Mayhew D.J., Cost-justifying usability, Academic Press
Harrison M.C., Henneman R.L., Blatt L.A. (1994), Design of a human factors cost-justification tool, in Bias R.G., Mayhew D.J., Cost-justifying usability, Academic Press

Link - bibliografici e informativi

The HCI Bibliography Project: http://www.tu-graz.ac.at/CHCIbib;sk=7B10868B
Si trovano raccolte di riferimenti HCI, di libri, riviste e conferenze.
The HCI Bibliography: http://www.acm.org/~perlman/hcibib/
Si trovano più di 11.000 articoli.
HCI Archive: http://www.lpac.ac.uk/SEL-HPC/Articles/HciArchive.html
Si trovano articoli su HCI.
HCI Index: http://is.twi.tudelft.nl/hci/
Si trovano varie risorse sul tema HCI, come bibliografie, pubblicazioni, eventi, ecc.
User Interaction Design Web: http://www.io.tudelft.nl/uidesign/
Si trovano studi, lavori, libri, ecc.
User Interface Index: http://www.nolan.com/~pnolan/resource.html
Si trovano informazioni su libri e conference.
The World-Wide Web Virtual Library on HCI: http://hydra.bgsu.edu/HCI/
Si trovano informazioni sul tema HCI ne lWeb, pubbliazioni, e altre risorse.
Multimedia Information Sources: http://viswiz.gmd.de/MultimediaInfo/
Si torvano guide, ricerche, conferenze, bibliografie e standard.
Ameritech User Interface Standards: http://www.ameritech.com/news/testtown/library/standard/
ISO TC 159 Ergonomics: http://www.iso.ch/meme/TC159.html
ISO Draft - International Standards on Usability: ftp://ftp.npl.co.uk/pub/hci/ISO-9241-11/
Ameritech's usability laboratory: http://www.ameritech.com/news/testtown/articles/uselab.html
Si trova un famoso articolo pubblicato in Behaviour and Information Technology, sul setting-up dei laboratori di usabilità.
SUMI (the Software Usability Measurement Inventory): http://www.ucc.ie/hfrg/sumi
QUIS (Questionnaire for User Interaction Satisfaction):
http://lap.umd.edu/QUISFolder/quisHome.html