quaderni di usabilità TILS: Scuola Superiore Guglielmo Reiss Romoli

appuntamenti, strumenti di lavoro, personaggi, la rassegna stampa strumenti per approfondire gli argomenti scambia le tue idee ricerche bibliografiche, commenti e suggerimenti, libro degli ospiti consulta i quaderni

vai all'indice del quaderno n° 2

Panoramica dello stato dell’arte sull'usabilità
I costi-benefici delle valutazioni "empiriche" dell’usabilità

Mayhew e Mantei (1994) hanno messo a punto una procedura analitica per la valutazione dei costi e dei benefici delle valutazioni empiriche dell'usabilità.

Di seguito verranno esposti gli aspetti principali di questa procedura.

I costi

Uno dei compiti fondamentali delle valutazioni empiriche dell’usabilità è quello di rilevare i profili degli utenti, i principali compiti svolti, il modo in cui le tecnologie introdotte negli ambienti di lavoro o negli ambienti domestici influenzano l’esecuzione di questi compiti in termini di maggiore efficacia ed efficienza. Gli strumenti per effettuare le valutazioni variano dalle interviste, ai questionari, agli studi di laboratorio, alle osservazioni sul campo, ai test di usabilità, all’uso di strumenti per la prototipazione rapida e veloce.

Nella Tabella 1 sono riportate alcune voci di costo (di definizione, di progetto, di verifica) differenziate a seconda del tipo di strumento utilizzato. I valori monetari sono puramente indicativi ed andrebbero calcolati all’interno di ogni specifico contesto organizzativo .

In particolare:

punto elenco per le interviste agli utenti sono state considerate le seguenti voci di costo:
Remunerazione utenti (n=10) L. 300.000
Progettazione scaletta intervista (16 ore) L. 800.000
Conduzione interviste (10 ore) L. 500.000
Analisi dei risultati (16 ore) L. 800.000
Scrittura del rapporto (16 ore) L. 800.000
TOT L. 3.200.000
punto elenco per il questionario strutturato sono state considerate le seguenti voci di costo:
progettazione del questionario (40 ore) L. 2.000.000
pretesting del questionario (16 ore) L. 800.000
distribuzione e raccolta dei dati (16 ore L. 800.000
remunerazione utenti (n=50) L. 1.500.000
codifica e data entry (16 ore) L. 500.000
analisi dei risultati (24 ore) L. 1.200.000
scrittura del rapporto (24 ore L. 1.200.000
TOT L. 8.000.000

Tabella 1: stima dei costi (in milioni di lire) per interventi di usabilità all’interno di un generico progetto (adattato da Mayhew e Mantei, 1994).

Attività per tipo di costo Strumenti Costi
a) Costi di definizione
- profilo dell’utente - interviste 3.200.000
- task analysis - interviste 3.200.000
- questionari 8.000.000
- statistiche di uso 7.500.000
TOT 21.900.000
b) Costi di progetto
formazione all’uso di "style guide" 10.000.000
acquisto sw per rapid prototyping 17.000.000
costruzione del prototipo e testing 12.000.000
cambiamento nel prototipo 12.000.000
TOT 51.000.000
c) Costi di verifica:
testing del sistema test del prototipo in laboratorio 12.000.000
valutazione degli utenti user survey (questionario) 8.000.000
interviste 3.200.000
statistiche di uso 7.500.000
TOT 30.700.000
TOT GENERALE 103.600.000

 

punto elenco per la rilevazione dell’uso del sistema sono state considerate le seguenti voci di costo:
progettazione del test (40 ore L. 2.000.000
prestesting (16 ore) L. 800.000
effettuazione del test (40 ore) L. 2.000.000
remunerazione utenti (n=10) L. 300.000
analisi dei risultati (24 ore L. 1.200.000
scrittura del rapporto (24 ore L. 1.200.000
TOT L. 7.500.000

 

punto elenco per l’acquisto di software per il rapid prototyping sono state considerate le seguenti voci di costo:
analisi dei prodotti esistenti (40 ore L. 2.000.000
costo software L. 15.000.000
TOT L. 17.000.000

 

punto elenco per la costruzione del prototipo e per il successivo testing sono state considerate le seguenti voci di costo:
layout di schermo (80 ore L. 4.000.000
configurazioni alternative (80 ore L. 4.000.000
interviste ed osservazioni degli utenti (80 ore L. 4.000.000
TOT L. 12.000.000

 

punto elenco per i cambiamenti nel prototipo in risposta al testing sono state considerate le seguenti voci di costo:
layout di schermo (80 ore) L. 4.000.000
configurazioni alternative (80 ore) L. 4.000.000
interviste ed osservazioni degli utenti (80 ore L. 4.000.000
TOT L. 12.000.000


Il costo complessivo di tutte le tecniche combinate supera i 100 milioni di lire. Non è necessario utilizzare tutte le tecniche in tutti gli interventi di usabilità. In particolare, per alcuni interventi si potrebbero utilizzare solo questionari ed interviste, o tecniche di rapid prototyping basate su carta e matita. In questo caso il costo complessivo potrebbe aggirarsi intorno ai 20 milioni di lire.

I benefici

Molti dei benefici elencati in precedenza sono di difficile valutazione.

Nel seguito, concentreremo l'attenzione sulla valutazione dei benefici di alcune delle voci di più immediato calcolo:

a) aumento di produttività degli utenti interni;

b) diminuzione nel tasso di errore;

c) diminuzione del costo della formazione;

d) risparmi ottenuti dai cambiamenti che si verificano fin dall’inizio della progettazione.

a) aumento di produttività degli utenti interni

Per calcolare, in modo congetturale, il risparmio derivante dall’aumento di produttività degli utenti interni, possiamo considerare il seguente esempio relativo al beneficio derivante dal tempo risparmiato per processare una schermata.

Considerando: 250 utenti; 60 schermate processate al giorno; 230 giorni per anno; ponendo il tempo risparmiato per processare una schermata pari a 2 secondi e quindi il risparmio giornaliero pari a 120 secondi; ponendo infine il costo medio di 1 ora di lavoro per utenti interni pari a L. 20.000, si ottiene il seguente risultato:

Beneficio = 250x120x230x20.000x(1/3600)= L. 38.333.000

Il risparmio complessivo annuo derivante dal risparmio di 1 secondo nel processamento di una schermata risulta pertanto superiore ai 19 milioni per 250 utenti.

b) diminuzione nel tasso di errore

Per calcolare, in modo congetturale, il risparmio derivante dalla diminuzione del tasso di errore, possiamo considerare il seguente esempio.

Considerando: 250 utenti; 1 errore in meno a settimana (0.2 in meno al giorno); 230 giorni per anno; fissato il tempo richiesto per correggere un errore pari a 2 minuti e quindi il risparmio giornaliero in 24 secondi; ponendo infine il costo medio di 1 ora di lavoro per utenti interni pari a L. 20.000, si ottiene il seguente risultato:

Beneficio = 250x24x230x20.000x(1/3600)= L. 7.666.000

Il risparmio complessivo annuo derivante dalla diminuzione di 2 secondi nel processamento di una schermata risulta pertanto superiore ai 7 milioni e mezzo per 250 utenti.

c) diminuzione del costo della formazione

Per calcolare, in modo congetturale, il risparmio derivante dalla diminuzione del costo della formazione, possiamo considerare il seguente esempio.

Considerando: 250 utenti; 10% in meno nel tempo dedicato alla formazione pari a circa 4 ore in meno all’anno; ponendo infine il costo medio di 1 ora di lavoro per utenti interni pari a L. 20.000, si ottiene il seguente risultato:

Beneficio = 250x4x20.000 = L. 20.000.000

Il risparmio complessivo annuo derivante dalla diminuzione del costo della formazione risulta pertanto di L. 20.000.000 per 250 utenti.

d) risparmi ottenuti dai cambiamenti che si verificano fin dall’inizio della progettazione

Per calcolare, in modo congetturale, il risparmio derivante dai cambiamenti che si verificano fin dall’inizio della progettazione, possiamo considerare il seguente esempio.

Considerando: 20 modifiche nell’interfaccia da effettuare nelle prime fasi della progettazione; 1 giorno di lavoro per modifica; fissando il costo di ogni cambiamento effettuato dopo l’implementazione pari a 4 volte il cambiamento effettuato nella prima fase; ponendo infine il costo medio di 1 ora di lavoro per utenti interni pari a L. 20.000, si ottiene il seguente risultato:

- Costo dei cambiamenti nelle prime fasi dell’implementazione =

= 20x8x20.000 = L. 3.200.000

- Costo dopo l’implementazione = 4x3.200.000 = L. 12.800.000

Beneficio = 12.800.000-3.200.000= L. 9.600.000

Il risparmio complessivo annuo derivante dall’effettuazione di modifiche nell’interfaccia fin dalle prime fasi di sviluppo risulta pertanto di L. 9.600.000 per 20 cambiamenti effettuati.

Nella Tabella 2 è riportata la stima complessiva dei quattro benefici stimati.

Se compariamo i costi derivanti dall’uso di tutte le tecniche (L. 103.600.000) con i benefici (L. 75.599.000) notiamo che per il primo anno i costi superano i benefici di circa 28 milioni di lire. Un uso più parsimonioso delle tecniche (intorno ai 40 o 50 milioni) renderebbe però già remunerativo l’investimento nel primo anno. E’ realistico, inoltre, supporre che i benefici in termini di maggior produttività risultino almeno per l’anno successivo. In questo caso, già alla fine del secondo anno, considerando solo quattro voci di beneficio avremo che i benefici risultano superiori ai costi complessivi. A partire da queste congetture emerge già in modo evidente la convenienza delle valutazioni di usabilità.

Tabella 2: stima dei benefici (in milioni di lire) per voce di beneficio stimata (adattato da Mayhew e Mantei, 1994).

Voce di beneficio Valore monetario
a) aumento di produttività degli utenti interni 38.333.000
b) diminuzione nel tasso di errore 7.666.000
c) diminuzione del costo della formazione 20.000.000
d) risparmi ottenuti dai cambiamenti che si verificano fin dall’inizio della progettazione 9.600.000
TOT GENERALE 75.599.000