1. No category

Stol aldrig på brugerne!
Tænke-højt brugertest er en kunstig brugssituation. Særligt når den foregår med en testleder i et
testlaboratorium, der kan minde om forhørslokalet fra en krimifilm. Jeg har undersøgt hvordan
metoden påvirker brugerne i forhold til at arbejde alene foran computeren i vante omgivelser.
René Rosendal, brugervenlighedskonsulent SnitkerGroup, maj 2014
E
n sen eftermiddag i testlaboratoriet hvor jeg var
testleder, stillede jeg brugeren den næste testopgave i
spørgeguiden. Fra projektets tidligere testsessioner
vidste jeg, at netop denne opgave kunne volde en del
vanskeligheder. Brugeren var imidlertid meget
tålmodig, og blev ved med at lede i, hvad der for mig
føltes som en evighed. Jeg undrede mig derfor over,
om det virkelig kunne være realistisk, at brugeren
under en mere normal brugssituation ville blive ved
med at lede lige så længe. Var det i virkeligheden
fordi jeg som testleder var til stede? Måske ville
brugeren gerne fremstå smart overfor personerne på
den anden side af envejsspejlet. Hvis brugeren i stedet
arbejdede hjemme i vante omgivelser, hvor jeg ikke
havde været til stede for at stille spørgsmål, var
brugeren måske blevet forstyrret af mails, sociale
medier eller andet. Hvis samtlige af brugerne en sådan
testopgave løser opgaven, er det fristende som
konsulent eller softwareudvikler at konstatere, at de
anvendte funktioner er tilstrækkeligt brugervenlige.
Løser brugerne udelukkende opgaverne som følge af
en presset situation under tænke-højt testen, danner
dette grundlag for misledende resultater.
Antagelserne bag undersøgelsen
Dette dannede grundlaget for min hypotese forud for
undersøgelsen. Hypotesen bestod i, at brugerne i den
modererede tænke-højt test i et testlaboratorium er
villige til at bruge længere tid på at løse en
arbejdsopgave, inden de giver op. Herunder at
brugerne i denne situation er villige til at læse større
dele af instruktioner og andre tekster. Jeg antog at
brugerne i et vidst omfang må betragte tænke-højt
testen som en slags eksamenssituation, hvor de ønsker
at yde gode præstationer. Dette som følge af, at
brugerne adfærd optages og observeres gennem
envejsspejl, kamera og mikrofon der peger direkte
mod deres ansigt.
Modereret vs. umodereret brugertest
Til at besvare min hypotese udarbejdede jeg en
undersøgelse med i alt 10 tænke-højt tests, hvor jeg
testede det samme website med de samme testopgaver.
5 af testene udførte jeg som modererede brugertests i
testlaboratorium, mens brugerne udførte de resterende
5 tests alene hjemme hos dem selv. Brugertestene blev
så vidt undersøgelsen tillod det udført efter den
almindelige praksis hos konsulentvirksomhederne
SnitkerGroup og UserTribe. Dette indebar at deltagerne
blev rekrutteret fra de to virksomheders respektive
databaser. Efterfølgende blev deltagerne honoreret med
et mindre beløb som tak for indsatsen.
Bevidst konstrueret dårlig brugervenlighed
For at klarlægge hvor længe deltagerne er villige til at
forsøge at løse en vanskelig testopgave, var det
nødvendigt at tvinge samtlige deltagere til at give op.
Til dette konstruerede jeg undersøgelsen med en
umulig testopgave. Deltagerne skulle her lede efter en
information, der ikke fandtes på websitet. Endvidere
var dele af websitet konstrueret med lange
instruktioner, hvor vigtig information var placeret midt
i teksten. Dette for at undersøge, hvor vidt deltagerne
var villige til at læse hele eller dele af instruktionerne.
Blandt testopgaverne blev deltagerne bedt om at
vurdere brugervenligheden af websitet. Dette med en
beskrivelse, samt en karaktergivning på en skala fra 1
til 5. Her stod karakteren 1 for meget vanskelig at
bruge, mens 5 var meget let at bruge.
Undersøgelsen var tilrettelagt efter at skulle munde ud i
kvalitative såvel som kvantitative data. De primære
parametre, jeg i undersøgelsen anvendte, var følgende:
• Hvor lang tid deltagerne brugte inden de gav op
• Hvilke udtalelser de ytrede under opgaveløsningen
• Hvordan de beskrev websitet
• Hvor vidt de løste testopgaverne korrekt
Testlaboratoriet hos SnitkerGroup
Den umulige testopgave
Denne testopgave resulterede i, at samtlige 10
testdeltagere gav op over to omgange. Først forsøgte
de at løse testopgaven og tænke højt på almindelig
vis. Efter noget tid gik det op for deltagerne, at dette
ikke var muligt. Dette fik dem til at ændre adfærd.
Deltagerne havde tydeligvis et stærkt ønske om at
give et svar på testopgaven. Derfor begyndte flere af
deltagerne ivrigt at argumenterede for, hvorfor det
ikke var muligt for dem at give et svar. Andre
deltagere gættede blot på et mere eller mindre
tilfældigt svar, til trods for at websitet ikke gav dem
noget belæg for dette. Hertil er det vigtigt at pointere,
at deltagerne på dette stadie, blev ved med at klikke
sig rundt på websitet.
Jeg valgte at opdele de gennemsnitlige tidsintervaller
for løsningen af denne opgave i to faser. Fase 1 udgør
tiden inden deltagerne giver op første gang, mens fase
to udgør tiden, hvor brugerne enten gætter eller
argumenterer for ikke at kunne løse opgaven. Det ses
på nedenstående figur, at det samlede tidsinterval kun
varierer meget kort for de to typer brugertest. Til gengæld skifter brugerne i den modererede test i
laboratorium langt hurtigere til fase 2. Deltagere i
denne type brugertest ønsker altså hurtigere at give et
svar på testopgaven. Lykkes dette ikke, springer de
hurtigt til fasen, hvor de i stedet argumenterer for det
manglende svar, eller blot giver et gæt.
Tidslinje som illustrerer hvornår deltagerne gav op overfor testopgaven
Lad os nu i stedet forestille os en testopgave, som
ikke er umulig, men som der faktisk findes en løsning
på. Her vil brugeren teoretisk set kunne finde frem til
den korrekte løsning et hvilket som helst sted på
tidslinen. Nedenstående figur illustrerer tre eksempler
på tidspunkter, hvor brugerne kan løse testopgaven.
Disse vil jeg nu bruge til at vurdere, hvor vidt det er
realistisk at brugeren også vil løse opgaven under en
normal brugssituation.
Tidslinje med eksempler på tider, hvor brugerne kan løse opgaven
Løsningseksempel 1: Her løser brugerne i begge typer
test opgaverne, mens de stadig befinder sig i fase 1. Jeg
vurderer hermed, at det er realistisk, at brugere under
normale brugssituationer også vil løse opgaven.
Løsningseksempel 2: Her er deltagerne i den
modererede test i laboratorium bevæget sig til fase 2,
mens deltagerne, som tester hjemme stadig befinder sig
i fase 1. I denne sammenhæng vil jeg argumentere for,
at den modererede brugertest i laboratorium er særlig
kunstig, hvorfor deltagerne hurtigt ønsker at give et
svar på testopgaven. I modsætning ligner den
umodererede test hjemme hos brugerne i højere grad
den normale brugssituation. Jeg vurderer derfor også
her, at det er realistisk, at brugere under en normal
brugssituation, vil løse opgaven.
Løsningseksempel 3: Her er deltagerne i begge typer
brugertest overgået til fase 2. Løser de opgaven må det
derfor være tilfældigt, da de i denne fase stadig klikker
sig rundt på websitet. Jeg vurderer dermed, at det i
meget lavere grad er realistisk, at brugerne under en
normal brugssituation vil løse opgaven.
Resultaterne kan hermed give en indikation af, hvorvidt
brugervenligheden af de testede features bør forbedres,
til trods for at den pågældende testopgave måtte blive
løst korrekt af samtlige testdeltagere.
Testleder som eksaminator
I en anden testopgave i undersøgelsen blev deltagerne
bedt om at udfylde en formular. Denne var på websitet
indledt med en meget lang instruktion. I midten af
instruktionen var placeret en vigtig viden, som skulle
bruges for at kunne udfylde formularen korrekt. I de
modererede brugertest var det efterfølgende muligt for
mig at spørge deltagerne, hvad der stod i instruktionerne. Kun én af deltagerne i de modererede
brugertest læste noget af teksten. I de umodererede
brugertest var det ikke muligt efterfølgende at spørge,
hvad der stod i teksten. Jeg valgte derfor i stedet at
observere, hvor mange af deltagerne der læste hele eller
dele af teksten højt.
Dette gjorde tre af deltagerne. Derudover brugte deltagerne i de umodererede tests i gennemsnit 48 sekunder mere på at løse testopgaven, end deltagerne i de
modererede tests. Også her tyder det på at deltagerne i
modereret brugertest i testlaboratorium har et ønske om
hurtigt at levere resultater til testlederen, som sidder
ved siden af og venter. Dette i modsætning til deltagerne i den umodererede test hjemme hos dem selv, som i
denne sammenhæng fremstod en smule mere grundige
med udfyldelsen af formularen. Resultatet af testopgaven blev, at 3 deltagere i den umodererede test løste
opgaven korrekt, mens 2 deltagere i den modererede
test løste opgaven korrekt.
En del af min hypotese er en antagelse af, at
deltagerne i den modererede brugertest i laboratorium
ubevidst kunne betragte testen som en slags eksamenssituation. Netop i testopgaven med udfyldelse af online
formular, gav undersøgelsen indtryk af at deltagerne
opfatter testlederen som værende en slags eksaminator
med en komplet facitliste. Med til denne opfattelse hører det at når testlederen ikke bryder ind i løsningen af
testopgaven, må deltageren være på rette vej. Dette kom
særligt til udtryk med følgende citat, da en af deltagerne
blev spurgt om, hun mente at have løst opgaven
korrekt. “Nej men jeg er også meget hurtig. Jeg gør
bare det, jeg får besked på”. I de umodererede tests
stoppede flere af deltagerne op for at sikre, at de havde
forstået testopgaven korrekt. Også dette peger i retning
af, at deltagerne i den modererede tests måtte mene at
gøre det rigtige, så længe testlederen intet intet foretog
sig. Deltagerne i de umodererede tests, havde endda
også mulighed for at sætte optagelsen på pause, for
senere at genoptage denne, hvilket flere af
testdeltagerne gjorde brug af.
hvilket blev understreget af følgende udtalelse fra en af
deltagerne “Nu håber jeg ikke, at jeg træder nogen over
tæerne”. Denne udtalelse til trods for at deltagerne
forud for testen var instruerede i ikke at lægge
begrænsning på deres ærlige mening. Testopgavens
kvantitative undersøgelse illustrerede samme tendens.
Her skulle deltagerne bedømme brugervenligheden på
en skala fra 1 til 5. Websitet scorede gennemsnit 1 point
højere blandt deltagerne i den modererede test, hvor
resultatet blev 3,6 mod kun 2,6 blandt deltagerne i den
umodererede test.
Hvilken test bør vælges?
Baseret på undersøgelsens resultater kan det være nærliggende at konkludere, at modereret tænke-højt test i et
testlaboratorium helt bør undgås. Jeg vil dog stadig
være fortaler for denne type test, da den giver
testlederen mulighed for at spørge ind til bestemt
områder, for på denne måde at opnå langt mere
nuancerede besvarelser. Endvidere giver metoden i
langt bedre mulighed for at observere brugerens
kropsprog, hvilket jeg finder særdeles informativt.
Baseret på undersøgelsen er umodererede brugertest i
brugernes eget hjem på flere områder velegnet til at
vurdere, hvorledes brugernes adfærdsmønstre vil være
under en normal brugssituation.
Brugernes vurdering
Da deltagerne skulle beskrive brugervenligheden af
websitet, spredte sig en klar tendens. Deltagerne i den
umodererede test var i langt højeregrad villige til at
give negative beskrivelser af websitet. Dette med
ordvalg som kedeligt, uprofessionelt og billigt. I den
modererede brugertest blev websitet beskrevet med ord
som godt, super og fedt. Deltagerne i den modererede
test, som også gav kritik, vendte det til positivt
René Rosendal
Erhvervsøkonomi og IT, Copenhagen Business School
Brugervenlighedskonsulent hos SnitkerGroup
mail: rene@snitker.com
tlf: 29 64 65 53
web: rosendal-hansen.dk
Tak til Snitkergroup og UserTribe for at have gjort undersøgelsen mulig