Field Trial
Waarom een Field Trial
Een gebruiker reageert altijd anders wanneer je een geplande usability test uitvoert, hierbij loop je met ze door een gewenst scenario heen. Dit is handig om een design of flow voor bepaalde scenario's te testen. Bij een Field Trial ben je er niet constant bij om gebruikers aanwijzingen te geven of ze het "juiste" scenario te laten doorlopen. Hiermee test je dus een echte situatie zoals het product straks ook gebruikt gaat worden.
Aanpak
Ik heb binnen Greenhouse de afdeling LABS (8 personen) gevraagd om mee te werken aan dit onderzoek. Ik ga bij deze groep mijn tweede versie van mijn prototype testen voor een periode van één week. Tijdens deze periode zit ik zelf ook bij Labs om de user test te observeren en direct feedback te kunnen ontvangen. Na deze periode verstuur ik een survey om gedetailleerdere feedback te krijgen. Er zal ook een groepschat beschikbaar zijn waar feedback punten ingezet kunnen worden met afbeeldingen.
Doelgroep
De doelgroep voor deze test zijn werknemers binnen Greenhouse Eindhoven.
Testdoel
Het testdoel van deze test is om de kinderziektes uit de applicatie te halen voordat deze op grotere schaal wordt gebruikt. Ook vind ik het belangrijk om nogmaals de UX te testen.
Benodigdheden
- Een prototype
- NFC TAGS/labels met QR-codes
- Eind Survey
- Testgroep
- Email accounts/inloggegevens
Inleiding
Een korte inleiding over wat Colleague Finder is en welk probleem het zou moeten verbeteren. Omdat er een engelstalige spreker tussen de groep zit zal de field trial in het engels worden uitgevoerd.
Colleague Finder is a tool to make it easier to find your Greenhouse colleagues and find empty flex-desks. This problem was created when Greenhouse started to use flex-desks. especially on large floors or more than 1 floor can it be hard to quickly find your colleague or free desk. Colleague Finder exists of two parts. One is the check-in part and two is the search part.
Uitleg over de test.
This will be held from Friday 29-11-2019 till Friday 6-12-2019. Each of you will get an email and password that you can use to login as the Greenhouse email won't work. Each desk has a label with a desk number, QR code, and NFC tag. Depending on your phone and your personal preferences you can use either one of them. You can scan it with your phone and you'll be redirected to my application where you get asked to sign in with office use the email and password I provided to login and follow the instruction in the application. If you find an error or have feedback you can tell me directly or post it in the #colleaguefinder slack channel. At the end of the test, I'll send a short survey about your experience with Colleague Finder.
Survey
https://forms.gle/byWSVex2MbYFEzS67
Bronnen
http://cmdmethods.nl/cards/lab/field-trial
https://www.slideshare.net/ELISHAJR/field-trials
Field Trial Results
Inleiding
In deze analyse staan de bevindingen van de Field Trial van de Colleague Finder applicatie beschreven. In deze analyse staan de feedback punten die ik heb gekregen en de antwoorden uit de survey beschreven. Bij alle punten heb ik een prioriteit gehangen en een beschrijving hoe ik het zou kunnen oplossen.
Samenvatting van de test
Ik ben zeer tevreden met hoe de test is verlopen. Ik had twijfels over of de users uit zichzelf de applicatie gingen gebruiken aangezien ze allemaal in 1 ruimte zitten waarbij ze niet werkelijk naar elkaar hoeven te zoeken. Echter waren een aantal van de users zeer enthousiast en hebben ze de volledige applicatie gebruikt. Uit deze test zijn veel nuttige feedback punten gekomen die ik zelf niet had gevonden zoals 500 server errors, font errors op bijvoorbeeld een ubuntu systeem en een UX fout bij het uitloggen/uitchecken.
Feedback punten
De volgende punten zijn tijdens de field trial gevonden.
- Wanneer een user op hidden staat krijg je een andere tekst dan wanneer deze niet ingecheckt is. Hieraan zou je dus kunnen zien dat iemand op hidden staat.
Prioriteit: High
Oplossing: De teksten aanpassen zodat deze het zelfde zijn "user not checked in". - Font in de SVG plattegrond klopt niet.
Prioriteit: Medium
Oplossing: In de SVG het juiste font toevoegen. - De busy status staat bij meerdere zoekresultaten zonder hoofdletter
Prioriteit: Low
Oplossing: Tekst aanpassen beginnend met een hoofdletter - Het zoekveld voor collega's zoeken geeft ook resultaten van mensen waarvan die zoek opdracht niet in de naam zit (vb: zoekopdracht: 'en' resultaat: 'Shama Khali')
Prioriteit: High
Oplossing: De zoek functie zoekt ook op email en dus ook naar de @Greenhousegroup.com, beste is om alleen op naam te zoeken - 500 error wanneer je sessie is verlopen en de pagina refreshed.
Prioriteit: High
Oplossing: Check inbouwen die kijkt of je nog ingelogd bent. - Logout wordt verward met checkout
Prioriteit: Medium
Oplossing: Design aanpassen dat de logout en checkin minder op elkaar lijken - Checkout is alleen op de homepagina
Prioriteit: Low
Oplossing: Afhankelijk van de design oplossing bij punt 6 - De stijling van de availability form op groot scherm is een beetje uitgerekt
Prioriteit: Medium
Oplossing: extra breakpoint toevoegen in de css - availability staat altijd standaard op busy (de tweede optie)
Prioriteit: Medium
Oplossing: In het formulier toevoegen dat de eerste (available) altijd checked is. - De welkoms tekst staat altijd op "Good Morning!"
Prioriteit: Medium
Oplossing: Met javascript een check in bouwen welke tijd het is en hier op de welkoms tekst baseren. - Wanneer je ingecheckt bent kan je door naar de juiste link te gaan ook andere mensen uitchecken met /checkout/id
Prioriteit: High
Oplossing: Check of de user die wilt uitchecken het zelfde is als de user die is ingecheckt op dat bureau. - Wanneer je in de url balk /search/id typed krijg je een 500 error wanneer deze persoon niet is ingecheckt.
Prioriteit: High
Oplossing: Check of de persoon is ingecheck en redirect de juiste informatie naar de pagina met de tekst user not checked in.
De survey resultaten
Survey
https://forms.gle/byWSVex2MbYFEzS67
Alle users gaven aan het inloggen niet als lastig te ervaren, natuurlijk waren de nieuwe inloggegevens niet ideaal (naamachternaam@cfinder.onmicrosoft.com) aangezien ze deze email voor niks anders gebruiken. Deze zal in de eindversie over gaan naar de Greenhousegroup.com email die wel veel gebruikt wordt.
2 van de 7 users had problemen bij het inloggen omdat hij probeert in te loggen met een ander account en er was geen wachtwoord vergeten knop. Helaas zijn dit problemen die bij het inlog systeem van Microsoft ligt.
Bij het checkin systeem gaf iedereen aan het makkelijk of erg makkelijk te vinden om in te checken. Er waren hierbij geen errors gevonden. Wel was er een feedback punt voor de status busy, de vraag was hoelang je op busy staat en of je deze dan zelf op available moet zetten. Voor een andere gebruiker was het niet duidelijk wat de status "Hidden" betekende.
Bij het uitchecken gaven 2 gebruikers aan dat ze eerst op de log out hadden geklikt voor ze zagen dat de checkout een andere knop was.
Bij het zoeken naar een user en een beschikbaar bureau was alles duidelijk afgezien van de 500 error die ik hierboven ook benoemd heb. Niemand heeft een probleem gehad met het aanpassen van zijn/haar status.
De laatste sectie van de survey gaat om de applicatie als geheel hierbij heeft iedereen aangegeven de applicatie te (misschien) te gebruiken. En heeft één iemand gemist dat de applicatie ook op desktop te gebruiken is.
Bij de overall feedback heb ik alleen positieve feedback teruggekregen. Ook had iemand het idee dat een App handig zou zijn voor gebruiker die de cookies uit hebben staan en dus niet constant automatisch ingelogd worden. Dit zal ik meenemen in mijn aanbevelingsdocument.
Conclusie
De applicatie is door de users goed ontvangen. Er zijn nog wel veel feedback punten omhooggekomen met 500 errors, deze wil ik zo snel mogelijk gaan fixen. Ook is er veel positieve feedback geweest over de applicatie en heeft iedereen wel het idee het te gaan gebruiken. Verrassend voor mij was dat veel gebruikers het uit zichzelf gingen gebruiken en verkennen. Ook na de test fase zijn er nog enkele die nog steeds inchecken.
Bronnen
https://www.usability.gov/how-to-and-tools/methods/reporting-usability-test-results.html