UX testovanie (študenti)
Ako prvé sme vykonali používateľské testovanie so študentmi. Pred samotným testovaním bolo potrebné vytvoriť UX protokol, v ktorom je opísaný celý priebeh testovania, používateľské úlohy, otázky pre participantov ako aj všetky sledované a potrebné metriky.
UX protokol
Pred testovaním sme vytvorili protokol, ktorý tvoril základnú štruktúru priebehu UX testovania. Štruktúra protokolu je nasledovná:
- demografické otázky - na úvod je potrebné sa dozvedieť zopár základných informácií o participantoch
- testovacie prostredie - popis na ako zariadení sa UX testovanie uskutočnilo
- úlohy - popis úloh, ich predpoklady na začatie, kritériá ukončenia, maximálny čas na splnenie úlohy a ich možné pred-definované riešenie
- otvorené otázky - zoznam otázok, na ktoré sa očakáva dlhšia odpoveď
- SUS dotazník - zoznam otázok, na ktoré sa odpovedá pomocou vopred stanovenej škály (1-10)
- zoznam metrík - zoznam sledovaných metrík ako miera dokončenia úlohy, čas splnenia úlohy a miera chybovosti
Nevyplnený prvotný protokol nájdete na nasledujúcom odkaze.
UX testovanie
UX testovanie prebiehalo po dohode s participantmi na FIIT a zároveň prebiehalo aj počas DOD.
Výsledky
Vyplnený protokol a kompletné výsledky nájdete na nasledujúcom odkaze.
Demografické otázky
Testovania sa zúčastnilo celkovo 10 participantov a z toho 5 participantov boli študenti VŠ (vyskoej školy) a 5 participanti boli študenti SŠ (strednej školy). Testovania sa zúčastnilo viac žien ako mužov, ale stále išlo o pomerne rovnomerné rozloženie. Priemerný vek participantov bol 20,6 rokov. Väčšina participantov už mala predchádzajúce skúsenosti s digitálnymi knižnicami alebo knižnými databázami (ako napríklad Google Scholar alebo IEEE).
Výsledky úloh
Miera úspešnosti úloh:
- Priemerná úspešnosť dokončenia úloh: 94,5%
- Najhoršie splnené úlohy: Úloha 8 (85%), Úloha 9 (80%)
- Najlepšie splnené úlohy: Úloha 1, 2, 3, 4, 6, 10 (100%)
Priemerný čas splnenia úloh:
- Najrýchlejšie splnená úloha: Úloha 4 (4,8 sekundy)
- Najdlhšie splnená úloha: Úloha 5 (56,1 sekundy)
- Celkový priemer: 35,3 sekundy na úlohu
Miera chybovosti:
- Priemerná chybovosť: 1,04 chyby na úlohu
- Najviac chýb v úlohách: Úloha 9 (2,7 chyby), Úloha 7 (2,1 chyby)
- Najmenej chýb v úlohách: Úlohy 1, 3, 4 (0 chýb)
Najčastejšie problémy
- Neintuitívne pokročilé vyhľadávanie - málo viditeľné.
- Neintuitívne filtrovanie – málo viditeľné a nejasné pomenovania.
- Bočný panel pri detaile knihy – príliš veľa informácií na malej ploche.
- Nekonzistentnosť náhľadov kníh – rôzne formáty spôsobovali zmätok.
- Zdieľanie publikácií – QR kódy boli menej použiteľné, účastníci preferovali odkazy.