Sähköinen tentti

Pitämälläni tuotantomenetelmät-kurssilla on tentti osana arvostelua. Halusin korvata paperitentin sähköisellä tentillä muutamasta syystä:

  1. vastaukset on helppo anonymisoida (vertaisarviointia ja toisaalta pärstäkertoimen eliminointia varten)
  2. käsialasta saa taatusti selvää
  3. vastausten tarkistaminen on helppoa, kun voi listata kaikki kysymyksen 1 vastaukset, silmäillä läpi, muodostaa yleiskuvan opiskelijoiden osaamisesta ja naputella kaikille pisteet tehtävästä

Suunnittelin antavani tentin vertaisarvioitavaksi siten, että opiskelijat pisteyttävät kukin esimerkiksi kolmen muun opiskelijan tenttivastaukset, perustellen. Tämä olisi voinut olla ihan hyvä työkalu systemaattiseen asioiden kertaamiseen ja pohtimiseen.  Uskon, että moni olisi oppinut asiat täsmällisemmin muiden vastauksia peratessa. Varsinainen arvosana olisi silti tullut minulta, koska koko arviointivastuuta ei välttämättä ole viisasta ulkoistaa opiskelijoille.

Ajattelin tehdä tentin Googlen lomaketyökalulla. Se on erinomaisen kätevä ja helppokäyttöinen ja olen tehnyt sillä monenlaisia pieniä lomakkeita opetuksen yhteydessä. Päädyin kuitenkin koulun virallisempaan työkaluun, Sordino SoftTutoriin. En ole varma oliko se kovin kirkas ajatus, koska nyt iso osa tavoittelemistani hyvyyksistä jäi saavuttamatta ja kömpelön työkalun taltuttamiseen tuhraantui ihan liikaa aikaa.

SoftTutorissa on toki hyviäkin puolia. Näistä suurin taitaa olla, että se on hyväksytty koulun käyttöön eikä kukaan ei pahoita mieltään vaikka tekisin tenttini sillä. Sen käyttöön on myös pyhitetty muutama kone, joilla netin selailua on rajoitettu. Jos tentissä on tarkoitus mitata yksilön omaksumia asioita, muilta kysyminen ja vapaa netin selailu on hyvä saada rajattua pois.

Minulla oli valmiita kysymyksiä (joita opiskelijat ovat luentojen jälkeen keksineet ja perustelleet, miksi ne ovat oikeita kysymyksiä mittaamaan opittuja asioita). Kuvittelin, että teen tentin nopeasti. Tiesin, että Googlen lomaketyökalulla homma olisi ollut paketissa puolessa tunnissa, mutta uuden työkalun vuoksi varasin kalenterista kaksi tuntia. Kilpailevaan vaihtoehtoon verrattuna nelinkertainenkaan aika ei ollut tarpeeksi. Nyt kun olen juossut rumban läpi kertaalleen, tekisin tentin jo nopeammin, mutta työkalu oli kyllä harmillisen puolivillainen ja sekava eikä sen käyttäminen vieläkään kivaa ole.

Jos ennustus sallitaan, sähköinen tentti ei yleisty ollenkaan ellei työkaluiksi valikoidu selvästi näppärämpiä vaihtoehtoja. SoftTutorissa on varmastikin iso osa toiminnallisuudesta oikein (ei tosin läheskään kaikki), mutta käytettävyys on niin puolivälissä että ei houkuttele käyttämään. Tähän liittyen hyvä uutinen on, että Turun AMK on ottamassa muita tenttialustoja käyttöön ja niissä tämän puutteita toivottavasti on paikattu.

Puutteita on harmillisen paljon. Tässä muutama eniten mieleen jäänyt:

  1. Järjestelmää ei ole integroitu käyttäjähallintaan, vaan tänne pitää erikseen hakea tunnukset, joiden saaminen kesti noin viikon. Ei sovi siis nopeaan tarpeeseen. Enkä haluaisi enää lisää käyttäjätunnuksia ja salasanoja hankaloittamaan työntekoa.
  2. Kysymysten tekeminen on työlästä ja vaatii tarpeettoman suuren määrän klikkailua. Kun tätä vertaa ajantasaisen lomake-editorin kanssa touhuamiseen, alkaa alahuuli nykiä.
  3. Järjestelmästä puuttuu yksinkertaisetkin validoinnit kokonaan: laitoin tentin aukeamaan 26.10. ja sulkeutumaan parin viikon päästä. Syötin vahingossa päivämäärän väärin, 10.10. vaikka piti olla 10.11. Järjestelmä ei maininnut tästä mitään, vaan hyväksyi mukisematta että tentti sulkeutuu pari viikkoa ennen avautumistaan. Huomasin vasta kun ensimmäinen opiskelija laittoi sähköpostia että tenttiin ei pysty ilmoittautumaan.
  4. Tenteille on ilmoittautumisen yhteydessä säädety sallitut aloitusajankohdat, joita on oudosti 9:00, 9:30, 12:00, 14:00 ja 15:00. Tämä tuntuu oudolta enkä keksi sille ensimmäistäkään perustetta. Miksi tenttiä ei ole mahdollista aloittaa yhdeltätoista? Iltaisin olisi hyvä hetki tehdä tentti päivän päätteeksi, mutta järjestelmä kieltää kolmen jälkeen aloittamisen. Kummallinen ajatusmaailma.
  5. En ole löytänyt mitään konstia listata tenttivastauksia koostetusti. Jos haluan kaikki vastaukset tiettyyn kysymykseen ruudulleni kerralla, jotta voisin silmäillä vastausten tasoa ja pisteyttää kaikki samalla kerralla (anonyymisti, ilman pärstäkerroinefektiä), ei tämä työkalu tunnu taipuvan siihen. Tentit tarkistetaan kuten paperitentitkin.
  6. Vertaisarvioinnille ei ole ymmärtääkseni mitään tukea. Tämä on sääli, koska koneella tehtävän tentin yksi selvä vahvuus on nimenomaan helppo anonymisointi ja tietojen käsittely.
  7. Järjestelmän toimintalogiikka on hyvin omituinen. Olen luonut yhden kurssin ja sinne tenttikysymyksiä. Kun haluan tehdä uuden kysymyksen, minun pitää silti valita yhdestä isosta listasta, missä on siis kaikki järjestelmässä olevat kurssit, oma kurssini, etten laita sorvaamiseen liittyvää kysymystäni esimerkiksi kursseille svenska i arbetslivet tai psyykkisesti sairastuneen toimintamahdollisuuksien arviointi ja edistäminen. Voisi edes ehdottaa oletuksena sitä ainoaa kurssia, jonka olen tehnyt ja johon olen samana päivänä tehnyt tusinan verran kysymyksiä.
  8. Opiskelijoille lähtevä sähköposti tentin palauttamisen jälkeen ei sisällä mitään relevanttia tietoa, ellei opettaja erikseen käsin kirjoita jokaiseen viestiin arvosanaa. Tämä on hellyyttävällä tavalla omituista, koska a) tehtävät on juuri arvioitu minuutti sitten ja b) tehtäväkohtaiset pisteet olisivat opiskelijalle oikein relevanttia tietoa.
  9. Tentin tekemisen yhteydessä voi tehdä itsearvioinnin tenttiin. Tämä sinänsä on hyvä ominaisuus, mutta itsearviointikentässä jostain syystä lukee ”älä käytä tätä!”.
  10. Tenttien tarkistaminen vaatii ihan liikaa klikkailua edes takaisin. Hyötysuhde on ainakin minun tentissäni todella huono, koska vastaukset ovat verrattain lyhyitä ja ne tarkistaa nopeasti. Ajasta arviolta puolet menee valikoissa hyppimiseen ja nappien paineluun.
  11. Tenttiin ilmoittautuminen on viheliäistä.  Opiskelijoiden omat käyttäjätunnukset eivät ole voimassa, eikä hyödynnetä mitenkään sitä tietoa että opiskelijat ovat jo ilmoittautuneet käymilleen opintojaksoille. Opiskelija etsii tässä oikean koulutusohjelman alta oikean kurssin ja sen alta oikean tentin, jonka jälkeen syöttää omat tietonsa ja valitsee ajankohdan. Tästä on alla kuvakaappaus. Tietojen syöttäminen on täysin turhaa jos käyttäjäintegrointi olisi tehty, koska opiskelijan tiedot ovat jo tallessa hänen käyttäjätunnuksensa takana. Enkä minä edes tarvitse heidän puhelinnumeroitaan mihinkään tentin yhteydessä, turhaan tämä sellaisia vaatii. Ajankohdan valitseminen on täysin järkyttävä. Ei mitään vapaa/varattu-kalenteria tai aikajananäkymää, vaan tekstikenttä, johon aika syötetään, jonka lisäksi pitää itse vahtia HUOM!-kentän tietoja ja alareunan suljettu-tietoja. No documents found tarkoittaa ilmeisesti sitä, että tälle päivälle ei ole merkattu muita tenttijöitä eli tila on vapaa. Jos valitsee päivän, jossa on muita ilmoittautumisia, no documents found häviää ja tilalla on hyvin sekava esitys siitä, milloin tila on varattu (muun muassa tentille varattu aika 15 desimaalin tarkkuudella). Tämä olisi kovin helppo tehdä radikaalisti paremmaksi.
etentti
Ilmoittautumislomake on karmea ja sekava.

Sähköinen tentti on monella tavalla hyvä juttu. Tämä kokeilu kannatti ehdottomasti tehdä. Olen iloinen, että meillä on pohdittu asiaa ja nähty järjestelmien pystyttämisessä ja toimintatapojen testaamisessa vaivaa. Valitettavasti valittu työkalu on käytettävyydeltään lähempänä harrastelijatasoa kuin oikeaan käyttöön rahalla hankittua tuotantojärjestelmää. Järjestelmää ei taida kukaan enää ottaa tosissaan, kun edes sen valmistajan tai edustajan sivuja ei löydy oikein millään. Työkalun alapalkissa on linkki bytealive.comiin, mutta siellä ei ole mitään. Sordino.fi sentään näyttää logon, mutta mitään tietoja sieltäkään ei saa irti. Työkalun tietoja-linkistä paljastuu päivityshistoria: edellisen kerran versiopäivityksiä on tehty 2009 alkuvuodesta, joten kovin kunnianhimoisen viilauksen alla tämä ei enää taida olla. Ja sen huomaa.

Turussa tehty Ville on kiinnostava alusta. Aion tutustua seuraavaksi siihen. SoftTutorilla tekeminen saa ehkä nyt jäädä, koska tuntuu että se tuo kovin vähän mitään sellaista mitä tarvitsen (vertaisarviointi, vastausten helppo koostaminen tai vieminen muualle arvioitavaksi) ja on viheliäinen käyttää. Ainoa hyvyys järjestelmässä on se, että koululla on sitä varten omat koneensa, joista on rajoitettu liikenne ulospäin. Jos tätä ei tarvita, siirryn laulaen Google formsin pariin. Se on radikaalisti parempi työkalu niihin tarpeisiin, mitä minulla on.

edit 2.12. lisäsin yllä olevaan listaukseen kohdat 8–10.

Tietoa kirjoittajasta

Sakari Koivunen

Nörtti sekä robottiautomaation että tietojärjestelmien suunnalta katsottuna.

One thought on “Sähköinen tentti”

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out / Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out / Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out / Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out / Muuta )

Muodostetaan yhteyttä palveluun %s