Hoe creëer je een goede toets?

Hoe creëer je een goede toets?

Vijf instinkers om in het achterhoofd te houden

Er wordt op grote schaal getoetst: in het bekostigd en privaat onderwijs, binnen bedrijfsopleidingen, door exameninstituten en door beroepsverenigingen. Maar gebeurt dat ook altijd goed? Wie kent niet het nare gevoel dat je na afloop van een examen kan bekruipen. Veel gehoorde opmerkingen ‘Er werd gevraagd naar onzinnige details’ of ‘Het was onduidelijk wat met sommige vragen bedoeld werd’. In een valkuil is zo gestapt. In deze blog belichten we vijf instinkers als het gaat over de ontwikkeling van toetsen. Hou ze in gedachten en creëer een goede toets!

1. De toets is te kort;
2. De toets gaat over ‘randzaken’;
3. Er is discussie over het antwoord;
4. De puntentelling is oneerlijk of onvoldoende duidelijk;
5. De toets bevat te veel tekst.

De toets is te kort

Als een toets (te) kort is, kun je niet goed (genoeg) demonstreren welke kennis en inzichten je hebt. De score die je haalt bij een te korte toets kan bovendien op toeval berusten. Krijg je toevallig vragen over het deel dat je goed beheerst, heb je een mooi resultaat. Maar het kan evengoed andersom uitpakken. Daarmee is de betrouwbaarheid van een te korte toets laag. Bovendien is een te korte toets meestal ook niet valide. Op basis van een te klein aantal vragen kun je immers niet zien in welke mate iemand daadwerkelijk de stof beheerst omdat je simpelweg niet meet wat je beoogt te meten.

De omvang van een toets hangt sterk af van de gebruikte vraagsoorten, het doel van de toets (formatief of summatief), de waarde die aan de toets wordt gehecht, de omvang van de leerstof én de beschikbare examentijd. Over het algemeen geldt hoe meer vragen hoe betrouwbaarder de toets.

De toets gaat over randzaken

Wat wordt nu eigenlijk gevraagd en waarom past de ene vraag wel in de toets en de andere niet? Kijk daarvoor altijd naar de leerdoelen die ten grondslag liggen aan de toets en stel vragen over de kern van die leerdoelen. Als je bijvoorbeeld wilt toetsen of kandidaten inzicht hebben in de verschillende fasen die worden doorlopen bij het bouwen van een huis, heeft het geen zin om een vraag te stellen over de eigenschappen van tropisch hardhout. Of erger nog: vragen naar wanneer tropisch hardhout voor het eerst in de bouw werd gebruikt.

Hoe voorkom je dergelijke ‘of topic’ vragen?  Laat toetsvragen vaststellen door een andere vakexpert dan de toetsontwikkelaar. Deze vaststeller bekijkt de vragen met een frisse blik en is daardoor goed  in staat de irrelevante vragen eruit te filteren.

Er is discussie over het antwoord

Een vraag kan nog zo pakkend of goed zijn, maar er is iets mis als er onder deskundigen discussie is over het juiste antwoord. Voer hierop altijd een check uit:

• Is de vraag specifiek genoeg? Als de vraag te breed gesteld is, is het niet duidelijk op welk antwoord wordt gedoeld. Vaak zijn er dan meerdere antwoorden juist.
• Is er in de praktijk overeenstemming over te bevragen normen? Bij vragen over zaken die in de branche nog niet zijn uitgekristalliseerd, kan er onenigheid ontstaan over wat een goed of slecht antwoord is. In toetsen levert dat problemen op. Bijvoorbeeld: een vraag over hoe een mediator moet handelen in een bepaalde situatie. Zolang het niet tegen de beroepscode is, is een handelswijze niet meteen fout.
• Is een vraag ondubbelzinnig? Of interpreteren verschillende (ervaren) mensen de vraag anders?

Ook voor deze instinker geldt: vaststelling door één of meer vakexperts is noodzakelijk om discussie na afname te voorkomen.

De puntentelling is oneerlijk of onvoldoende duidelijk

Je ziet soms mooie examenopdrachten, die de kern van het leerdoel of zelfs van het vak raken en waar van kandidaat meerdere antwoorden worden verwacht. Hoe ga je in zo’n geval om met de puntentelling? Stel er moeten tien zaken worden ingevuld, krijg je dan tien punten? Dat is wel zo eerlijk, maar dan weegt dit onderdeel relatief zwaar. En wat als je drie punten toekent, wanneer krijg je dan één, twee of drie punten?

Of: Je kunt voor iedere vraag tien punten krijgen, ook als er maar één antwoord moet worden gegeven. Dit kan vervolgens leiden tot verschillen in puntentoekenning tussen beoordelaars omdat eenieder vanuit zijn eigen perspectief handelt.

Kort gezegd, door ruimte te laten in het antwoordmodel verloopt de beoordeling vaak niet helemaal zuiver. Leg in het antwoordmodel dan ook vast voor welk antwoord hoeveel punten worden toegekend. Door duidelijke richtlijnen hou je de puntentoekenning zo objectief en eerlijk mogelijk.

De toets bevat te veel tekst

De toetsontwikkelaar gaat er, soms ten onrechte, van uit dat kandidaten ‘gewoon goed moeten lezen’. Pas ervoor op dat je geen leesvaardigheid toetst, dat is doorgaans geen leerdoel. Stel de vragen in zo eenvoudig mogelijke taal. Gebruik geen verhalende casussen om de toets leuker te maken. Een toets hoeft niet leuk te zijn. Controleer een vraag dan ook altijd op overbodige informatie.

Conclusie

Hou deze vijf veel voorkomende instinkers in je achterhoofd bij het ontwikkelen van jouw toets. Er komt echter nog veel meer kijken bij het samenstellen van een kwalitatief goede toets. Wil je meer weten over dit onderwerp of over de kwaliteit van toetsen in het algemeen, ga dan naar onze downloads-pagina.