Ellipse

Hoe beoordeel je open vragen objectief?

Een algemeen oordeel over open vragen is dat de beoordeling daarvan subjectief en bewerkelijk is. Waarom zou je deze dan toch gebruiken? Hoe beoordeel je open vragen objectief? En hoe zorg je ervoor dat je beoordeling zo efficiënt mogelijk verloopt? In deze blog lees je wanneer een open vraag toegevoegde waarde heeft en krijg je tips om veel gemaakte fouten bij de beoordeling van open vragen te voorkomen. 

Inhoud

Wanneer gebruik je open vragen?

Met open vragen bedoelen we vragen waarbij de kandidaat zelf het antwoord moet formuleren. Gesloten vragen zijn vragen waarbij de kandidaat het juiste antwoord of een combinatie van antwoorden uit een aantal opties kiest.

Waarom zou je open vragen willen gebruiken, als je ook kunt toetsen met gesloten vragen? Als dat inderdaad net zo goed kan, is toetsing met gesloten vragen aan te bevelen. Dat heeft namelijk een aantal voordelen, zoals het gemak van automatische correctie bij het gebruik van digitale toetssoftware of het objectief beoordelen (een antwoord is goed of fout).

Toch kan het nodig zijn om open vragen te gebruiken. Denk aan situaties als:

  1. De kandidaat wordt getoetst op actieve kennis en op het actief toepassen daarvan. Er is dan vaak sprake van een situatie waarin de kandidaat creatief moet zijn en zelf het antwoord moet bedenken/formuleren.
  2. De analyse of de onderbouwing is net zo belangrijk of belangrijker dan het uiteindelijke antwoord. Dat is bijvoorbeeld het geval bij het geven van een berekening.
  3. Wanneer een gesloten vraag al snel een ‘open deur’ vraag wordt. Als het antwoord wordt gegeven, is al snel duidelijk dat dat het goede is. Dat betekent ook dat er moeilijk plausibele alternatieve (foute) antwoorden kunnen worden bedacht.
  4. Meerdere antwoorden kunnen juist zijn en het is onmogelijk om alle juiste antwoorden te geven. Zou in dat geval toch gesloten worden getoetst, dan kom je juist in de problemen met de objectiviteit van de vraag.
  5. Er zijn geen vaste standaarden of duidelijke normen binnen een bepaalde branche. Bijvoorbeeld: hoe je precies een verkoopgesprek of een gesprek als leidinggevende moet voeren. Sommige antwoorden zijn beter dan andere, maar niet meteen fout. Dit is lastig te meten in een gesloten vraag.

Efficiënt beoordelen van open vragen

De beoordeling van open vragen loopt efficiënt middels digitale toetsing. Daarbij is het namelijk niet nodig examenwerken te verspreiden. Een beoordelaar ontvangt een mail over wanneer welk examenwerk voor hem klaar staat. Hij hoeft niet te bladeren en slaat niet per ongeluk vragen over, want het systeem zorgt er voor dat de vragen opeenvolgend worden gepresenteerd. Op overzichtelijke wijze staan vraag en antwoord bij elkaar, waardoor de kans op fouten klein is. Daarnaast gaat er geen tijd verloren als er een tweede beoordelaar wordt ingezet. Onmiddellijk na het afronden van de eerste beoordeling, kan deze tweede beoordelaar een mail ontvangen met de melding dat er een examenwerk voor hem klaar staat.

Open vragen objectief beoordelen – tips

Hoe beoordeel je open vragen objectief? Lees de onderstaande (deel)tips:

Tip 1 – Wees zo specifiek mogelijk in de vraagstelling

  • Stel alleen open vragen, die zowel goed als fout beantwoord kunnen worden. De oplossing zit vaak in een open vraag zo specifiek maken dat alleen iemand die ervoor heeft geleerd of ervaren is, de vraag kan beantwoorden. Dus niet vragen naar algemene kennis.

Tip 2 – Formuleer de voorbeeldantwoorden niet te strak

  • Houd het voorbeeldantwoord beperkt. Schrijf er alleen in wat per se genoemd moet worden en niet wat het meest perfecte antwoord is. Verder: als je het idee hebt dat er allerlei formuleringen zijn die ook goed zijn, zet dat er dan bij.
    Bijvoorbeeld: ‘Andere formuleringen met dezelfde strekking worden ook goed gerekend.’
  • Als je het idee hebt dat er naast de geformuleerde antwoorden andere antwoorden kunnen worden genoemd die niet fout zijn, zet dat er dan bij. Dat kan het geval zijn bij meer creatieve oplossingen waarbij er niet één, maar meerdere wegen naar Rome leiden. Bijvoorbeeld: ‘Andere antwoorden ter beoordeling aan de corrector’.
  • Geef beoordelaars de mogelijkheid om correctoropmerkingen te plaatsen. In digitale toetsing is dat vaak mogelijk. De beoordelaar kan dan aan de hand van de antwoorden van de kandidaat aangeven dat hij heeft gezien dat het voorbeeldantwoord uitgebreid moet worden met extra, aanvullende antwoorden.

Tip 3 – Werk met positieve beoordelingen

  • Geef aan waar je punten voor krijgt in plaats van waar je puntenaftrek voor krijgt. Door (bij digitale toetsing) met beoordelingsaspecten te werken, kun je dat zeer precies aangeven én kun je laten scoren per aspect. Bij beoordelingsaspecten geef je een korte typering van een deelantwoord met een puntentoekenning.Bijvoorbeeld:
    • Typering deelantwoord 1 – 1 punt
    • Typering deelantwoord 2 – 1 punt
    • Typering deelantwoord 3 – 1 punt
      Totaal aantal punten: 3

Tip 4 – Zorg voor overzicht en structuur

  • Maak gebruik van duidelijke beoordelingsaspecten (zie ook tip 3) om verwarring bij beoordelaars te voorkomen.
  • Stel niet meer dan twee ‘deelvragen’ in één vraag. Of, als je dat wel doet, werk dan met a., b. en c. vragen. De kandidaat én de beoordelaar weten dan hoeveel antwoorden er eigenlijk moeten worden gegeven. Of: stel gewoon meer vragen over dit onderwerp.

Tip 5 – Voorkom overlap in het antwoordmodel

  • Kijk kritisch naar de ‘voorbeeldantwoorden’ en vraag niet te veel. Overlappen deze elkaar? Stel dan het aantal te geven antwoorden naar beneden toe bij. Bijvoorbeeld: Als er drie redenen zijn, waarbij er twee elkaar overlappen, vraag dan naar twee en niet naar drie redenen. Zet dan wel de drie redenen in het antwoordmodel.
  • Gebruik beoordelingsaspecten. Verder kan het ook helpen om aan te geven wat niet goed mag worden gerekend.

Tip 6 – Wees alert op het HORN en HALO effect

  • Bij het HORN effect weegt het totaaloordeel over een kandidaat negatief mee bij het scoren. Bij een HALO effect is dit juist positief. Gevolg: de beoordelaar geeft te veel of te weinig punten.
  • Gebruik gesegmenteerde beoordeling. Bij gesegmenteerde beoordeling kijkt een beoordelaar eerst alle vragen ‘1’ na en daarna alle vragen ‘2’ na, enzovoort. Het totaaloverzicht van hoe een kandidaat ‘het doet’ ontbreekt dan.
  • Zorg dat de eindscore van een kandidaat (bij digitale toetsing) niet zichtbaar wordt. Wanneer een beoordelaar ziet dat hij met een puntje meer wellicht net op een voldoende uitkomt, kan hij in de verleiding komen om er ergens nog een puntje bij te zetten. Aangezien het doel is om een oordeel per vraag te geven (en niet over de eindscore), is het beter de totaalscore verborgen te houden.

Tot slot

Een algemene opmerking om de beoordeling van open vragen te verbeteren is regelmatig overleg met de beoordelaars. Wat valt hen op? Wat valt jou op? Geef, naar aanleiding van klachten en bezwaren, voorbeelden van beoordelingsfouten en bespreek samen hoe deze te voorkomen.

Conclusie

Er zijn goede redenen om open vragen te stellen en, ondanks de nadelen, zijn er (zeker met digitale toetsing) talloze maatregelen die je kunt nemen om ervoor te zorgen dat open vragen efficiënt en objectief kunnen worden beoordeeld. Het blijft natuurlijk mensenwerk, maar is dat niet ook wat we willen? Je mening geven of meer weten? Neem dan contact met ons op.
 

Decor

Meer weten hoe je open vragen objectief beoordeelt?

Neem dan contact met ons op via 013 – 528 63 63 of stuur een email naar info@citrusandriessen.nl.