Ellipse

Grenzwert

Der Grenzwert in der Prüfungsbewertung

Mehr als nur eine Frage des Bestehens oder Nichtbestehens

 

Bestehen Sie eine Prüfung automatisch, wenn Sie mehr als 50 % der Fragen richtig beantworten? Nein! Tatsächlich hängt das Bestehen oder Nichtbestehen einer Prüfung von der festgelegten Mindestpunktzahl ab, die für die jeweilige Prüfung gilt. Die Mindestpunktzahl bildet dabei die Grenze zwischen bestanden und nicht bestanden und stellt damit den Grenzwert dar.

Der Grenzwert (auch Schwellenwert oder Testtrennwert, engl. cut-off score) sollte sorgfältig festgelegt werden, denn er bestimmt nicht nur darüber, wann Prüfungsteilnehmende mit welcher Punktzahl bestehen oder durch die Prüfung fallen. Vielmehr kann er ein wertvolles Instrument in der Ausgestaltung der Prüfung sein. Welche Aspekte dabei besonders relevant sind, soll hier diskutiert werden.

Es wird zwischen einem absoluten und einem relativen Grenzwert unterschieden. Der absolute Grenzwert wird durch eine Mindestpunktzahl bestimmt, die im Voraus festgelegt wird. Dieser Grenzwert ist fix und damit unabhängig von dem Gesamtergebnis aller Prüfungsteilnehmenden. Der im Nachhinein ermittelte Grenzwert ist der relative Grenzwert. Beim relativen Grenzwert werden die tatsächlich gezeigten Prüfungsergebnisse der Gruppe berücksichtigt. Der relative Grenzwert ist notwendig, da häufig nicht im Vorfeld einzuschätzen ist, wie die Gesamtteilnehmenden eines Tests “abschneiden” werden, z. B. bei einem inhaltlich neuen Kurs, einer neuen erstmalig durchgeführten Testform oder sehr divergierenden Wissensständen paralleler Gruppen. Der relative Grenzwert wird nur unter bestimmten Voraussetzungen eingesetzt, der absolute Grenzwert ist der am häufigsten verwendete Wert.

Der Grenzwert wird von verschiedenen Prüfungsfaktoren beeinflusst:

  1. Der Ratewahrscheinlichkeit in Prüfungen bei geschlossenen Fragen
  2. Dem Schwierigkeitsgrad der Fragen in der Prüfung
  3. Der Relevanz der Prüfung
  4. Der erwarteten Bestehensquote

1. Die Ratewahrscheinlichkeit in Prüfungen mit geschlossenen Fragen

Soll der Grenzwert für eine Prüfung mit geschlossenen Fragen festgelegt werden, muss dabei die Ratewahrscheinlichkeit berücksichtigt werden. Da bei Prüfungen mit geschlossenen Fragen immer eine gewisse Wahrscheinlichkeit besteht, dass ein/ eine Prüfungsteilnehmer*in die richtige Antwort errät, muss die Mindestpunktzahl entsprechend erhöht werden, um ggf. richtig geratene Fragen aus der Wertung herauszurechnen. Die Größe der Ratewahrscheinlichkeit hängt von der Anzahl der Antwortmöglichkeiten ab.

Ein Beispiel soll das Vorgehen verdeutlichen:

In einer Prüfung mit 60 Fragen gibt es pro Frage 4 Antwortmöglichkeiten; pro Frage kann 1 Punkt erreicht werden. Ohne die Berücksichtigung der Ratewahrscheinlichkeit würde im Normalfall davon ausgegangen werden, dass 55% richtig beantwortete Fragen zum Bestehen der Prüfung führen. Das entspricht 33 Mindestpunkten. Es empfiehlt sich jedoch die Ratewahrscheinlichkeit zu berücksichtigen. Sie liegt in unserem Beispiel bei 25% (1 zu 4). Es wird also davon ausgegangen, dass ein/ eine Prüfungsteilnehmer*in allein durch Raten 15 Punkte (25% von 60 möglichen Punkten) erreichen kann. Zur Berechnung der tatsächlichen Mindestpunktzahl bzw. des tatsächlichen Grenzwerts wird die Summe aus der durch Raten erreichten Punkte und dem Grenzwert nach Abzug der erratbaren Punkte gebildet:

  • Durch Raten erreichbare Punkte: 15 Punkte
  • Der Grenzwert nach Abzug der erratbaren Punkte: 60 – 15 = 45 Punkte; 55% von 45 Punkten: 24,75 Punkte
  • Tatsächlicher Grenzwert: 15 + 24,75 = 39,75 Punkte

Statt 33 Punkten sollte die Mindestpunktzahl bei 39,75 Punkten liegen. Das entsprich einem Grenzwert von 66,25%.

2. Der Schwierigkeitsgrad der Fragen in der Prüfung

Die Punktzahl, mit der Prüfungsteilnehmende eine Prüfung bestehen, darf nicht willkürlich festgelegt werden, sondern sollte mit empirischen Daten untermauert sein. Ein weiterer Ansatz, um den Grenzwert zu bestimmen, ist, den Schwierigkeitsgrad der Fragen zu bestimmen. Der am weitesten verbreitete Ansatz zur Festlegung von Standards in der Testentwicklung ist die Methode von Angoff, die auch im Hinblick auf den Schwierigkeitsgrad von Fragen angewendet werden kann. Bei dieser Methode werden Fachexperten (engl. subject-matter experts, SMEs) herangezogen, die den Inhalt einer jeden Frage untersuchen und einschätzen, wie viele minimal-qualifizierte Prüfungsteilnehmende die jeweilige Frage korrekt beantworten würden. Die Einschätzung wird in einem Prozentwert abgegeben. Am Ende wird der Durchschnitt aus der Summe der Prozentsätze gebildet, dieser entspricht dann dem Grenzwert in Prozent, z.B. 60%. Umgerechnet auf die entsprechende Gesamtpunktzahl lässt sich so die erforderliche Mindestpunktzahl für das Bestehen der Prüfung ermitteln.

Die Anwendung einer Methode wie der von Angoff gewährleistet, dass der Grenzwert und damit das Bestehen oder Nichtbestehen einer Prüfung empirisch belegt ist. Dies ist notwendig, damit Prüfungen zum einen juristisch nicht anfechtbar sind und zum anderen den gängigen Prüfungsstandards entsprechen. Weitere Methoden, die häufig bei der Prüfungserstellung angewendet werden, sind die Methoden nach Ebel, Nedelsky und Bookmark.

3. Relevanz der Prüfung

Nicht alle Prüfungen haben die gleiche Bedeutung oder Gewichtigkeit, sodass es sinnvoll und hilfreich sein kann, den Grenzwert nach oben oder unten anzupassen. Abschlussprüfungen, Zertifikate oder Prüfungen in Bereichen, die ein hohes Schadensrisiko bergen, werden immer einen höheren Grenzwert zugewiesen bekommen als der regulär übliche Grenzwert von 55%. Damit soll gewährleistet werden, dass das vermittelte Wissen auch tatsächlich möglichst vollständig beherrscht wird. Anders kann es jedoch bei Teil-Prüfungen sein, die anteilig in eine Endnote einfließen. Hier kann es durchaus sinnvoll sein, den Grenzwert von bestimmten Teil-Prüfungen zu senken. Zum einen kann sich dies auf die Überprüfung bestimmter Lernfelder beziehen, die gegebenenfalls für die Endnote bzw. die durch die Prüfung erworbene Qualifikation nicht so relevant sind. Zum anderen kann sich dies auf mehrere benotete Zwischenprüfungen oder kleinere Tests beziehen, die nur zu einem geringen Anteil in der Endnote berücksichtigt werden. Wird der Grenzwert einiger Teil-Prüfungen herabgesetzt, werden diese Prüfungen in ihrer Relevanz reduziert – dadurch werden die anderen Teil-Prüfungen jedoch aufgewertet und es kann insgesamt ein klareres Bild über die Qualifikationen der Prüfungsteilnehmenden gegeben werden.

4. Erwartete Bestehensquote

Der Grenzwert kann auch auf der Grundlage einer erwarteten Bestehensquote angepasst werden. Er bezieht sich dann auf den Vergleich der Noten innerhalb der Gruppe der Prüfungsteilnehmenden. Dies kann entweder im Vorfeld oder im Nachhinein geschehen. Angestrebt wird hierbei eine Normalverteilung der Noten. Es gilt zu überprüfen, ob die Zielgruppe der Prüfungsteilnehmenden gegebenenfalls über- bzw. unterqualifiziert ist/war für eine Teilnahme an der Prüfung. Ebenso kann es vor allem bei neu erstellten Prüfungen sinnvoll sein, diese auf Basis der Prüfungsergebnisse genauer analysieren zu lassen. Damit kann sichergestellt werden, dass die Qualität der Fragen sowie die Gewichtung entsprechend der Lernfelder gegeben ist. Hier kann eine Assessment-Plattform Unterstützung liefern.

Grenzwert – Schlussfolgerung

Die Festlegung eines Grenzwerts für eine Prüfung sollte nicht leichtfertig oder willkürlich erfolgen. Der festgelegte Grenzwert entscheidet über das Bestehen oder Nichtbestehen einer Prüfung und kann damit weitreichende Konsequenzen für die Prüfungsteilnehmenden haben. Zudem kann er eine juristische Angriffsfläche bieten, wenn die Basis nicht empirisch belegt werden kann. Richtig eingesetzt, kann der Grenzwert als wertvolles Instrument verstanden werden, um das Qualifikations-Profil eines Zertifikats oder Abschlusses zu schärfen, oder ein Warnsignal sein, dass Prüfung und Prüfungsteilnehmende nicht zusammenpassen oder die Prüfung nicht korrekt aufgesetzt wurde.

Sind Sie an (digitalen) Prüfungen, Entwicklungen und/oder den neuesten Nachrichten in diesem Bereich interessiert? Melden Sie sich unverbindlich für unseren Newsletter an! Und folgen Sie Optimum Assessment auf LinkedIn:

Oder hinterlassen Sie eine Nachricht

  • This field is for validation purposes and should be left unchanged.