Bundesinstitut für Berufsbildung
Empfehlung
des Hauptausschusses des Bundesinstituts für Berufsbildung
vom 20. Juni 2023 für die
„Erstellung schriftlich zu bearbeitender, gebundener Prüfungsaufgaben“
Präambel
Durch Prüfungen in der Beruflichen Bildung wird festgestellt, ob Absolventinnen und Absolventen von Aus- oder Fortbildungen die berufliche Handlungsfähigkeit erworben haben. Dies erfolgt über ein Zusammenspiel verschiedener Prüfungsinstrumente, die berufs- bzw. abschlussbezogen in Aus- und Fortbildungsverordnungen definiert werden. Derzeit sind in den Prüfungen aller Ausbildungsberufe sowie im Bereich der beruflichen Fortbildung Aufgaben schriftlich zu bearbeiten. Gemäß der HA-Empfehlung 158 zur Gestaltung von Prüfungsanforderungen in Ausbildungsordnungen sollen über dieses Instrument „fachliches Wissen, Verständnis für Hintergründe und Zusammenhänge und/oder methodisches Vorgehen und Lösungswege“ erfasst und bewertet werden. Diese Zielsetzung gilt unabhängig vom jeweiligen Aufgabenformat (vergleiche Begriffserläuterung in Nummer 1). Die Erstellerinnen und Ersteller von Prüfungsaufgaben müssen nach Ermessen entscheiden, in welchem Umfang in einer Prüfung gebundene oder ungebundene Aufgaben eingesetzt werden, sofern in der jeweiligen Verordnung keine Vorgaben bestehen, die den Umfang festlegen.
Die vorliegenden Empfehlungen konzentrieren sich auf das Format der gebundenen Prüfungsaufgaben und richten sich an diejenigen, die Prüfungsaufgaben erstellen. Das sind Mitglieder regionaler Prüfungsausschüsse sowie Personen, die in überregionalen Gremien zur Aufgabenerstellung (z. B. Fachausschüsse bei zentralen Aufgabenerstellungseinrichtungen der IHK-Organisation) aktiv sind.
- 1.
-
BegriffsverständnisSchriftlich zu bearbeitende Prüfungsaufgaben können aus Sicht der Prüfungspraxis in zwei Formate unterschieden werden, zum einen
- a)
-
in Aufgaben oder Fragen, deren Ergebnis bzw. Antwort bereits festgelegt ist und den Prüfungsteilnehmenden beispielsweise zur Auswahl vorgegeben ist (auch als „Antwort-Wahl-Aufgaben“ oder umgangssprachlich „Multiple Choice-Fragen“ bekannt), und zum anderen
- b)
-
Aufgaben, bei denen ein Ergebnis oder die Antwort auf eine Frage frei zu formulieren ist (offene Fragen, Freitextaufgaben).
Im Folgenden werden Aufgaben gemäß Buchstabe a als gebundene und gemäß Buchstabe b als ungebundene Aufgaben bezeichnet.Für alle schriftlich zu bearbeitenden Prüfungsaufgaben gilt, dass ein besonderes Augenmerk auf klare Struktur und Verständlichkeit zu richten ist sowie, dass entsprechende Leitfäden zur sprachsensiblen Gestaltung von Prüfungsaufgaben bei der Erstellung zu berücksichtigen sind. - 2.
-
Unterschiedliche Typen gebundener AufgabenAufgaben mit gebundenen Antworten werden in mehrere Aufgabenvarianten unterschieden und eingesetzt:Alternativaufgabe:Bei Alternativaufgaben, auch Richtig-Falsch-Aufgaben genannt, ist zwischen zwei Antwortmöglichkeiten zu entscheiden. Dies kann z. B. die Korrektheit einer aufgeführten Aussage in der Form „richtig/falsch“, „ja/nein“ oder „trifft zu/trifft nicht zu“ betreffen oder von den Beantwortenden eine Entscheidung über zwei inhaltlich gleich attraktive Lösungsmöglichkeiten erfordern.Mehrfachwahlaufgabe:Bei dieser Aufgabenvariante muss aus mehreren Antwortvorschlägen die richtige Lösung („single Choice“)/die richtigen Lösungen („multiple Choice“) ausgewählt werden. Um den Ratefaktor gering zu halten, wird häufig empfohlen, neben der richtigen Antwort/den richtigen Antworten eine bestimmte Anzahl an Distraktoren (falsche Antworten) anzubieten, die nicht sofort als solche identifizierbar sein dürfen. Möglich sind auch mehrere richtige Antworten auf die Fragestellung (Mehrfachantwort-Aufgaben), wobei die Anzahl der Lösungsmöglichkeiten wahlweise bekannt gegeben werden kann.Zuordnungsaufgabe:Bei Zuordnungsaufgaben werden zwei Reihen von Elementen (z. B. Begriffe, Abbildungen) einander gegenübergestellt, die zueinander in Beziehung gesetzt werden müssen. Dabei können die beiden Reihen die gleiche Anzahl an Elementen enthalten oder eine Reihe kann mehr oder auch weniger Elemente enthalten. Durch letztere Vorgehensweise kann sichergestellt werden, dass die letzte Zuordnung nicht automatisch erfolgt.Reihenfolgeaufgabe:Bei Reihenfolgeaufgaben sollen die Prüflinge ungeordnet vorgegebene Elemente in eine bestimmte Reihenfolge bringen, deren Kriterien in der Aufgabenstellung vorgegeben sind. Dies kann beispielsweise eine zeitliche Struktur in Form von Prozessschritten sein oder ein sachlogischer Zusammenhang. Bei diesem Aufgabentyp sind alle Daten für die Lösung relevant, es gibt keine Distraktoren.Kurzantwortaufgaben:In das Begriffsverständnis dieser HA-Empfehlung werden auch Kurzantwortaufgaben einbezogen, die eine Zahl, ein Datum oder einen einzelnen, eindeutig feststehenden Begriff verlangen und automatisiert ausgewertet werden können; Antworten in Form von ganzen Sätzen oder ausführlicheren Erläuterungen werden hier nicht unter Kurzantwortaufgaben verstanden. Bei Kurzantwortaufgaben muss die Lösung, im Gegensatz zu Aufgaben mit gebundenen Antworten, frei aus dem Gedächtnis reproduziert bzw. berechnet und niedergeschrieben werden.Die Wahl geeigneter Aufgabentypen zur Entwicklung eines Aufgabensatzes wird insbesondere durch die festzustellende Kompetenz basierend auf den jeweiligen Prüfungsanforderungen bestimmt, auf die Aufgabenerstellende mit dieser Prüfungsaufgabe abzielen. Je nach Ausgestaltung der Aufgabe können unterschiedlich komplexe kognitive Vorgänge geprüft werden, wie z. B. die Anwendung von Wissen bei Berechnungen oder Analysefähigkeiten. Die Kombination unterschiedlicher Aufgabentypen innerhalb einer Aufgabenstellung kann ihren Anforderungsgrad zusätzlich beeinflussen. Nicht zuletzt hat auch die Einbettung der Fragenstellung in eine konkrete, mehr oder weniger komplexe Handlungssituation sowie die Verknüpfung der Aufgabe mit spezifischen Materialen und Informationen großen Einfluss auf ihr Anforderungsniveau.
- 3.
-
Vor- und Nachteile des gebundenen AntwortformatesBei schriftlich zu bearbeitenden Aufgaben können grundsätzlich sowohl das ungebundene als auch gebundene Format geeignet sein, um berufliche Handlungskompetenz auf unterschiedlichen Niveaus zu prüfen.Mit dem Einsatz gebundener Prüfungsaufgaben sind in der Prüfungspraxis verschiedene potenzielle Vorteile und Nachteile verbunden, die abgewogen werden müssen.Zu den Vorteilen zählen beispielsweise
- –
-
die hohe Durchführungs-, Auswertungs- und Interpretationsobjektivität der Prüfung und damit hohe Transparenz der Bewertung für die Prüfungsteilnehmenden,
- –
-
eine gleichzeitig hohe Reliabilität und inhaltliche Validität durch die Möglichkeit, eine höhere Anzahl an Aufgaben innerhalb eines konkreten Themenbereichs sowie über unterschiedliche Themenbereiche hinweg in der vorgegebenen Zeit zu integrieren,
- –
-
niedrigere Anforderungen an die schriftliche Ausdrucksfähigkeit der Prüflinge durch vorgegebene Antwortalternativen, womit Sprachbarrieren oder Ausdrucksschwierigkeiten nicht das Ergebnis der Prüfung beeinträchtigen,
- –
-
der niedrige Aufwand für die Durchführung und Auswertung der Prüfung für die Prüfenden sowie
- –
-
die Reduzierung von Zeit und Kosten der Durchführung auch bei den zuständigen Stellen, nicht zuletzt dann, wenn eine automatisierte Auswertung möglich ist oder perspektivisch die Durchführung und Auswertung der Prüfung digital erfolgt.
Nachteile können unter anderem- –
-
ein hoher Aufwand für die Neuentwicklung gebundener Prüfungsaufgaben, welche auf Verständnis, Interpretation, Problemlösen oder Anwenden gerichtet sind, vor allem die besondere Herausforderung, geeignete Distraktoren (Falschantworten) zu entwickeln,
- –
-
die erhöhte Ratewahrscheinlichkeit oder der Wiedererkennungseffekt bei einigen Aufgabenformaten, z. B. bei „Richtig-Falsch-Antworten“,
- –
-
höhere Anforderungen an das Leseverständnis der Prüfungsteilnehmenden, da zusätzlich zu den Fragestellungen auch unterschiedliche Antwortvorgaben zu verstehen sind, sowie die Einschränkung, dass bei falscher Antwort potenziell korrekte Überlegungen oder Lösungswege nicht ersichtlich sind, sein.
Grenzen der Einsetzbarkeit von gebundenen Prüfungsaufgaben bestehen bei hohen Lernzielebenen, vor allem dann, wenn eine konzeptionelle Eigenleistung von den Prüfungsteilnehmenden gefordert wird. Der Nachweis von Kreativität bei der Entwicklung von Lösungen für berufliche Problemstellungen und die Selbständigkeit bei der Entwicklung von Konzepten kann häufig nur über offene Fragestellungen bzw. ungebundene Aufgaben erfolgen.Für schriftlich zu bearbeitende Aufgaben hat sich in der Prüfungspraxis der Einsatz sowohl gebundener als auch ungebundener Prüfungsaufgaben bewährt. Bei der Wahl des Aufgabenformats ist in erster Linie dessen Eignung zur Erfassung und Bewertung der in den Ordnungsmitteln geforderten Prüfungsleistung zur betrachten. Dafür sind von Aufgabenerstellenden die potenziellen Vorteile und Nachteile abzuwägen. Doch auch Aspekte der Durchführung und Organisation einer schriftlichen Prüfung, z. B. die Ressourcenschonung, sollten einbezogen werden. - 4.
-
Gestaltung von Prüfungsaufgaben mit gebundenem AntwortformatDer Qualität und Güte der Aufgaben kommen grundsätzlich eine entscheidende Bedeutung für die Reliabilität und Validität einer Prüfung zu. Dies gilt unabhängig davon, ob ein schriftliches, praktisches oder mündliches Prüfungsinstrument zum Einsatz kommt. Während jedoch praktische oder mündlich umzusetzende Prüfungsinstrumente unmittelbar mit beruflichen Tätigkeiten verknüpft werden können, müssen schriftlich zu bearbeitende Aufgaben – unabhängig vom Antwortformat – eine berufliche Handlungssituation abbilden und sich auf diese beziehen, um beruflich relevantes Wissen oder Verständnis feststellen zu können.Um beim Einsatz schriftlich zu bearbeitender Aufgaben mit gebundenem Antwortformat einen klaren Mehrwert generieren zu können, sollten verschiedene Qualitätskriterien bei deren Erstellung berücksichtigt werden:
- a)
-
Praxisnähe durch Situationsbezug:Die Prüfungsaufgaben müssen sich an der beruflichen Praxis orientieren und unmittelbar aus berufstypischen Handlungen abgeleitet oder auf diese bezogen sein. Die Praxisnähe wird durch eine Handlungssituationsvorgabe gewährleistet. Die vorgegebenen Situationen sollten es zudem ermöglichen, mehrere Aufgaben, ggf. mit unterschiedlichen Aufgabentypen, einzubetten.
- b)
-
Vollständige Abbildung der beruflichen Handlung durch Aufgabensets:Um die berufliche Handlungsfähigkeit auch über gebundene Aufgaben zu erfassen, sollten innerhalb von Situationsvorgaben verschiedene Stufen der vollständigen Handlung (Information, Planung, Durchführung, Kontrolle) angesprochen werden. Dabei kann eine gebundene Aufgabe auch Teil eines Aufgabensets sein. Prüfungsteilnehmende müssen sich innerhalb von Situationen in einer Rolle konkret wiederfinden können.
- c)
-
Klare Trennung zwischen Situationsbeschreibung und Aufgabenstellung:Einleitungen zur Handlungssituation und Fragestellungen bzw. Aufträge an die Prüfungsteilnehmenden müssen eindeutig formuliert und voneinander abgegrenzt sein. Sie sollten inhaltlich sowie in ihrem Umfang auf wesentliche Informationen zur vorgegebenen Situation oder das konkrete Problem fokussiert sein.
- d)
-
Eindeutigkeit und Plausibilität von Fragen und Antwortoptionen:Fragen sowie vorgegebene Antworten sollten positiv und handlungsorientiert formuliert sein. Um die Ratewahrscheinlichkeit zu reduzieren, sollten richtige Antworten und falsche Antworten (Distraktoren) im Duktus und in der Darstellungsform ähnlich sein. Richtige und falsche Antworten müssen inhaltlich jedoch eindeutig und plausibel sein. Die Plausibilität von Distraktoren wird insbesondere durch Aufgreifen typischer Fehler hergestellt.
- e)
-
Sprachsensibilität:Jenseits inhaltlicher Qualitätsmerkmale muss eine sprachsensible Gestaltung den Prüfungsteilnehmenden das Erfassen von Situationen, Fragestellungen und Antwortoptionen erleichtern bzw. nicht unnötig erschweren. Abkürzungen und Fremdwörter sollten nur berufstypisch eingesetzt werden. Distraktoren dürfen nicht auf rein sprachlicher Ebene (z. B. falsche Schreibweise) von richtigen Antworten zu unterscheiden sein.
- f)
-
Qualitätsüberprüfung und -verbesserung:Der Prüfung nachgelagert sollten Aufgabenerstellende die Chance gebundener Prüfungsaufgaben nutzen, indem die Güte und Qualität der gestellten Aufgaben unter anderem anhand der statistischen Erfassung der Ergebnisse und des Feedbacks aus der Praxis überprüft werden. Auf Basis des Qualitätssicherungsprozesses können gebundene Prüfungsaufgaben erneut in Prüfungen eingesetzt bzw. dafür weiterentwickelt werden.
Für die Erstellung und Qualitätssicherung von Prüfungsaufgaben sind Expertise und Erfahrung der Aufgabenerstellenden erforderlich. Diese zu fördern und angemessene organisatorische Rahmenbedingungen zu schaffen, ist eine maßgebliche Aufgabe der für das Prüfungswesen verantwortlichen Stellen. Aufgrund ihres hohen Interesses an der Qualität von Prüfungsaufgaben müssen die zuständigen Stellen, deren zur Aufgabenentwicklung gebildeten Einrichtungen sowie die für Prüfende vorschlagsberechtigten Gewerkschaften die ehrenamtlich tätigen Aufgabenerstellenden kontinuierlich unterstützen, z. B. durch Checklisten, Leitfäden oder Empfehlungen der Sozialpartner. Um Expertise und Erfahrung für die Erstellung von Aufgaben zu gewinnen, zu erhalten und auszubauen, sollten Aufgabenerstellenden regelmäßige Schulungen oder Expertenaustausche angeboten werden. Diese wiederum sollten die Angebote nutzen, gezielte Bedarfe aktiv ansprechen und für sie passende Qualifizierungswege mitgestalten.
Kommentar hinterlassen