Die bildungspolitische Wende hin zur Kompetenzorientierung wirft für den Bereich der beruflichen Aus-, Fort- und Weiterbildung viele Fragen auf. Die mit ihr einhergehende Orientierung an Bildungsergebnissen setzt Klarheit über die Zielkategorien beruflicher Bildung voraus. Dies ist mit beträchtlichen Herausforderungen verbunden, da die für erfolgreiches berufliches Handeln erforderlichen Kompetenzen häufig nicht hinreichend klar sind. Eine präzise und trennscharfe Beschreibung erfordert deshalb fundierte Kompetenzmodelle. Erst auf Basis entsprechender Modelle können die beschriebenen Kompetenzen valide gemessen und somit das Erreichen von Bildungszielen für verschiedene Anwendungskontexte überprüft werden. Der vorliegende Beitrag stellt die zentralen methodischen Schritte zur Entwicklung von Instrumenten zur Kompetenzmessung von der Anforderungsanalyse über Domänen- und Kompetenzmodellierung bis zur Testentwicklung dar.
Anforderungsanalyse und Domänenmodell
Methodischer Ausgangspunkt bei der Modellierung und Messung von Kompetenzen in der beruflichen Bildung ist eine Anforderungsanalyse. Sie liefert Erkenntnisse darüber, welche konkreten Anforderungen mit den jeweiligen beruflichen Tätigkeiten verbunden sind. Die Arbeits- und Organisationspsychologie beschreibt verschiedene qualitative und quantitative Methoden, mit denen diese Informationen generiert werden können. Beispielsweise können mittels Fragebogen, Beobachtungen der Tätigkeitsausübung, Workshops oder Interviews mit Arbeitsplatzinhaberinnen und -inhabern, Kolleginnen und Kollegen sowie Vorgesetzten Informationen zu konkreten Aufgaben sowie den Rahmenbedingungen ihrer Ausführung, wie Umgebung, Material, Sozialkontakten, Handlungsspielraum, Denk- und Entscheidungserfordernissen und Belastungen erhoben werden (vgl. Blickle 2014).
In der beruflichen Bildung bietet sich als erster Schritt der Anforderungsanalyse eine Literatur- und Dokumentenanalyse von Ausbildungsverordnungen und -rahmenplänen, Prüfungsaufgaben und Ausbildungsmaterialien an, da sie Auskunft über die Lernziele von Aus- und Fortbildungsberufen geben. Ergänzend sollte die Expertise von Vertreterinnen und Vertretern des jeweiligen Berufs sowie weiterer Expertinnen und Experten des Berufsfelds wie Kammer- und Verbandsvertreter/-innen oder Vertreter/-innen von Berufen, die in engem Kontakt mit dem Zielberuf stehen, genutzt werden. Die Einholung dieser Expertise kann bspw. über Interviews oder Workshops mit Gruppendiskussionen erfolgen, in denen Informationen über die Tätigkeiten und Rahmenbedingungen des interessierenden Berufs oder Tätigkeitsbereichs gesammelt werden. Auch die Critical Incident Technique (vgl. Flanagan 1954) ist eine gängige Methode zur Erfassung von Anforderungen, bei der Experten nach erfolgskritischen Situationen sowie günstigen und weniger günstigen Verhaltensweisen in diesen Situationen befragt werden. Darüber hinaus können Stellenanzeigen Aufschluss über die von Arbeitgeberinnen und Arbeitgebern für eine Position vorausgesetzten Kompetenzen geben.
Die Ergebnisse der Anforderungsanalyse werden abschließend in einem Domänenmodell zusammengeführt und verdichtet. Es enthält eine vollständige Zusammenfassung der Berufsinhalte, Rahmenbedingungen, anfallenden Aufgaben und auszuübenden Tätigkeiten (vgl. Klieme u. a. 2003).
Kompetenzmodellierung
Im nächsten Schritt wird aus dem Domänenmodell das Kompetenzmodell abgeleitet. Die ermittelten Anforderungen, Tätigkeiten und Rahmenbedingungen werden herangezogen, um Schlussfolgerungen über die zu deren Bewältigung erforderlichen Kompetenzen zu ziehen. Die Ergebnisse der Anforderungsanalyse sollten dabei vor dem Hintergrund relevanter Theorien verschiedener Bezugsdisziplinen betrachtet werden, um so die für die Bewältigung der ermittelten Anforderungen notwendigen Kompetenzdimensionen ableiten zu können.
Die theoretische Fundierung dient neben dem Anschluss an bereits vorliegende Erkenntnisse zum betrachteten Kompetenzbereich vorrangig zwei Zwecken. Zum einen soll verhindert werden, dass in der Praxis häufig eingesetzte Verhaltensweisen und Problemlösestrategien fälschlicherweise als positiv gewertet werden. Theorien können alternative Wege aufzeigen, die in der Praxis selten genannt werden, die aber tatsächlich effektiver wären. Darüber hinaus können Theorien Hinweise auf erforderliche Teilleistungen und auf die Entwicklung möglicher Niveaustufen der entsprechenden Kompetenzen liefern; beispielsweise können Modelle zur Entwicklung von Wissen und Handlungsregulation aus der Entwicklungs- und kognitiven Psychologie herangezogen werden, um Hinweise auf die Schwierigkeit von Aufgaben abzuleiten. Die Revision der Bloom´schen Taxonomie von Lernzielen im kognitiven Bereich von Anderson und Krathwohl (2001) mit ihrer Unterscheidung von Wissen, Verstehen, Anwenden, Analyse, Synthese und Evaluation wurde bereits zur Abdeckung eines breiten Spektrums von Anspruchsniveaus bei der Konstruktion von Testaufgaben eingesetzt (vgl. z. B. Hofmeister 2005). Vergleichbare Taxonomien liegen auch für den psychomotorischen und affektiven Bereich vor.
Testentwicklung
Zur Erfassung der in Kompetenzmodellen beschriebenen Kompetenzen müssen berufs- oder tätigkeitsspezifische Messverfahren (weiter-)entwickelt werden. Hierbei haben sich psychometrische Tests als geeignet erwiesen und etabliert. Diese erlauben es, verschiedene Niveaustufen der erfassten Kompetenzen abzubilden, sodass Personen, die Aufgaben bzw. Anforderungen mit höherem Schwierigkeitsniveau bewältigen können, einem höheren Kompetenzniveau zugeordnet werden. Zudem ist es möglich, verschiedene Kompetenzdimensionen zu bestimmen, die bei der Bewältigung der Anforderungen erforderlich sind. Beispielsweise hat sich für fachliche Kompetenzen eine Unterscheidung von Wissen und Problemlösefähigkeiten für verschiedene Berufe im gewerblich-technischen und im kaufmännischen Bereich als tragfähig erwiesen.
Bei der Testkonstruktion werden aus den in der Anforderungsanalyse ermittelten beruflichen Handlungssituationen solche ausgewählt, in denen sich das Ausmaß der Kompetenzen besonders gut feststellen lässt. Diese Situationen bzw. Aufgaben bilden das Material zur Konstruktion des Testverfahrens. Grundsätzlich können sämtliche Formate der Testdiagnostik herangezogen werden, um berufliche Kompetenzen abzubilden. Zum Einsatz kommen beispielsweise schriftliche Aufgaben mit freien und gebundenen Antwortformaten und simulationsorientierte Aufgaben wie Problemlöseszenarien, Rollenspiele oder Videos mit simulierten Situationen, sog. Situational Judgement Tests. Die Entscheidung über das Testformat hängt maßgeblich von den Charakteristika der zu messenden Kompetenzen ab. Beispielsweise werden zur Erfassung beruflichen Fachwissens vorrangig schriftliche Formate eingesetzt, während sich für stärker handlungsbasierte Kompetenzen simulationsorientierte Methoden als geeignet erwiesen haben. Auch soziale und emotionale Kompetenzen können mit simulationsorientierten Aufgaben erfasst werden.
Darüber hinaus müssen auch praktische Überlegungen zu verfügbaren Ressourcen berücksichtigt werden, da Testformate mit unterschiedlichem Aufwand bei der Testkonstruktion, -anwendung und -auswertung verbunden sind. Bei der Wahl des Testformats werden zunehmend auch die Möglichkeiten technologiegestützter Verfahren der Kompetenzmessung ausgelotet. Beispiel hierfür sind die Forschungsinitiativen ASCOT und ASCOT+, die in Kapitel C2.1.3 beschrieben werden.
Bei dem Projekt CoSMed (Competence diagnostics: Simulations in Medical Settings) handelte es sich um ein Verbundprojekt, in dem die Universität Göttingen (Professur für Wirtschaftspädagogik und Personalentwicklung) und das BIBB (Arbeitsbereich Kompetenzentwicklung) von 2012 bis 2015 technologiegestützte Instrumente entwickelten, mit denen die beruflichen Kompetenzen von medizinischen Fachangestellten gemessen werden können.
Die Tests, die im Laufe des Projekts an großen Stichproben von ca. 2.000 Auszubildenden durchgeführt wurden, ermöglichen Aussagen zum Leistungsstand der Auszubildenden am Ende der Ausbildung. Schwerpunkt des BIBB waren die sozialen und emotionalen Kompetenzen, während die Universität Göttingen die medizinisch-gesundheitsbezogenen und kaufmännisch-administrativen Kompetenzen in den Fokus nahm.
Das Gesamtprojekt wurde in der Forschungsinitiative ASCOT („Technologiebasierte Messung beruflicher Kompetenzen“, vgl. www.ascot-vet.net bzw. Kapitel C2.1.3) des BMBF gefördert. Die Ergebnisse finden sich bei Beck, Landenberger und Oser (2016).
Das BIBB setzt die Arbeiten zu sozialen und emotionalen Kompetenzen im Projekt ProSECoM (Promotion of Social and Emotional Competences of Medical Assistants) fort, das im Jahr 2019 gestartet ist und eine Laufzeit von vier Jahren hat. Basierend auf den Ergebnissen des Projekts CoSMed intendiert das Projekt die Entwicklung und Evaluation eines Trainings für berufsspezifische soziale und emotionale Kompetenzen von medizinischen Fachangestellten in der Ausbildung. Ziel ist dabei die Entwicklung von Lehr-/Lernmethoden zur effektiven Förderung dieser Kompetenzen sowie deren langfristige Integration in die Ausbildungspraxis von Schulen und/oder Ausbildungsbetrieben. Die in CoSMed entwickelten Tests werden zur Evaluation des Trainings genutzt.
Alle Schritte der Modell- und Testentwicklung sollten von Expertinnen und Experten aus Wissenschaft und Praxis begleitet und validiert werden, um sowohl die fachliche Richtigkeit und Realitätstreue der Aufgaben als auch die Zusammenhänge zwischen dem intendierten Messgegenstand (Kompetenzen) und dem tatsächlich Gemessenen (Testleistungen) zu sichern.
Die Güte des Messinstruments muss darüber hinaus in Testdurchgängen (Pilotierungen) überprüft werden. Anhand verschiedener Qualitätskriterien der Aufgaben (Items) und Kompetenzdimensionen (Skalen) kann bestimmt werden, ob die gestalteten Aufgaben die Kompetenzen eindeutig und trennscharf messen und ob die Vorhersagen zu den Kompetenzdimensionen und zur Schwierigkeit von Aufgaben zutreffen. Das bedeutet, es wird empirisch überprüft, ob sich die im Kompetenzmodell angenommenen Kompetenzdimensionen tatsächlich finden lassen, sowohl in Bezug auf ihre Anzahl als auch in Bezug auf die Zuordnung der Aufgaben zu den Kompetenzen. Die Ergebnisse können eine Anpassung und Veränderung der vorab aufgestellten Kompetenzmodelle erforderlich machen, wenn sich etwa vorab postulierte Kompetenzdimensionen empirisch nicht unterscheiden lassen. Erst wenn die Pilotierung zeigt, dass die Aufgaben eine hinreichende Qualität aufweisen und das Instrument somit den Gütekriterien der Objektivität, Reliabilität und Validität genügt, kann der Test an weiteren Stichproben eingesetzt werden.
Transfer und Fazit
Ist die psychometrische Güte des Tests erfolgreich überprüft, kann der Test für seine intendierten Einsatzzwecke zur Verfügung gestellt werden. Für die berufliche Bildung sind Anwendungen beispielsweise im Kontext von Prüfungen, Lernstands- und Förderbedarfserhebungen und Beurteilungen informell erworbener Kompetenzen denkbar. Die Testverfahren liefern eine weitgehend objektive Einschätzung der Kompetenzstände in den gemessenen Kompetenzbereichen, wobei bei der Interpretation der Ergebnisse stets auch situative Einflüsse (wie z. B. die Testmotivation) berücksichtigt werden müssen. Darüber hinaus ist auch die Entwicklung von Testverfahren zur Abbildung von Veränderungen im Längsschnitt möglich.
Da bei dem hier beschriebenen Vorgehen Kompetenzmodelle einer empirischen Prüfung unterzogen und auf dieser Basis weiterentwickelt werden, können die Modelle wertvolle Hinweise für die Gestaltung von Ordnungsmitteln und Ausbildungsmaterial liefern. Die Berücksichtigung theoretischer Modelle bei der Modellentwicklung ermöglicht darüber hinaus gezielte Empfehlungen für die Förderung der beschriebenen Kompetenzen.
Der gesamte dargestellte Prozess der Modell- und Instrumentenentwicklung ist abschließend in Schaubild C2.1.1-1 noch einmal zusammengefasst.
(Tanja Tschöpe)
