In der internationalen Diskussion zur Modellierung und Messung von Kompetenzen hat sich herauskristallisiert, dass sich diese nur valide messen lassen, wenn es gelingt, eine enge Verzahnung zwischen den folgenden vier Design-Blöcken herzustellen:

• Identifizierung authentischer Handlungsanforderungen und Kompetenzfacetten mittels Domänenanalyse,
• Konstruktion von darauf bezogenen evidenzbasierten didaktischen Aufgabenstellungen,
• im Vorfeld definierte Lösungsräume für die automatisierte und manuelle Bewertung,
• modellgeleitete statistische Aufbereitung und Strukturierung der bei der Aufgabenbearbeitung erhaltenen Antworten.

Nur mithilfe der Verzahnung lässt sich von den beobachteten Aufgabenlösungen auf die zugrunde liegende Kompetenz schließen (vgl. hierzu die Ausführungen in Kapitel C1 zu den Grundlagen psychometrischer Kompetenzmodellierung und Messung; vgl. Pellegrino/DiBello/Goldman 2016; Shavelson 2012). Entsprechende Umsetzungen in der beruflichen Bildung für die Bereiche „gewerblich-technisch“, „kaufmännisch“ und „Gesundheit“ fanden bereits im Rahmen der ASCOT-Initiative des BMBF „Berufliche Kompetenzen sichtbar machen“ statt (vgl. Beck/Landenberger/Oser 2016; Weber/Beck/Köller 2016; Weber u. a. 2016). 

Die Modellierung und Messung einer nachhaltigen Gestaltungskompetenz im Einzelhandel wurde daher im Projekt „Innovative Gestaltungskompetenz im Einzelhandel“ (vgl. Weber u. a. in Vorbereitung) in Anlehnung an diese vier Design-Blöcke vorgenommen.

1. Identifizierung authentischer Handlungsanforderungen und Kompetenzfacetten

In einer umfassenden Analyse wurden typische und für den Einzelhandel domänenspezifische situative Handlungsherausforderungen herausgearbeitet, die ein nachhaltiges Handeln erfordern. Zugleich wurden Kompetenzen identifiziert, die notwendig sind, derartige Situationen erfolgreich bewältigen zu können. Informationen hierzu wurden vor allem durch Literaturanalysen, Analysen von Newslettern, aber auch Beschwerdeprotokollen und Verkaufsstatistiken, Arbeitsplatzbeobachtungen oder Experten-/Expertinnenbefragungen gewonnen. Dabei stellten sich der nachhaltige Umgang mit Energie und Verpackungen, die Handhabung von Nachhaltigkeitsberichten sowie die Kenntnis von Nachhaltigkeitssiegeln und deren Anwendung und Nutzung in der verkaufsfördernden Gestaltung von Kundengesprächen am sogenannten Point of Sale als nachhaltige situative Herausforderungssituationen im Einzelhandel heraus. Hierfür werden Kompetenzfacetten wie u. a. das Beschaffen und Bewerten von Informationen (z. B. über Siegel und Zertifizierungen), ein systemisches Denken (über die nachhaltige Ausgestaltung der verschiedenen Phasen des Wertschöpfungsprozesses) und eine gelingende Kommunikation (i. S. der Formulierung eines Statements zur Abwendung von Kundeneinwänden) relevant.

Im Abgleich mit geltenden Lehrplänen, Ausbildungsordnungen und Abschlussprüfungen lassen sich darauf aufbauend für den jeweiligen Adressatenkreis die entsprechenden Leistungsniveaus bestimmen (sollen Lernende z. B. nur wissen, wo man bestimmte Informationen zu einem Siegel erhält, oder sollen sie zu einem Siegel auch bestimmte Informationen recherchieren und/oder auch in einem bestimmten Umfang diese analysieren und bewerten können?). Auf diese Weise können über die identifizierten Kompetenzfacetten sowohl ein Kompetenzstrukturmodell als auch mit dessen Festlegung ein Kompetenzniveaumodell zur nachhaltigen Gestaltungskompetenz formuliert werden (zum vollständigen Kompetenzmodell: Ritter von Marx u. a. 2020; vgl. auch Tabelle C2.2.3-1 Internet).

2. Konstruktion von evidenzbasierten didaktischen Aufgaben

Auf der Basis eines solchen domänenspezifischen Kompetenzmodells wurde für mobile Endgeräte (Smartphone, Tablet) eine appbasierte Lernumgebung mit drei Komponenten entwickelt: 1) eine Lern-App zum Aufbau einer nachhaltigen Gestaltungskompetenz, 2) ein sog. Serious Game (digitales Lernspiel) zur Anwendung und gleichzeitig als Assessment kompetenten nachhaltigen Handelns in simulierten authentischen beruflichen Situationen sowie 3) ein Lerntagebuch zum Monitoring tatsächlichen kompetenten nachhaltigen Handelns in realen Situationen. 

Die Entwicklung der Lern-App für den Auf- und Ausbau einer nachhaltigen Gestaltungskompetenz erfolgte in Anlehnung an den didaktischen Ansatz von van Merriënboer/Kirschner (2013). In diesem Ansatz werden traditionelle didaktische Konzepte (u. a. Aufgabenformate, Lernzieltaxonomien) mit neuen Ergebnissen der Lehr-/Lern-Forschung (u. a. Cognitive Load) verknüpft und in einem Leitfaden als handhabbare didaktische Komponenten zur Umsetzung in die unterrichtliche Praxis aufbereitet. Ausgangspunkt ist immer ein komplexes authentisches Problem, das in sinngebende Teilbereiche untergliedert wird, sodass die Ganzheitlichkeit des übergreifenden komplexen Problems jederzeit im Fokus bleibt. Für die Erarbeitung dieser Teilbereiche werden Aufgaben formuliert. Diese variieren im Hinblick auf unterschiedliche Aspekte: a) das Format (u. a. Single- und Multiple-Choice, Lückentext, Zuordnungs- und Vervollständigungsaufgaben, offene Aufgaben), b) den damit einhergehenden Umfang von Unterstützung (Ankreuzen vs. Ausformulieren von verbalen Antworten) sowie c) den Grad der Problemstrukturiertheit (richtig/falsch vs. mehrere Lösungen), aber auch im Hinblick auf ihr d) kognitives Anforderungsniveau (u. a. nennen, anwenden, analysieren) oder e) die Anzahl der gleichzeitig zu bearbeitenden Elemente (Komplexität) sowie f) der medialen Aufbereitung (Art und Umfang der präsentierten Informationen, Hervorhebungen im Text, Einführung mittels Videoclips statt Text), die jeweils verschiedene Arten von kognitiven Belastungen hervorrufen. Gleichzeitig werden nur für den jeweiligen Teilbereich relevante unterstützende Informationen (u. a. Fakten, deklaratives und konzeptuelles Wissen) zur Verfügung gestellt, um die Aufgaben in den Gesamtzusammenhang einbetten und entsprechend bearbeiten zu können. Darüber hinaus werden wichtige prozedurale Informationen (u. a. prozedurales Wissen, Schritt-für-Schritt-Hinweise, Daumenregeln) just in time verfügbar gemacht, die je nach Bedarf abgerufen werden können. Wenn bestimmte Teilhandlungen wiederholt für die kompetente Bewältigung eines komplexen Problems erfolgskritisch sind, dann kann ergänzend eine Komponente zur Ausbildung dieser Routinen eingebaut werden. Die Sequenzierung mit anderen sinngebenden Teilbereichen des komplexen authentischen Problems erfolgt primär nach dem Prinzip der weiteren Ausdifferenzierung und Erhöhung der Komplexität oder der Vertiefung in einzelne Schwerpunkte. Mit der fachdidaktischen Gestaltung dieser sogenannten schwierigkeitsgenerierenden Merkmale von Aufgaben und Sequenzen von Aufgaben lassen sich die verschiedenen Arten der kognitiven Belastungen balancieren: Durch eine klare Aufgabenstellung lässt sich die extrinsische kognitive Belastung reduzieren. Wäre diese hoch, brauchten die Lernenden Zeit und Kraft, sich die Ziele und Inhalte der Aufgabe erst mühsam zu erschließen. Damit blieben wenig kognitive Ressourcen für die eigentliche Bearbeitung der Aufgabe. Die in einer Aufgabe gleichzeitig zu berücksichtigenden Elemente eines Problems (d. h. die Komplexität) wird als intrinsische kognitive Belastung beschrieben. Diese sollte an den Adressatenkreis der Lernenden angepasst werden, sodass die Aufgaben mit ihrer gewählten Komplexität nicht über-, aber auch nicht unterfordern. Der verbleibende Teil kognitiver Ressourcen kann zur Bearbeitung der Aufgabe verwendet werden. Das heißt, bei einer gegebenen kognitiven Belastung verbleiben für die Bearbeitung der intendierten Aufgabe (die sog. lernbezogene, relevante kognitive Belastung) weniger Ressourcen, je „schlechter“ eine Aufgabe gestellt wird (und damit unnötig extrinsische kognitive Belastungen erzeugt) und je “unnötig„ komplex eine Aufgabe gestellt ist (und intrinsische kognitive Belastungen erzeugt; zu ausführlichen Konstruktionsbeispielen siehe Kreuzer u. a. 2017a).

In der konstruierten Lern-App tauchen die Auszubildenden nach dem Einloggen in eine übergreifende ganzheitliche authentische kaufmännische Handlungssituation als Beschäftigte einer Filiale des fiktiven Einzelhandelsunternehmens MyBUY ein. Dabei werden sie zunächst mit einem Video für das Thema Nachhaltigkeit sensibilisiert und mittels Erklärvideos mit zentralen Begriffen, Fakten sowie Prinzipien der Nachhaltigkeit vertraut gemacht. Anschließend bearbeiten sie die in Anlehnung an van Merriënboer/Kirschner (2013) konstruierten Aufgaben, die sich auf in der Domänenanalyse identifizierte typische Handlungssituationen im Einzelhandel beziehen.

Um die nachhaltige Gestaltungskompetenz in einer realisierten Handlung beobachten und so authentisch wie möglich erfassen zu können, wurde die App um ein Serious Game in Anlehnung an Kapp (2012) erweitert. Dabei nehmen die Spielenden in der Rolle von Beschäftigten der MyBUY am Nachhaltigkeitswettbewerb einer Verbraucherinitiative teil. Ziel ist es, den bisherigen ersten Platz im Nachhaltigkeitsranking zu verteidigen. Im Verlauf des Serious Game erhalten die Spielenden wie in der Lern-App praxisnahe authentische Aufgaben zur Optimierung des Nachhaltigkeitsberichts der MyBUY. Diese beziehen sich auf Beratungs- und Informationsgespräche mit Kunden und Mitarbeitenden, auf Sortimentserweiterungen und auf Bewertungen von konkreten Unternehmensmaßnahmen. Auf Grundlage der gegebenen Antworten sowie von Rückmeldungen mittels eines Zufriedenheitsbarometers seitens der Corporate Social Responsibility (CSR)-Abteilung der MyBUY erhalten die Spielenden Informationen über ihr nachhaltiges Handeln bzw. Wirtschaften. Zusätzlich besteht die Möglichkeit, Joker (z. B. Unterstützung durch einen Nachhaltigkeitsexperten) zu verwenden, um schwierige Aufgaben zu lösen. Der Verzicht auf den Joker bringt dabei am Ende zusätzliche Punkte. Das Serious Game ist mit Bildern sowie kurzen, übersichtlich gehaltenen Texten ausgestaltet.

Um zu beobachten, inwieweit die Auszubildenden ihre erworbene nachhaltige Gestaltungskompetenz im täglichen beruflichen Arbeitskontext tatsächlich einsetzen, wurde zusätzlich ein digitales Lern- und Arbeitstagebuch als weitere App-Funktion entwickelt, mittels derer kleine Randnotizen durch wenige Klicks im Berufsalltag festgehalten werden können (z. B. „Habe heute einer Kundin das Fair-Trade-Siegel erklärt.“; „Wurde vom Kunden für meine Beratung zu einem Bio-Produkt gelobt.“). Diese Dokumentation bildet neben der Lern-App und dem Serious Game eine ergiebige Grundlage für Selbst-, Peer- und/oder Gruppenreflexionen, aber auch für Impulse im Hinblick auf weitere Anschlussbearbeitungen und Vertiefungen mittels vielfältiger didaktischer Arrangements, wie z. B. Exkursionen zu Firmen entlang der Lieferkette oder Podiumsdiskussionen zur Einführung weiterer Gütesiegel.

Die Lernumgebung ist für Android-Smartphones kostenlos im Google Play Store erhältlich: https://play.google.com/store/apps/details?id=de.unigoettingen.innobbne&hl=de. Es wurde zudem ein Leitfaden für Ausbilder und Ausbilderinnen verfasst, in dem die einzelnen Schritte der evidenzbasierten Entwicklung erläutert sind und nachvollzogen werden können. Gleichzeitig finden sich dort didaktische Anregungen zum eigenständigen Weiterarbeiten. Kostenloser Download: http://www.wbv.de/artikel/6004744w.

Bei der theoriegeleiteten Gestaltung aller Aufgaben (51 Aufgaben in der Lern-App; 28 Aufgaben im Serious Game) und Applikationen wurde sowohl auf deren Gebrauchstauglichkeit und die Balancierung einer angemessenen kognitiven Belastung als auch auf motivierende Aspekte geachtet. Auf Basis der weithin mannigfach eingesetzten Skala zur Gebrauchstauglichkeit (System Usability Scale (SUS)) von Brooke (2013) kann die Gebrauchstauglichkeit als gegeben angenommen werden. Die kognitiven Belastungen der Lernenden (vgl. Fragebogen von Leppink u. a.  2014) konnten aufgrund der theoriegeleiteten Aufgabengestaltung erwartungsgemäß gesteuert werden: Die extrinsischen kognitiven Belastungen, die auf eine eher „schlechte“ Aufgabenkonstruktion zurückgehen und zu Verwirrungen führen, zeigen den geringsten Ausprägungsgrad. Die intrinsische kognitive Belastung, die sich auf die Elementenvielfalt und Komplexität der Anforderungen bezieht, liegt im mittleren Bereich und signalisiert, dass die Aufgaben – wie intendiert – auf ein mittleres Anspruchs- bzw. Komplexitätsniveau hin bezogen sind. Die höchste kognitive Belastung der Lernenden konnte dem eigentlichen Lern- und Assessmentprozess und damit der „lernbezogenen, relevanten kognitiven Belastung“ gewidmet werden. Die Motivation wurde mittels des für Serious Games adaptierten Fragebogens von Sailer (2016) überprüft. Dieser misst unter Bezug auf die Selbstbestimmungstheorie von Deci/Ryan (1993; 2012) mit ihren drei Dimensionen „Autonomie“, „Kompetenzerleben“ und „soziale Eingebundenheit“ die Motivation. Die Ergebnisse wiesen auf eine gute Motivation hin: die Werte zeigten ein sehr gutes Autonomie- und Kompetenzerleben bei den Lernenden. Die wahrgenommene soziale Eingebundenheit fiel geringer aus. Dafür gibt es zwei Gründe: Das Serious Game musste als Offline-Version konzipiert werden, da die Konnektivität nicht an allen Lernorten zu jedem Zeitpunkt garantiert war. Zudem wurde das Serious Game hier als Assessment-Komponente zur Erfassung einer Individualleistung implementiert.

3. Festlegung von Lösungsräumen für die automatisierte und manuelle Bewertung 

Zur Messung der nachhaltigen Gestaltungskompetenz wurde das insgesamt beobachtete Antwortverhalten bei der Bearbeitung der Aufgaben (Lern-App, Serious Game) anhand eines im Vorfeld definierten Lösungsraums (Kodierleitfaden, der bereits bei der Aufgabenkonstruktion auf der Basis eines Expertendiskurses formuliert wurde) dichotom kodiert. Damit wurde festgelegt, welche Antworten im Lösungsraum akzeptiert (mit 1 codiert) und welche nicht akzeptiert (d. h. als falsch gewertet und mit 0 codiert) werden. Dieses gilt sowohl für die geschlossenen und halbgeschlossenen Aufgabenformate, bei denen die Kodierungen für die automatisierten Auswertungsroutinen herangezogen wurden, als auch für die offenen Aufgabenformate, bei denen die Kodierungen als Leitfaden für die händische Auswertung dienten. Die Antworten auf offene Aufgabenformate wurden von zwei unabhängigen, vorab geschulten Experten kodiert.

4. Modellgeleitete statistische Aufbereitung und Strukturierung 

Mit dem Spielen des Serious Game wenden die Lernenden ihr Gelerntes an und transferieren es auf neue Aufgaben bzw. typische domänenspezifische Handlungssituationen. Die Antworten und Handlungen im Spiel sollten nach dem „evidentiary reasoning“-Ansatz, der sich aufgrund des stringenten Zusammenhangs von Curriculum, Instruktion und Assessment ergibt, die formulierte nachhaltige Gestaltungskompetenz repräsentieren. Hierzu erfolgte mittels einer modellgeleiteten statistischen Aufbereitung der erhaltenen Antworten eine Nutzung von Verfahren der Item-Response-Theorie. Mit einem eindimensionalen Rasch-Modells wurden die Antworten skaliert und Lösungswahrscheinlichkeiten für die einzelnen Aufgaben ermittelt, um in einer Gegenüberstellung das theoretische Modell (mit seiner didaktischen Modellierung) anhand der empirisch gewonnenen Daten zu überprüfen. Bisher konnten diese Überprüfungen in diesem Umfang nur für das Serious Game durchgeführt werden. In Tabelle C2.2.3-1 Internet wird diese Gegenüberstellung bzw. dieser Zusammenhang dargestellt.

In der Tabelle werden zunächst die in der Domänenanalyse identifizierten typischen Herausforderungen und Kompetenzfacetten gegenübergestellt, und es wird verdeutlicht, wie diese mit ihren kognitiven Anforderungsniveaus in die Aufgaben bzw. Modulkonstruktion des Serious Game eingegangen sind. Zudem wurde der Anforderungsgehalt für jedes Modul mittels eines Schwierigkeitsindex ermittelt. Hierzu wurde jede Aufgabe von didaktischen Expertinnen und Experten im Hinblick auf das kognitive Anforderungsniveau, die Komplexität, den Grad der Problemstrukturiertheit sowie den Grad der in der Aufgabe gegebenen Unterstützung eingeschätzt (vgl. Bley 2017; Bley/Wiethe-Körprich/Weber 2015; Weber/Beck/Köller 2016; Weber u. a. 2016). Die Ergebnisse wurden dann mittels Mittelwertberechnung pro Modul verdichtet.

Die empirische Überprüfung des theoretischen Modells zur nachhaltigen Gestaltungskompetenz zeigt, dass die beobachteten Antworten und Handlungen im Serious Game, wie sie mittels Lösungswahrscheinlichkeiten berechnet und aufgrund der vorgenommenen Klassifikationen als einfache, mittelschwere und schwere Aufgaben eingeordnet wurden, in nahezu allen Modulen den erwarteten Werten entsprechen. Dieses wird daran deutlich, dass die von didaktischen Experten und Expertinnen als schwierig eingestuften Module auch nur von einer kleinen Gruppe an Personen mit einer Wahrscheinlichkeit von 50% gelöst werden können. Je leichter die Module eingeschätzt wurden, desto mehr Personen waren in der Lage, die Aufgaben/Module mit einer Wahrscheinlichkeit von mindestens 50% zu lösen. Der hohe Spearman-Rangkorrelationskoeffizient von .805 (vgl. Siegel/Castellan 1988) deutet auf eine signifikante Übereinstimmung der Rangfolge von einfachen, mittleren und schwierigen Game-Modulen im Hinblick auf die didaktische Modellierung und Messung hin. Vergleichsanalysen bezogen auf Geschlecht, Alter, Bildung, Wissen zur Nachhaltigkeit und Interesse für das Thema Nachhaltigkeit haben keine signifikanten Gruppenbenachteiligungen gezeigt.

Konkret bedeutet dieses, dass die Informationsbeschaffung und -bewertung im Kontext eines Skandals in der Lieferkette (verseuchter Tee) zu den schwierigsten Herausforderungen zählt (Game-Module [GM] 2; geringste Lösungswahrscheinlichkeit). Hierbei müssen die Anwender/-innen des Serious Game die Informationen zu einem Produkt, die zu einem solchen Skandal geführt haben, herausarbeiten, verschiedene Produkte im Hinblick auf ihr Siegel und die damit angesprochenen Nachhaltigkeitsdimensionen analysieren sowie auf dieser Basis für einen Kunden eine Kaufempfehlung aussprechen. Hingegen erscheinen die Herausforderungen zur Vermeidung von Verpackungen und Verortungen von konkreten Maßnahmen im Nachhaltigkeitsbericht mit seinen Wirkungen auf verschiedene Stakeholder als eher einfach (GM 9; höchste Lösungswahrscheinlichkeit). Hierin müssen Folgen von vorgeschlagenen Maßnahmen für Kundinnen und Kunden, Mitarbeiter/-innen etc. eingeschätzt oder im Hinblick auf die drei Dimensionen der Nachhaltigkeit im Nachhaltigkeitsbericht verortet werden. Dass sich GM1 im empirischen Modell als schwieriger erweist als in der didaktischen Konstruktion angenommen, könnte an verschiedenen schwierigkeitsgenerierenden Merkmalen liegen: Komplexität der mit dem Siegel verbundenen gleichzeitig zu beachtenden Elemente (intrinsische kognitive Belastung), Aufgabenformat (Grad der in der Aufgabe gegebenen Unterstützung), mediale Präsentation (extrinsische kognitive Belastung). Umgekehrt können diese schwierigkeitsgenerierenden Merkmale u. a. durch ein Videoclip oder ein unterstützendes grafisches Icon in der medialen Aufbereitung Herausforderungen im empirischen Modell leichter gemacht haben als erwartet. Weiterführende und vertiefende Studien (z. B. Think-Aloud-Studien, fachdidaktische experimentelle Studien) könnten hier Aufklärung bieten, um modellgeleitete Modifikationen vorzunehmen.

Zusammenfassend wurden im Inno-BBNE-Projekt mit diesem Prototyen unter Nutzung moderner didaktischer Ansätze Lernmaterialien für mobile Endgeräte entwickelt. Diese stellen sowohl im Einklang mit den geltenden Lehrplänen und Ausbildungsordnungen des Ausbildungsberufs Kaufmann/Kauffrau im Einzelhandel als auch mit authentischen arbeitsplatzbezogenen Herausforderungen zentrale Facetten einer nachhaltigen Gestaltungskompetenz dar. Durch die enge Verzahnung zwischen den vier Design-Blöcken ist es gelungen, eine Modellierung und Messung einer nachhaltigen Gestaltungskompetenz im Einzelhandel herzustellen, mittels derer sich von den beobachteten Handlungen in der Lernumgebung (insbes. im Serious Game) auf die nachhaltige Gestaltungskompetenz im Sinne eines „evidentiary reasoning“ schließen lässt. Diese mobile appbasierte Lernumgebung lässt sich in der beruflichen Ausbildung jederzeit, insbesondere mit dem Fokus auf den Point of Sale, einsetzen. Damit erhalten alle Auszubildenden in gleicher Weise Einblicke in relevante Konzepte und Fragestellungen der Nachhaltigkeit. Je nach Vorwissen kann die Lern-App mit einem individuellen Lerntempo an verschiedenen Lernorten bearbeitet werden. Mit einem motivierenden Serious Game können sich Auszubildende unter Beweis stellen. 

Fortgeschrittene und sehr nachhaltigkeitsaffine Personen könnten auch direkt in das Serious Game einsteigen. Die zu bearbeitenden Themen und Videos bieten vielfältige Anknüpfungspunkte zur Vertiefung und Weiterführung, auch mit anderen didaktischen Methoden wie Exkursionen, Projektarbeit. Gerade mit dem Lern- und Arbeitstagebuch lassen sich mittels kleiner Randnotizen nachhaltige Handlungen dokumentieren, die in individuellen, peer- oder dozentenbasierten Feedbacks eine Verknüpfung und damit einen Transfer zwischen einer simulierten Lernwelt und der Realität schaffen.  

(Susanne Weber – Ludwig-Maximilians-Universität München, Matthias Schumann – Georg-August-Universität Göttingen, Christine Kreuzer – Ludwig-Maximilians-Universität München)