Testvalidität und Trainingsdesign

Bei der Konstruktion eines Tests, zu welchem ​​Zweck auch immer, muss die Frage der Testvalidität angegangen werden. Das liegt daran, dass es einen eindeutigen Zusammenhang zwischen der Genauigkeit unserer Tests und der Effektivität unseres Seminardesigns und Schulungsansatzes gibt. Die Testvalidität fragt, inwieweit das verwendete Assessment-Tool tatsächlich das misst, was es zu messen vorgibt (im Testjargon als Konstruktvalidität bekannt). Nehmen Sie zum Beispiel den klassischen I.Q. Test, den viele von uns als Jugendliche gemacht haben. Früher wurde die Prüfung in gedruckter Form abgehalten, die der Prüfling innerhalb einer bestimmten Frist ablegen würde. Generationen von jungen Teenagern wurden getestet, um ihren Intelligenzgrad zu bestimmen, um die Erfolgswahrscheinlichkeit für den Rest ihrer Bildungskarriere und darüber hinaus vorherzusagen. Diese Tests zeigten jedoch nur eine schwache prädiktive Korrelation zwischen dem Testerfolg und dem späteren Erfolg in Schule und Leben. Mit der Zeit begannen Testexperten, den Test selbst zu testen. Sie fanden heraus, dass diese Tests „ungültig“ waren – weil sie im Wesentlichen Lesefähigkeiten unter Zeitdruck und nicht Intelligenz testeten. Der Test konnte oft keine intelligenten Kinder erkennen, die möglicherweise aufgrund von schlechter Ausbildung, mangelnder Übung, Motivation, Legasthenie usw. einfach nur über schlechte Lesefähigkeiten verfügten. Mit der Zeit nahm die Entwicklung des I.Q. Tests geändert und eingeschlossen, sowie Lesen, mündliche Fragen und Antworten, Zeichnungen, visuelle Erkennung, Tastübungen und Diskussionen.

Kriterium Gültigkeit
Aber die Geschichte geht weiter. Die Forscher fanden heraus, dass, obwohl Tests konstruiert werden könnten, um ein bestimmtes Kriterium genauer zu messen, immer noch die Frage bestand, ob das Kriterium selbst aussagekräftig war. Mit anderen Worten, entsprach der Kontext (das Gesamtbild) auch dem, was gemessen wurde.

So wurde beispielsweise jahrelang Sprachunterricht mit starkem Schwerpunkt auf dem Erlernen der Grammatik, den sogenannten Regeln einer Sprache, unterrichtet. Die Annahme basierte auf der oberflächlichen Beobachtung, dass artikulierte Muttersprachler einer Sprache ihre eigene Grammatik beherrschten und anwenden konnten. Daher sollte das Erlernen der grammatikalischen Regeln (zusammen mit dem Wortschatz) auch für den Zweitsprachenlerner in den Erwerb der Sprache übergehen. Es wurden Lehrer eingestellt, die den „Grammatik“-Unterricht auf die gleiche Weise wie Latein oder Griechisch unterrichteten. Die Schüler hatten Mühe, es zu lernen, Tests wurden entwickelt, um ihr Wissen darüber zu testen, und es wurden Noten vergeben, um ihr Leistungsniveau zu bestimmen. Das Ergebnis? Außerhalb des Klassenzimmers waren „hochkompetente“ Zweitsprachenlerner kaum in der Lage, selbst die einfachsten Sätze in einer Fremdsprache zu formulieren, die sie jahrelang gelernt hatten, geschweige denn, diese Sprache von Muttersprachlern zu verstehen, die sie in normalem Tempo sprachen.

Was ist also schief gelaufen? Die Tests haben tatsächlich das Grammatikverständnis des Zweitsprachenlerners genau gemessen (Konstruktvalidität). Aber diese Tests verfehlten das große Ganze. Bei genauerem Hinsehen zeigte sich, dass viele Muttersprachler einer Sprache auch nicht in der Lage waren, ihre eigene Grammatik bewusst zu erklären. Daher war das explizite „Kennen“ der Grammatik keine Voraussetzung für deren kompetente Anwendung. Hier war etwas anderes im Spiel, was die ursprünglichen Beobachtungen ebenfalls übersehen hatten. Als die Forscher untersuchten, wie Kinder ihre eigene Sprache lernten, stellten sie fest, dass sie nicht bewusst „Grammatik lernen“. Vielmehr lernen sie ihre Sprache zu hören und dann zu sprechen, in stark kontextuellen, sehr bedeutungsvollen Situationen, in denen die Sprachteile immer integriert verwendet werden (dh Artikel, Nomen, Verben, Zeitformen werden nicht separat erlebt, sondern zusammen verwendet) . Regeln existieren, aber sie werden implizit erlernt.

Zu fragen ist, ob das, was wir messen, wirklich in der konkreten Welt existiert. Es richtig (oder falsch) zu machen hat große Auswirkungen auf die Art und Weise, wie wir unseren Lehrplan gestalten und unsere Trainingsmethoden entwickeln.

Prüfungen und Schulungen in der Geschäftswelt
Denken Sie nur daran, wie viele Marketingabteilungen in der Geschäftswelt Produktschulungsseminare fast ausschließlich zum Kennenlernen der Eigenschaften dieses Produkts entwickelt haben (ähnlich wie das Wissen um die Regeln einer Sprache). Auf die Frage „Warum das wichtig ist“ lautet die Antwort typischerweise, „denn Vertriebsingenieure müssen die Eigenschaften des Produkts kennen, um unseren Kunden die richtige Lösung für ihre Bedürfnisse zu bieten.“ Wie wir gesehen haben, kann oberflächlich ein Test gestaltet werden, um zu beurteilen, ob ein Verkäufer die Eigenschaften eines bestimmten Produkts kennengelernt hat (Konstruktvalidität). Aber auf einer tieferen Ebene kann es sein, dass das größere Bild fehlt, die Realität, die in der konkreten Welt existiert. Im Vertrieb stellt sich die Frage, ob Produktwissen wirklich das entscheidende Erfolgskriterium im Vertrieb ist. Die Inhalte und die Trainingsmethode verraten die zugrunde liegende Annahme, die wir haben, um eine erfolgreiche Begegnung zwischen einem Vertriebsmitarbeiter und einem Kunden zu ermöglichen (d. h. Produktkenntnisse).

Der Gesamtüberblick bei der Analyse des Verkaufs zeigte, dass Produktwissen bei den meisten Verkaufsgesprächen nicht der Schlüsselfaktor war. Vielmehr waren die erfolgreichsten Vertriebsmitarbeiter in der Lage, der Situation des Kunden aufmerksam zuzuhören; Sie konnten ihr Problem in einem großen Kontext verstehen, sinnvolle Fragen stellen, mit Kunden-Zweifeln umgehen, eine Beziehung zum Kunden aufbauen zu können, und bei der Suche nach einer echten Lösung mitwirken. Produktwissen war ein Bestandteil der Verkaufsbegegnung, aber nur ein Rand. Dieses Verständnis hat sich seitdem wiederholt und viele Unternehmen informiert, wie man einen Schulungsworkshop für Vertriebsmitarbeiter gestaltet. Im Verkaufstraining werden jetzt viele Soft- und Problemlösungskompetenzen betont – mit viel praktischer Praxis.

Zusammenfassung
Gultige Testmethoden und Training gehen Hand in Hand. Um unsere Annahmen zu testen, müssen wir uns ansehen, was wirklich im Kontext der realen Welt passiert. Es ist entscheidend für die Seminargestaltung und Trainingsmethodik. Aber es erfordert die Fähigkeit, auf mehreren Ebenen, gute Fragen zu stellen. Wir müssen dann bereit sein Änderungen in Inhalt und Ansatz der Schulung unserer Mitarbeiter vorzunehmen.