Stellen Sie sich vor, Sie schießen mit Pfeil und Bogen auf eine Zielscheibe. Beim ersten Versuch streuen die Pfeile wild über die ganze Scheibe – weder treffen Sie zweimal denselben Punkt, noch treffen Sie die Mitte. Beim zweiten Versuch sitzen alle Pfeile dicht beieinander, aber weit vom Zentrum entfernt: Sie schießen konsistent, nur nicht dorthin, wo Sie eigentlich hinwollen. Erst beim dritten Versuch landen die Pfeile eng gebündelt in der Mitte.
Genau dieses Bild steckt hinter den drei wissenschaftlichen Gütekriterien, an denen sich jeder seriöse psychologische Test messen lassen muss: Objektivität, Reliabilität und Validität. Für den EQ-i, den wir in unserer Anamnese einsetzen, liegen dazu belastbare Zahlen vor. Die Frage ist, was diese Zahlen tatsächlich beweisen – und was nicht.
Drei Gütekriterien, eine Zielscheibe: das Grundprinzip einfach erklärt
Die drei Kriterien bauen aufeinander auf, wie eine Treppe:
Objektivität ist die unterste Stufe. Sie fragt: Bekommen alle Testpersonen dieselben Bedingungen, dieselbe Auswertung, dieselbe Interpretation? Ohne Objektivität ist gar nichts weiter sinnvoll messbar.
Reliabilität baut darauf auf. Sie fragt: Misst der Test konsistent? Kommen bei wiederholter Messung ähnliche Werte heraus? Das entspricht dem zweiten Pfeilversuch – dicht gebündelt, aber noch nicht zwangsläufig richtig.
Validität ist die höchste Stufe. Sie fragt: Misst der Test tatsächlich das, was er zu messen vorgibt – und trifft er damit die Mitte der Zielscheibe? Ein Test kann hochgradig reliabel sein und trotzdem etwas völlig anderes messen, als er behauptet.
Ohne Objektivität keine Reliabilität, ohne Reliabilität keine Validität. Schauen wir uns an, wie der EQ-i auf jeder dieser drei Stufen abschneidet.
Objektivität: Misst der EQ-i bei jedem Menschen gleich?
Der EQ-i wird online, standardisiert und maschinell ausgewertet. Das ist tatsächlich eine echte Stärke: Es gibt keine unterschiedlichen Interviewer:innen, die Fragen anders stellen, und keine Auswertung nach Bauchgefühl. Jede Person bekommt dieselben Fragen unter denselben Bedingungen, und die Auswertung folgt einem festen Algorithmus.
MHS berichtet außerdem, dass die Ergebnisse zwischen demografischen Gruppen (Geschlecht, ethnische Zugehörigkeit) vergleichbar ausfallen – der Test behandelt also unterschiedliche Personengruppen nicht systematisch unterschiedlich.[1] Das ist ein wichtiger Baustein von Fairness.
Ein Punkt bleibt aber unabhängig von noch so perfekter Standardisierung bestehen: Eine objektive Durchführung und Auswertung macht aus einer subjektiven Angabe keine objektive Tatsache. Der EQ-i wertet konsequent und gleich aus – aber was er auswertet, ist und bleibt eine Selbsteinschätzung.
Reliabilität: Wie zuverlässig sind die Werte wirklich?
Hier liefert MHS konkrete Zahlen, die sich an anerkannten Schwellenwerten messen lassen: Werte über 0,70 gelten als zufriedenstellend, über 0,80 als hoch, über 0,90 als exzellent.
- Innere Konsistenz des Gesamt-EI-Werts: 0,97
- Innere Konsistenz der Hauptskalen: 0,88 bis 0,93
- Innere Konsistenz der Subskalen: durchgängig über 0,77
- Retest-Reliabilität nach 2 bis 4 Wochen: 0,92
- Retest-Reliabilität nach 8 Wochen: 0,81[1]
Das sind, gemessen an den eigenen Maßstäben der Testtheorie, durchweg gute bis exzellente Werte. Ein wichtiger, unabhängiger Beleg dafür: Der EQ-i 2.0 ist im 19. Mental Measurements Yearbook (MMY) gelistet, einem Nachschlagewerk des Buros Center for Testing der University of Nebraska.[2] Das ist keine Selbstauskunft von MHS: Das Buros Center prüft Tests unabhängig vom Hersteller und lässt sie von externen Fachgutachter:innen bewerten, bevor sie überhaupt aufgenommen werden. Fairerweise: Der konkrete Wortlaut dieser Begutachtung liegt hinter einer Bezahlschranke, wir können ihn hier nicht im Detail wiedergeben – die Aufnahme selbst ist aber ein belastbarer Qualitätsindikator.
Validität: Trifft der EQ-i auch das Richtige?
Hier wird es komplizierter, weil Validität kein einzelner Wert ist, sondern sich aus mehreren Bausteinen zusammensetzt. MHS führt unter anderem an: Der EQ-i sagt Berufsleistung voraus, korreliert mit ähnlichen Konstrukten wie Empathie oder sozialer Kompetenz (konvergente Validität) und ist von reiner kognitiver Intelligenz unabhängig (diskriminante Validität).[1]
Genau bei der Vorhersage von Berufsleistung setzt die Kritik an, die wir in unseren letzten beiden Artikeln bereits ausgeführt haben. Eine Meta-Analyse über 62 Studien fand: Der Zusammenhang zwischen EI und Führungserfolg liegt bei 0,59, wenn dieselbe Person beides einschätzt – fällt aber auf 0,12, sobald eine unabhängige zweite Quelle urteilt.[4] Eine weitere Meta-Analyse in einem der führenden Fachjournale ging noch einen Schritt weiter und untersuchte gezielt, warum Selbstbericht-EI-Tests wie der EQ-i überhaupt Berufsleistung vorhersagen: Ein relevanter Teil des Effekts lässt sich durch Überlappung mit allgemeinen Persönlichkeitsmerkmalen erklären, nicht durch einen eigenständigen emotionalen Kompetenzfaktor.[5]
Das betrifft übrigens nicht nur die Kriteriumsvalidität. Auch konvergente Validität wird häufig über den Vergleich mit anderen Selbstbericht-Fragebögen ermittelt – wenn beide Instrumente auf derselben Selbstauskunft beruhen, bleibt dieselbe Grundfrage offen: Wird hier wirklich ein eigenständiges Konstrukt gemessen, oder messen mehrere Fragebögen gemeinsam dieselbe Selbstwahrnehmung?
Die Grenze aller drei Kriterien: Das Selbstbild bleibt Selbstbild
Hier zeigt sich, warum diese drei Gütekriterien so wichtig und gleichzeitig so begrenzt sind. Objektivität, Reliabilität und Validität sind allesamt Aussagen darüber, wie präzise und konsistent ein Messinstrument einen bestimmten Input verarbeitet. Keines der drei Kriterien beantwortet die Frage, ob dieser Input selbst – die Selbsteinschätzung einer Person – der Realität entspricht.
Ein Test kann technisch perfekt gebaut sein und trotzdem konsequent das misst, was jemand über sich selbst glaubt oder zeigen möchte, nicht zwangsläufig das, was andere an dieser Person tatsächlich erleben.
Wie EQ360 und senze.ai diese Lücke schließen
Deshalb setzen wir den EQ-i in der Anamnese nie isoliert ein. EQ360 holt zusätzlich Einschätzungen von Vorgesetzten, Kolleg:innen und Mitarbeitenden ein – das Selbstbild trifft auf das Fremdbild, und genau dort, wo beide auseinanderfallen, entsteht der eigentlich aufschlussreiche Befund. senze.ai ergänzt das um offene, erfahrungsbasierte Fragen zum Arbeitsalltag, die frühzeitig zeigen, wo eine Beziehung zwischen Führungskraft und Team unter Spannung steht – bevor sich das in einem Fragebogenwert überhaupt niederschlägt.
Ein technisch einwandfreier Test bleibt ein Blick aus einer einzigen Perspektive. Erst der Abgleich mehrerer unabhängiger Perspektiven zeigt, wo Selbstbild und Erleben der anderen tatsächlich übereinstimmen.
Jan Schumacher | CEO Zukunftsgefühl
LinkedIn | Malt
Quellen
[1] MHS (2023). The Reliability, Validity and Fairness of the EQ-i 2.0.
[2] Buros Center for Testing, University of Nebraska. Nineteenth Mental Measurements Yearbook (2014).
[3] Kanning, U. P. (2015). Personalauswahl zwischen Anspruch und Wirklichkeit. Springer. https://doi.org/10.1007/978-3-662-45553-1
[4] Harms, P. D., & Credé, M. (2010). Emotional intelligence and transformational and transactional leadership: A meta-analysis. Journal of Leadership & Organizational Studies, 17(1), 5–17. https://doi.org/10.1177/1548051809350894
[5] Joseph, D. L., Jin, J., Newman, D. A., & O’Boyle, E. H. (2015). Why does self-reported emotional intelligence predict job performance? A meta-analytic investigation of mixed EI. Journal of Applied Psychology, 100(2), 298–342. https://doi.org/10.1037/a0037681