Zwei Prüfer sollen aus 25 Bewerbern eine Auswahl treffen. Ist der Bewerber geeignet? (ja/nein) In 20 von 25 Fällen stimmten die Beurteilungen der Gutachter überein. Ist dieses Verfahren für eine solche Auswahl geeignet oder nicht?

Nein, das ist es nicht!

Mister Asker




Die beiden Gutachter kamen unabhängig voneinander zu dem Ergebnis, dass es eine Übereinstimmung von 80% gibt, wer geeignet ist und wer nicht. Berücksichtigt man den Zufall, bleibt immer noch eine relativ hohe Übereinstimmung von 68%. Klingt gut, nicht wahr? Aber warum ist der Test trotzdem ungeeignet? Das Problem liegt beim Kappa-Koeffizienten von Cohen. Wie in der Abbildung zu sehen ist, beträgt dieser nur 38%.

EINE KLASSIFIKATION HAT NICHT GENÜGEND INTERSUBJEKTIVE OBJEKTIVITÄT, WENN DER KAPPA-WERT UNTER K = .60 LIEGT. EIN AKZEPTABLER KAPPA-WERT BETRÄGT K = .80.