Definition

Das Signifikanzniveau gibt an, wie hoch das Risiko ist, das man bereit ist einzugehen, eine falsche Entscheidung zu treffen. In der Regel wird für die meisten Tests ein α-Wert von 0,05 oder 0,01 verwendet. Liegt der gefundene p-Wert eines Tests unter dem festgelegten Alpha-Wert (p < α), wird das Ergebnis als statistisch signifikant bezeichnet. Ein α-Wert von 0,01 zeigt ein "hochsignifikantes" Ergebnis an. Signifikanz drückt aus, wie wahrscheinlich es ist, dass das beobachtete Ergebnis zufällig entstanden ist.
Statistische Signifikanz weist darauf hin, dass eine sehr hohe Wahrscheinlichkeit besteht, dass ein Zusammenhang zwischen zwei Variablen existiert. Dies bedeutet jedoch nicht automatisch, dass das Ergebnis praktisch bedeutsam ist. Ein signifikantes Ergebnis kann zwar statistisch wichtig sein, aber ohne nennenswerte Auswirkungen in der Praxis. Daher müssen Forschende stets prüfen, ob neben der statistischen auch eine praktische Signifikanz vorliegt.

Warum 0,05?

Warum wird das Signifikanzniveau häufig auf 5% gesetzt und nicht auf beispielsweise 25% oder 0,05%? Auch wenn α=0,05 auf den ersten Blick wie eine willkürliche Festlegung wirkt, steckt dahinter eine durchdachte Überlegung. Stellen wir uns ein Signifikanzniveau von α=0,25 vor. In diesem Fall würden wir in etwa einem von vier Fällen einen Fehler 1. Art begehen, das heißt, die Nullhypothese ablehnen, obwohl sie wahr ist. Dies wäre äußerst großzügig und würde die Bedeutung des Begriffs "Signifikanz" stark verwässern. Zwar würde die Wahrscheinlichkeit für einen Fehler 2. Art (die Nullhypothese beibehalten, obwohl die Alternativhypothese gilt) sinken, jedoch wäre dies auf Kosten der Aussagekraft.
Setzen wir hingegen α=0,0005 fest, wäre die Wahrscheinlichkeit für einen Fehler 1. Art extrem gering – nur in einem von 2.000 Fällen würde die Nullhypothese fälschlicherweise abgelehnt. Allerdings steigt hier die Gefahr, die Nullhypothese fälschlicherweise beizubehalten, wenn sie eigentlich falsch ist (Fehler 2. Art). Mit einem solch strengen Alpha-Wert wären viele Studienergebnisse statistisch nicht mehr signifikant und könnten so nicht veröffentlicht werden.
Das Ziel besteht darin, einen Kompromiss zu finden, bei dem sich die Wahrscheinlichkeit von Fehlern 1. und 2. Art im Gleichgewicht befindet. In den meisten wissenschaftlichen Untersuchungen wird dies mit einem Signifikanzniveau von 5% erreicht.