Einführung

Die einfache Regressionsanalyse, oft auch als bivariate Regression bezeichnet, wird verwendet, um zu untersuchen, ob ein Zusammenhang zwischen zwei intervallskalierten Variablen besteht. Dabei wird analysiert, wie die abhängige Variable y von der unabhängigen Variable x beeinflusst wird. Man spricht hierbei von der "Regression von y auf x". In diesem Zusammenhang wird die abhängige Variable oft als "Kriteriumsvariable" und die unabhängige Variable als "Prädiktorvariable" bezeichnet.

Die Regressionsanalyse ermöglicht die Beantwortung verschiedener Fragestellungen, die in drei Hauptbereiche unterteilt werden können:

Ursachenanalyse: Besteht ein Zusammenhang zwischen der unabhängigen und der abhängigen Variable, und wenn ja, wie stark ist dieser Zusammenhang?
Wirkungsanalyse: Wie verändert sich die abhängige Variable, wenn sich die unabhängige Variable ändert?
Prognose: Lässt sich die abhängige Variable basierend auf den Werten der unabhängigen Variable vorhersagen?

Die Kausalzusammenhang muss theoretisch begründet sein.

Mister Asker

Zusammengefasst stellt die einfache Regressionsanalyse oft die Frage: "Wie beeinflusst die unabhängige Variable die abhängige Variable?" oder "Kann die abhängige Variable basierend auf den Werten der unabhängigen Variable vorhergesagt werden?".

Beispiele für Fragestellungen

Wie hängen die Motivation und das Bonizahlung in Prozent zusammen?
Um wie viel Prozent steigt Lebenserwartung, wenn die wöchentliche Sportzeit um 10 Minuteneinheiten steigt?
Wie hoch sind die prognostizierten Lebenserwartung mit steigenden Einkommen?

Voraussetzungen für die Regression

✓	Sowohl die abhängige als auch die unabhängige Variable müssen intervallskaliert sein.
✓	Lineare Beziehung: Es wird davon ausgegangen, dass zwischen der abhängigen und der unabhängigen Variable eine lineare Beziehung besteht.
✓	Fehlerwerte sind unabhängig: Die Fehlerwerte sind voneinander unabhängig.
✓	Normalverteilung der Fehlerwerte: Die Verteilung der Fehlerwerte folgt näherungsweise einer Normalverteilung.

Übung

Viele Menschen behaupten, dass die Nebenkosten eine Art zweite Miete darstellen. Im Rahmen dieser Regression soll untersucht, ob dieser Wahrnehmung stimmt. Dazu wurden 100 Teilnehmern befragt. Sie haben ihre Kaltmiete, Warmmiete und Nebenkosten pro m² angeben. In einen zweiten Schritte wurde die Kaltmiete und die Nebenkosten ins Verhältnis gesetzt. Daher wird im Weitern von Prozentpunkten gesprochen.

Der zu analysierende Datensatz enthält daher neben einer ID(ID) eine Variable, die den Nettowarmmiete (Nettwarmmiete) und Kaltmiete(Nettokaltmiete), soswie die Variablen(Nebenkosten), und Nettokosten in Prozent (Nebenkosten_Prozent_von_KaltMiete).

Downloads

In diesem Bereich werden folgende Dokumente zum Download angeboten. Der erste Link ist der Datensatz, der in R eingelesen werden soll. Das Word-Dokument kann als Protokoll verwendet werden. Die Schritte sind bei der Erstellung einer Auswertung immer die gleichen.

Der Datensatz kann hier heruntergeladen werden: Einfache Regression (Excel-Datei)

Das Word-Dokument kann hier heruntergeladen werden: Word-Dokument zur einfachen Regression

Die Methode der kleinsten Quadrate (OLS)

Die Regressionsanalyse ermöglicht es, den Zusammenhang zwischen zwei Variablen durch eine mathematische Funktion darzustellen – meist in Form einer linearen Gerade. Dabei wird die abhängige Variable (üblicherweise als y bezeichnet) als Funktion der unabhängigen Variable x_i beschrieben: y = f(x_i). Das Ziel besteht darin, eine Gleichung zu bestimmen, die diesen Zusammenhang so präzise wie möglich abbildet.

Falls nur eine unabhängige Variable vorhanden ist, kann die Beziehung visuell durch ein Streudiagramm dargestellt werden. Dabei werden die Werte der unabhängigen Variable auf der X-Achse und die der abhängigen Variable auf der Y-Achse aufgetragen. Die einzelnen Messpunkte, die die beobachteten Wertepaare repräsentieren, ergeben eine Punktwolke. In einer beispielhaften Grafik mit fünf beobachteten Punkten (y₁ bis y₅) wird eine Regressionsgerade eingefügt. Diese Linie wird so berechnet, dass sie den Trend der Daten bestmöglich wiedergibt und die Abweichungen minimiert.

Als „optimal“ wird in diesem Kontext beschrieben, dass die Summe der quadrierten Differenzen zwischen den beobachteten Datenpunkten und der angepassten Regressionslinie möglichst klein ausfällt. Daraus leitet sich auch der Name dieser Methode ab: „Methode der kleinsten Quadrate“, auf Englisch Ordinary Least Squares (OLS).

Das Quadrieren der Abstände hat zwei entscheidende Vorteile: Erstens werden positive und negative Abweichungen nicht gegenseitig aufgehoben. Zweitens werden größere Differenzen durch das Quadrieren stärker gewichtet, was eine genauere Anpassung der Regressionsgerade an die Daten zur Folge hat.

Das Regressionsmodell

Die Regressionsgerade wird durch zwei zentrale Parameter definiert: den Y-Achsenabschnitt und die Steigung. Der Y-Achsenabschnitt, dargestellt als β₀ (Beta Null), gibt den Wert der abhängigen Variable y an, wenn die unabhängige Variable x gleich null ist. Daher wird β₀ oft als Konstante bezeichnet.

Die Steigung der Regressionslinie wird durch β₁ (Beta Eins) beschrieben. Sie zeigt an, um wie viel sich die abhängige Variable y verändert, wenn die unabhängige Variable x um eine Einheit steigt. Ein positives β₁ bedeutet, dass y mit steigendem x zunimmt, während ein negatives β₁ darauf hinweist, dass y sinkt, wenn x wächst.

Diese beiden Parameter – β₀ und β₁ – werden als Regressionskoeffizienten bezeichnet. Sie bestimmen sowohl die Lage der Geraden als auch deren Steigungswinkel.

In der Praxis liegen die gemessenen Datenpunkte selten exakt auf der berechneten Regressionsgeraden. Aus diesem Grund beinhalten Regressionsmodelle stets einen sogenannten Fehlerterm (ε), der die Abweichungen zwischen den vorhergesagten Werten und den tatsächlich beobachteten Messpunkten erfasst. Er macht deutlich, welche Einflüsse auf die abhängige Variable y einwirken, die sich nicht allein durch die unabhängige Variable x erklären lassen.

Anders ausgedrückt, steht der Fehlerterm ε für die Differenz zwischen dem vom Modell geschätzten Wert einer einzelnen Beobachtung (i) und dem tatsächlich gemessenen Wert. Da reale Daten oft von mehreren, im Modell nicht berücksichtigten Faktoren beeinflusst werden, ist eine Abweichung unvermeidlich. Somit bildet ε die Summe all jener Effekte ab, die das Modell nicht abdecken kann.

Gleichzeitig dient der Fehlerterm als Gradmesser für die Güte der Modellanpassung. Sind die Fehler im Allgemeinen klein, lässt sich daraus schließen, dass das Modell die beobachteten Werte relativ genau wiedergibt. Geringere Vorhersagegenauigkeit und größere Fehlerschwankungen legen hingegen nahe, dass wichtige Einflussgrößen fehlen oder die Modellstruktur verfeinert werden sollte.

Der Fehlerwert ε ist somit nicht nur ein unvermeidbarer Bestandteil des Regressionsmodells, sondern auch ein Schlüssel zur Weiterentwicklung der Analyse. Häufig lassen sich die Vorhersagen verbessern, indem weitere Variablen aufgenommen oder die Modellform angepasst wird, um den unerklärten Anteil der Streuung zu reduzieren und die Aussagekraft des Modells zu erhöhen.

Dies ergibt das folgende Regressionsmodell:

y = β₀ + β₁x + ε

mit

		y = Wert der abhängigen Variable pro Erhebung
		x = Wert der unabhängigen Variable pro Erhebung
		ε = Fehlerterm pro Erhebung
		β0 und β1 = Regressionskoeffizienten

oder

Die einfache Regressionsanalyse

Quiz

Übungsaufgabe