Schiefe Daten

Meine Daten sind nicht nicht ausreichend normalverteilt. In diesem Dokument werden einige Möglichkeiten zur Transformation vorgestellt, damit die Daten “besser” normalverteilt sind.

Rechtsschiefe Daten

Wenn die Daten etwas schief sind, können wir eine Transformation anwenden. Rechtsschiefe Daten können mit einem Logarithmus transformiert werden, um sie symmetrischer zu machen. Achtung: Sind negative Zahlen vorhanden, müssen die Daten vorschoben oder ein anderes Verfahren verwendet werden.

set.seed(100)
x <- rgamma(250, 3,0.5)
hist(x)

hist(log(x))

sehr rechtsschiefe Daten

Wenn die Daten stark rechtsschief sind, gibt einige Möglichkeiten. Achtung: Die Daten sollten nicht Null sein. Sollte die Zahl Null in den Daten vorkommen, müssen sie entweder zuerst verschoden werden oder eine andere Transformation verwendet werden.

1/VARIABLE, wobei VARIABLE durch den Namen der Variablen ersetzt werden muss.

par(mfrow=c(1,3)) 
set.seed(100)
x <- rgamma(250, 2,0.2)
hist(x, breaks= 20)
x<- x+3
hist(x, xlim = c(0,20), breaks = 20, main ="x+3")

hist(1/x, breaks= 20)

Alternative Strategie könnte sein:

par(mfrow=c(2,2)) 
hist(sqrt(x))
hist(log10(x))

hist(1/log(x))
hist(1/sqrt(x))

Umsetzung in R - library(bestNormalize)

Datzensatz

set.seed(100)

x <- rgamma(250, 3, 1)
hist(x, breaks =12)

library(bestNormalize)

Box-Cox Powertransformation

Die Mathematiker George Box und David Cox haben dieses Verfahren entwickelt.

boxcox_obj <- bestNormalize::boxcox(x)

Die Johnson Transformation

Der Algorithmus versucht die optimale Formal mit optimalen Parametern zu ermitteln.

yeojohnson_obj <- yeojohnson(x)

zwei Tranformationsarten

arcsinh_obj <- arcsinh_x(x) #Inverse hyperbolic functions
orderNorm_obj <- orderNorm(x)

Plots

xx <- seq(min(x), max(x), length = 100)
plot(xx, predict(arcsinh_obj, newdata = xx), type = "l", col = 1, ylim = c(-4, 4),
xlab = 'x', ylab = "g(x)")
lines(xx, predict(boxcox_obj, newdata = xx), col = 2)

lines(xx, predict(yeojohnson_obj, newdata = xx), col = 3)
lines(xx, predict(orderNorm_obj, newdata = xx), col = 4)

anzahl<-psych::describe(arcsinh_obj$x.t)
anzahl<-sqrt(anzahl$n)
par(mfrow=c(2,2)) 
hist(arcsinh_obj$x.t, main = "Arcsinh transformation" , breaks =  anzahl)
hist(boxcox_obj$x.t, main = "Box Cox transformation",  breaks =  anzahl)

hist(yeojohnson_obj$x.t, main = "Yeo-Johnson transformation", breaks =  anzahl)

hist(orderNorm_obj$x.t, main = "orderNorm transformation", breaks =  anzahl)

NA
NA

Wie füge ich dem Datensatz die transformierte Spalte hinzu?

Version_1 <- arcsinh_obj$x.t
Version_2 <- boxcox_obj$x.t
Version_3 <- yeojohnson_obj$x.t
Version_4 <- orderNorm_obj$x.t

WelcheVersionsollhinzufuegtwerden <- Version_2
datensatz<-data.frame(x)
datensatz <- cbind(datensatz, "t_Spalte" = WelcheVersionsollhinzufuegtwerden)
head(datensatz)