Kapitel 26 P wie Probleme

In diesem Kapitel möchten wir auf die Problematik der statistischen Signifikanz eingehen. Dabei spielt auch der P-Wert eine Rolle. Glück, oder die Wahrscheinlichkeit, spielt eine grosse Rolle in der Statistik. Viele Gambler (Spieler) waren sehr gute Wahrscheinlichkeitsrechner und Vorläufer der Statistiker

Schauen Sie sich noch einmal das Kapitel 11 Mit Statistik Fragen beantworten an, falls etwas nicht klar ist.

  • P-Werte werden oft falsch interpretiert.
  • Ein nicht-signifikantes Resultat ist kein Beweis, dass es keinen Effekt gibt. Ein nicht-signifikantes Resultat bedeutet nur, dass wir keine Evidenz (Evidenz im Sinne von Hinweise (Indizien), nicht im Sinne von Beweis) gegen die Null-Hypothese haben.
  • Der Punktschätzer, z.B. die Korrelation oder die Effektstärke, darf bei einer schliessenden Statistik nicht ohne Interpretation der statistischen Präzision (P-Wert, Konfidenzintervall, Standardfehler) interpretiert werden. Wenn man in einer kleinen Stichprobe eine Effektstärke von 0.4 findet, heisst dies noch lange nicht, dass die Effektstärke in der Population auch 0.4 ist.
  • Beim Hypothesentesten, wie es heute meist benutzt wird, wird mit dem Schwellenwert des Signifikanzniveaus dichotomisiert. Das ist nützlich, aber problematisch.
  • Es wird empfohlen, wann immer möglich, ein Konfidenzintervall anzugeben.
  • Fälschlicherweise wird manchmal angenommen, dass das Konfidenzintervalle alle Probleme des P-Wertes löst. Dies ist nicht der Fall. Ein Konfidenzintervall führt meistens auch zu einem Dichotomisieren “Beinhaltet das Konfidenzintervall die Nullhypothese oder nicht”

Sie finden hier einen ausgezeichneten Artikel zu den Problemen mit der statistischen Signifikanz

Sie sollten unbedingt auch folgende Webseite lesen - am besten regelmässig! (hier klicken.) 

library(scales)
library(ggplot2)
ggplot(data=data_long, aes(x=Situation, y=Differenz))+
  stat_summary(data=summary, geom="point", aes(y=mean))+
  stat_summary(geom="errorbar", fun.data=mean_cl_normal, width=0.2)+
  geom_hline(yintercept = 0, linetype="dashed", colour="red",size=1)+
  geom_text(data=pValue, aes(x=Situation, y=16, label=""))+
  geom_text(data=pValue, aes(x=Situation, y=12, label=paste0("p-Wert: ", scales::pvalue_format()(p_value))))+
  scale_y_continuous(breaks=seq(-12,21,3))+
  coord_flip()+
  theme_classic()+
  scale_x_discrete(labels=c("Signifikant", "Signifikant", "Nicht Signifikant", "Nicht Signifikant", "Nicht Signifikant", "Nicht Signifikant"))+
  labs(xlab=NULL)+
  theme(axis.title.y=element_blank())
Die Konfidenzintervall lösen nicht alle Probleme des P-Wertes. Mit den Konfidenzintervallen wird trotzdem eine Dichotomisierung in signfikant / nicht-signifikant durchgeführt. Das Konfidenzintervall ist auch verführerisch, weil oft angenommen wird, dass der wahre Wert fast sicher innerhalb des Konfidenzintervalles ist. Dies wissen wir jedoch nicht. Das Konfidenzintervall, das wir sehen, kann gerade eines der Konfidenzintervalle sein, die den wahren Wert nicht beinhalten.

Abbildung 2.8: Die Konfidenzintervall lösen nicht alle Probleme des P-Wertes. Mit den Konfidenzintervallen wird trotzdem eine Dichotomisierung in signfikant / nicht-signifikant durchgeführt. Das Konfidenzintervall ist auch verführerisch, weil oft angenommen wird, dass der wahre Wert fast sicher innerhalb des Konfidenzintervalles ist. Dies wissen wir jedoch nicht. Das Konfidenzintervall, das wir sehen, kann gerade eines der Konfidenzintervalle sein, die den wahren Wert nicht beinhalten.

26.1 Wie beschreibt man Resultate

Lesen Sie dazu bitte diesen Text von Frank Harrell (Statistiker)