Schließende Statistik: Konfidenzintervall, p-Wert, Power und Fallzahl

Schließende Statistik zieht aus einer Stichprobe Schlüsse auf eine Grundgesamtheit. Eine Studie mit 400 Patienten will nicht wissen, was bei diesen 400 geschah, sondern was bei künftigen Patienten zu erwarten ist. Weil jede Stichprobe zufällig von der Grundgesamtheit abweicht, braucht es Werkzeuge, die diese Unsicherheit beziffern. Die beiden wichtigsten sind der p-Wert und das Konfidenzintervall; beide werden in der Praxis häufig falsch gelesen.¹

Nullhypothese und Teststatistik

Der klassische Signifikanztest beginnt mit einer Nullhypothese, meist „kein Unterschied zwischen den Gruppen“. Aus den Daten wird eine Teststatistik berechnet, die misst, wie weit das Beobachtete von der Nullhypothese entfernt liegt, zum Beispiel die Differenz zweier Mittelwerte geteilt durch ihren Standardfehler. Der p-Wert ist die Wahrscheinlichkeit, unter der Annahme, dass die Nullhypothese und alle Modellannahmen zutreffen, eine Teststatistik zu erhalten, die mindestens so extrem ist wie die beobachtete.¹ Liegt er unter einer vorab festgelegten Schwelle α, meist 0,05, wird die Nullhypothese verworfen. Diese Logik geht auf das Konzept der Hypothesentests zurück, das Fehlentscheidungen auf lange Sicht begrenzt; über die einzelne Studie sagt sie weniger, als die Zahl vermuten lässt.²

Ein zweiseitiger Test fragt nach Abweichungen in beide Richtungen, ein einseitiger nur in eine. Einseitige Tests erreichen leichter Signifikanz und sind nur gerechtfertigt, wenn eine Abweichung in die andere Richtung vorab als bedeutungslos definiert wurde; das ist in der klinischen Forschung selten, denn eine Therapie kann auch schaden. Eine Ausnahme bilden Nichtunterlegenheitsstudien (Lektion 5).

Was der p-Wert nicht ist

Die Amerikanische Statistische Gesellschaft hat 2016 sechs Grundsätze formuliert, die bis heute die Grundlage für den Umgang mit p-Werten bilden. Der p-Wert kann anzeigen, wie unvereinbar die Daten mit einem bestimmten statistischen Modell sind. Er misst nicht die Wahrscheinlichkeit, dass die untersuchte Hypothese wahr ist, und nicht die Wahrscheinlichkeit, dass die Daten allein durch Zufall entstanden sind. Wissenschaftliche Schlüsse und klinische Entscheidungen sollten nicht allein davon abhängen, ob ein p-Wert eine Schwelle unterschreitet. Richtige Schlussfolgerungen verlangen vollständige Berichterstattung und Transparenz. Der p-Wert misst weder die Größe eines Effekts noch die Bedeutung eines Ergebnisses. Und für sich allein ist er kein gutes Maß für die Evidenz zugunsten eines Modells oder einer Hypothese.³

Exakte p-Werte statt Sternchen

Die Schwelle von 0,05 ist eine Konvention, keine Naturkonstante. Ein p-Wert von 0,049 und einer von 0,051 unterscheiden sich in ihrer Aussage kaum, werden aber oft als „positiv“ und „negativ“ gegensätzlich behandelt. Berichtet werden deshalb exakte p-Werte, etwa „p = 0,03“ statt „p < 0,05“ oder Sternchen, zusammen mit Effektschätzung und Konfidenzintervall. Die Schwelle behält ihre Aufgabe, wenn vor Studienbeginn eine Entscheidungsregel für den primären Endpunkt festgelegt wird; für alle anderen Analysen ist sie eher hinderlich. Transparenz verlangt außerdem, alle durchgeführten Analysen offenzulegen und nicht nur die signifikanten: Wer aus zehn Auswertungen die eine mit p unter 0,05 berichtet, erzeugt einen p-Wert, der seine Bedeutung verloren hat.³

Die Liste der Fehldeutungen ist lang; eine viel zitierte Übersicht führt mehr als zwanzig davon auf.⁴ Drei davon sind in Prüfungen und im Alltag besonders folgenreich: der p-Wert als Wahrscheinlichkeit der Nullhypothese, das nicht signifikante Ergebnis als Beweis der Gleichheit und die Gleichsetzung von statistischer Signifikanz mit klinischer Bedeutung. Wer diese drei vermeidet, liest die meisten Studien bereits deutlich besser als der Durchschnitt.

Das Konfidenzintervall ist die informativere Schwester des p-Werts. Es zeigt nicht nur, ob ein Effekt mit „kein Effekt“ vereinbar ist, sondern auch, wie groß er plausiblerweise ist. Für die klinische Bewertung ist es deshalb die wichtigere Angabe; CONSORT 2025 verlangt für jeden Endpunkt die Effektschätzung mit ihrer Präzision.⁵

Was ein Konfidenzintervall ist

Ein 95-%-Konfidenzintervall entsteht aus einem Verfahren, das bei vielfacher Wiederholung der Studie in 95 % der Fälle den wahren Wert einschließt.¹ Seine Breite hängt von der Streuung der Daten und von der Stichprobengröße ab: Große Studien liefern schmale, kleine Studien breite Intervalle. Praktisch lässt sich ein Intervall als Bereich der mit den Daten gut vereinbaren Effektgrößen lesen. Schließt das 95-%-Intervall den Nullwert aus (0 bei Differenzen, 1 bei Verhältnissen wie relativem Risiko oder Hazard Ratio), ist der entsprechende zweiseitige Test bei α = 0,05 signifikant; schließt es ihn ein, nicht.⁴

Signifikanz und klinische Relevanz

Klinische Relevanz wird nicht aus den Daten abgelesen, sondern vorher festgelegt: Welche Differenz würde die Behandlung ändern, unter Berücksichtigung von Nebenwirkungen, Aufwand und Kosten? Diese minimale klinisch relevante Differenz ist die Referenz, an der ein Konfidenzintervall gemessen wird. Abbildung 1 zeigt fünf typische Konstellationen für eine Risikodifferenz mit einer angenommenen Relevanzgrenze von 5 Prozentpunkten. Intervall A liegt vollständig im Bereich relevanten Nutzens. Intervall B ist signifikant, weil es die Null ausschließt, erreicht aber nirgends die Relevanzgrenze: ein Befund, wie er in sehr großen Studien oder Registerauswertungen häufig vorkommt. Intervall C ist nicht signifikant, aber so breit, dass es sowohl relevanten Nutzen als auch Schaden zulässt; die Studie ist nicht schlüssig und beweist nichts. Intervall D ist ebenfalls nicht signifikant, aber schmal und schließt relevanten Nutzen aus; hier ist die Aussage „kein relevanter Effekt“ gerechtfertigt. Intervall E zeigt einen Nutzen, dessen Größe offen bleibt.

Der Vergleich von C und D ist der Kern vieler Missverständnisse. Beide Studien haben einen p-Wert über 0,05, aber nur D rechtfertigt die Aussage, die Intervention bringe keinen relevanten Nutzen. „Kein Nachweis eines Effekts“ ist nicht dasselbe wie „Nachweis, dass kein Effekt besteht“. Umgekehrt macht ein sehr kleiner p-Wert Intervall B nicht wichtiger: Bei großen Stichproben wird fast jede Abweichung signifikant.⁶ Wer Studien beurteilt, sollte deshalb zuerst nach dem Intervall und der Relevanzgrenze fragen und erst danach nach dem p-Wert. Absolute Effektmaße wie die Risikodifferenz sind für diese Bewertung besser geeignet als relative, weil sie die Ausgangsrate berücksichtigen; die Rechenwege zeigt die Einheit Effektmaße, Beispiele die Einheit Publikationsupdates.

Konfidenzintervall und Stichprobengröße

Weil die Breite eines Intervalls mit der Wurzel der Fallzahl abnimmt, braucht eine Halbierung der Breite die vierfache Zahl an Patienten. Kleine Studien können deshalb kaum je einen relevanten Effekt ausschließen, und ihre signifikanten Ergebnisse überschätzen die Effektgröße häufig: Nur große zufällige Abweichungen überschreiten bei kleiner Fallzahl die Signifikanzschwelle. Dieses Phänomen erklärt, warum eindrucksvolle Effekte aus kleinen Einzelstudien in größeren Folgestudien oft schrumpfen.⁷

Jede Testentscheidung kann auf zwei Arten falsch sein. Die Fallzahlplanung legt vor Studienbeginn fest, wie oft das höchstens geschehen darf, und bestimmt damit, wie viele Patienten nötig sind. Sie ist wissenschaftlich und ethisch geboten: Eine zu kleine Studie belastet Patienten, ohne eine Antwort liefern zu können, eine zu große setzt mehr Patienten als nötig einem Risiko aus.⁸

Power

Die Power ist die Wahrscheinlichkeit, einen vorab festgelegten Effekt bei gegebenen Annahmen mit dem gewählten Test als signifikant zu erkennen. Sie steigt mit der Größe des angenommenen Effekts, mit der Stichprobengröße und mit dem Signifikanzniveau, und sie sinkt mit der Streuung der Daten oder, bei binären Endpunkten und gleichem relativem Effekt, mit sinkender Ereignisrate. Üblich sind 80 oder 90 %. Eine Power von 80 % bedeutet: Selbst wenn der angenommene Effekt tatsächlich besteht, verfehlt jede fünfte Studie dieser Größe die Signifikanz.²

Die Fallzahlformel für zwei Anteile

Für den Vergleich zweier Ereignisraten p₁ und p₂ mit gleich großen Gruppen gilt nach der Normalapproximation: n je Gruppe = [z_1−α/2 × √(2 p̄ (1 − p̄)) + z_1−β × √(p₁(1 − p₁) + p₂(1 − p₂))]² / (p₁ − p₂)², wobei p̄ der Mittelwert beider Raten ist. Für α = 0,05 zweiseitig ist z = 1,96, für 80 % Power 0,84, für 90 % Power 1,28. Entscheidend ist der Nenner: Die Fallzahl wächst mit dem Quadrat des Kehrwerts der Differenz. Eine halb so große Differenz verlangt etwa die vierfache Fallzahl.⁸

Probieren Sie mit dem Rechner aus, was eine optimistische Annahme bewirkt. Wird eine Senkung von 10 auf 3 % angenommen, genügen etwa 194 Patienten je Gruppe. Beträgt der tatsächliche Effekt nur 2 Prozentpunkte (10 auf 8 %), wären über 3200 je Gruppe nötig. Genau diese Lücke fand eine Analyse multizentrischer Anästhesiestudien großer Zeitschriften aus den Jahren 2011 bis 2021: Der Median der angenommenen absoluten Effekte lag bei 7 %, der beobachteten bei 2 %.⁷

Die Zielgröße ist die wichtigste Annahme

Die Wahl der Zielgröße, also des angenommenen Unterschieds, ist die folgenreichste Entscheidung der Fallzahlplanung.⁸ Sie sollte sich an einer klinisch relevanten Differenz und an realistischen Schätzungen aus Vorstudien orientieren, nicht an der verfügbaren Patientenzahl. Eine unrealistisch große Annahme erzeugt eine scheinbar ausreichend große, tatsächlich aber zu schwache Studie. Zusätzlich müssen Ausfälle, Protokollabweichungen, Cluster (Designeffekt, siehe Daten beschreiben) und Zwischenauswertungen berücksichtigt werden; dafür reicht die einfache Formel oft nicht. SPIRIT 2025 verlangt, dass das Protokoll die Grundlage der Fallzahlberechnung, die statistischen Methoden und den Umgang mit fehlenden Daten vorab beschreibt und den statistischen Analyseplan zugänglich macht.⁹

Zwischenauswertungen und vorzeitiger Abbruch

Große Studien werden oft mit geplanten Zwischenauswertungen durchgeführt, damit ein klarer Nutzen oder Schaden früh erkannt wird. Jede Zwischenauswertung ist ein zusätzlicher Test; ohne Anpassung stiege die Wahrscheinlichkeit eines falsch positiven Ergebnisses. Deshalb werden strenge Abbruchgrenzen verwendet, die zu frühen Zeitpunkten sehr kleine p-Werte verlangen und das Signifikanzniveau für die Endauswertung weitgehend erhalten (Lehrbuchwissen). Wird eine Studie wegen Nutzens vorzeitig beendet, ist der geschätzte Effekt dennoch häufig zu groß, weil der Abbruch gerade dann erfolgt, wenn der Zufall den Effekt vergrößert hat. Wird sie dagegen wegen langsamer Rekrutierung beendet, fehlt die geplante Power. In beiden Fällen gehören der Grund des Abbruchs und die erreichte Fallzahl in die Bewertung; SPIRIT 2025 verlangt, Abbruchregeln und Zwischenauswertungen vorab im Protokoll festzulegen.⁹

Nachträgliche Power

Nach einer nicht signifikanten Studie wird gelegentlich eine „beobachtete Power“ aus dem gefundenen Effekt berechnet. Diese Rechnung liefert keine neue Information: Sie ist eine direkte Umrechnung des p-Werts, und ein nicht signifikantes Ergebnis hat zwangsläufig eine niedrige beobachtete Power.^{4, 6} Aussagekräftig ist stattdessen das Konfidenzintervall: Es zeigt, welche Effekte die Studie ausschließen kann und welche nicht.

Die Wahl des Tests folgt aus drei Fragen: Welcher Datentyp liegt vor, wie viele Gruppen werden verglichen, und sind die Beobachtungen unabhängig oder verbunden? Verbunden (gepaart) sind Daten, wenn dieselben Patienten zweimal gemessen werden, wenn Patienten gezielt paarweise zugeordnet wurden oder wenn in einer Überkreuzstudie beide Behandlungen nacheinander erfolgen.²

Parametrisch oder nichtparametrisch

Parametrische Tests wie der t-Test setzen voraus, dass die Stichprobenmittelwerte annähernd normalverteilt sind; bei mittleren und großen Stichproben ist das dank des zentralen Grenzwertsatzes auch bei mäßig schiefen Rohdaten meist erfüllt. Rangbasierte Tests wie der Mann-Whitney-U-Test brauchen diese Annahme nicht und eignen sich für ordinale Daten wie Schmerzskalen. Sie vergleichen die Verteilungen über Ränge; nur wenn die Verteilungen dieselbe Form haben, lässt sich das Ergebnis als Unterschied der Mediane deuten. Der Chi-Quadrat-Test für Anteile ist eine Näherung; sind erwartete Zellhäufigkeiten klein (Faustregel: unter 5), ist der exakte Test nach Fisher vorzuziehen. Der häufigste Fehler in der Praxis ist nicht die Wahl zwischen diesen Tests, sondern das Übersehen verbundener Daten: Werden Vorher-Nachher-Messungen wie zwei unabhängige Gruppen ausgewertet, geht die Paarung verloren, und die Power sinkt, weil die Unterschiede zwischen Patienten die Veränderung innerhalb der Patienten überdecken.

Multiples Testen

Jeder Test mit α = 0,05 hat, wenn die Nullhypothese stimmt, eine Wahrscheinlichkeit von 5 % für ein falsch positives Ergebnis. Werden viele Tests durchgeführt, summiert sich dieses Risiko. Die familienweise Fehlerrate, also die Wahrscheinlichkeit mindestens eines falsch positiven Ergebnisses, beträgt bei k unabhängigen Tests 1 − 0,95^k und steigt bei 20 Tests auf über 60 %.¹⁰ Viele sekundäre Endpunkte, Subgruppen, Zeitpunkte und alternative Auswertungen erzeugen so fast zwangsläufig „signifikante“ Befunde.

Gegenmittel gibt es auf drei Ebenen. In der Planung wird ein einziger primärer Endpunkt festgelegt, alle weiteren gelten als sekundär oder explorativ; das Protokoll benennt die Analysen vorab.⁹ In der Auswertung korrigieren Verfahren das Signifikanzniveau: Die Bonferroni-Korrektur teilt α durch die Zahl der Tests und ist einfach, aber konservativ; das Verfahren nach Holm ist schrittweise und etwas mächtiger; Verfahren zur Kontrolle der Falschentdeckungsrate begrenzen den erwarteten Anteil falscher Befunde unter allen signifikanten und eignen sich für explorative Analysen mit vielen Tests.¹⁰ In der Deutung schließlich werden Subgruppenbefunde und sekundäre Endpunkte als hypothesengenerierend gelesen, besonders wenn der primäre Endpunkt neutral war.

Nicht jede Studie will zeigen, dass eine Behandlung besser ist. Oft genügt der Nachweis, dass eine einfachere, billigere oder sicherere Behandlung nicht relevant schlechter ist (Nichtunterlegenheit) oder dass zwei Behandlungen praktisch gleichwertig sind (Äquivalenz). Dafür ist ein eigenes Design nötig, denn ein nicht signifikanter Überlegenheitstest beweist keine Gleichwertigkeit.¹¹

Die Nichtunterlegenheitsgrenze

Kern jeder Nichtunterlegenheitsstudie ist die vorab festgelegte Grenze (Marge): der größte Nachteil, der für die Vorteile der neuen Behandlung noch hingenommen würde. Nichtunterlegenheit gilt als gezeigt, wenn die Grenze des Konfidenzintervalls auf der Seite des Nachteils die Marge nicht überschreitet. Üblich ist dafür ein zweiseitiges 95-%-Intervall, was einem einseitigen Test mit α = 0,025 entspricht. Die Marge muss klinisch und statistisch begründet sein, etwa aus dem bekannten Effekt der Vergleichsbehandlung gegenüber Placebo; eine großzügige Marge macht fast jede Behandlung „nicht unterlegen“.¹²

Ein Beispiel aus der perioperativen Medizin

POISE-3 randomisierte 9535 Patienten mit nichtkardialen Eingriffen zu Tranexamsäure oder Placebo. Der primäre Wirksamkeitsendpunkt (zusammengesetzt aus lebensbedrohlicher, schwerer oder organkritischer Blutung) trat unter Tranexamsäure bei 9,1 % und unter Placebo bei 11,7 % auf, Hazard Ratio 0,76 (95-%-KI 0,67 bis 0,87). Der primäre Sicherheitsendpunkt, ein zusammengesetzter kardiovaskulärer Endpunkt, sollte Nichtunterlegenheit mit einer Marge von 1,125 für die Hazard Ratio zeigen. Er trat bei 14,2 % gegenüber 13,9 % auf, Hazard Ratio 1,02 (95-%-KI 0,92 bis 1,14). Weil die obere Grenze die Marge knapp überschritt, war die Nichtunterlegenheit formal nicht gezeigt.¹³ Das Beispiel zeigt die Logik: Nicht der Punktschätzer, sondern die ungünstige Grenze des Intervalls entscheidet, und ein fast identischer Punktschätzer ist noch kein Beleg der Sicherheit. Zugleich zeigt es, dass eine formal verfehlte Nichtunterlegenheit keinen Schaden beweist; das Intervall ist mit keinem und mit einem kleinen Nachteil vereinbar.

Äquivalenz und die Wahl der Analysepopulation

Äquivalenz verlangt, dass das gesamte Konfidenzintervall innerhalb einer oberen und einer unteren Grenze liegt; das entspricht zwei einseitigen Tests. In Überlegenheitsstudien ist die Auswertung nach randomisierter Zuteilung (Intention-to-treat) konservativ, weil Protokollverletzungen die Gruppen einander angleichen. In Nichtunterlegenheitsstudien wirkt dieselbe Angleichung zugunsten der Nichtunterlegenheit. Deshalb werden beide Analysen berichtet, die nach Zuteilung und die nach tatsächlicher Behandlung (per protocol), und beide sollten zum selben Schluss kommen.^{12, 11} CONSORT 2025 verlangt in jedem Fall eine klare Definition der Analysepopulation.⁵

Ein signifikantes Ergebnis ist ein Hinweis, kein Beweis. Zwei Werkzeuge helfen, seine Belastbarkeit einzuschätzen: der Fragility Index, der nach der numerischen Stabilität fragt, und die bayesianische Deutung, die nach der Wahrscheinlichkeit eines echten Effekts fragt.

Fragility Index

Der Fragility Index (FI) ist die kleinste Zahl an Patienten, deren Ergebnis von „kein Ereignis“ zu „Ereignis“ wechseln müsste, damit ein signifikantes Ergebnis nicht mehr signifikant ist. Berechnet wird er für zweiarmige Studien mit binärem Endpunkt, indem in der Gruppe mit weniger Ereignissen schrittweise Ereignisse hinzugefügt und der exakte Test nach Fisher neu berechnet wird.¹⁴ Ein FI von 2 bedeutet: Hätten zwei Patienten ein anderes Ergebnis gehabt, wäre die Studie „negativ“. Liegt die Zahl der Patienten ohne Nachbeobachtung über dem FI, hängt das Ergebnis im Prinzip an den fehlenden Daten.

Eine methodische Untersuchung der randomisierten Studien, auf die sich nordamerikanische und europäische perioperative Leitlinien der Jahre 2012 bis 2022 stützen, fand für 161 Überlegenheitsstudien eine mediane Fallzahl von 120 Patienten und einen medianen FI von 4 (Interquartilsabstand 2 bis 8). In pädiatrischen Studien lag der Median bei 1, und monozentrische Studien waren fragiler als multizentrische.¹⁵ Der FI hat Grenzen: Er gilt nur für binäre Endpunkte, hängt an der willkürlichen Schwelle 0,05 und ist eng mit p-Wert und Fallzahl verknüpft. Er ergänzt deshalb die Bewertung von Qualität und Vertrauenswürdigkeit der Evidenz, ersetzt sie aber nicht.¹⁵

Bayesianische Deutung

Die frequentistische Statistik beantwortet die Frage: Wie wahrscheinlich sind diese Daten, wenn kein Effekt besteht? Klinisch interessiert meist die umgekehrte Frage: Wie wahrscheinlich besteht ein Effekt, gegeben diese Daten? Diese Frage beantwortet die bayesianische Statistik. Sie verbindet eine Vorabannahme (Prior) mit der Information der Daten (Likelihood) zu einer Nachher-Verteilung (Posterior), aus der sich etwa die Wahrscheinlichkeit eines Nutzens oder eines klinisch relevanten Nutzens ablesen lässt.¹⁶ Die Logik gleicht der Nachtestwahrscheinlichkeit eines diagnostischen Tests (siehe Diagnostische Tests): Der Bayes-Faktor spielt die Rolle der Likelihood-Ratio, er gibt an, wie viel wahrscheinlicher die Daten unter der einen Hypothese sind als unter der anderen, und Nachher-Odds sind Vorab-Odds mal Bayes-Faktor.

Ein Rechenbeispiel verdeutlicht, warum „p < 0,05“ weniger sicher ist, als es scheint. Angenommen, von 1000 geprüften Interventionen sind 100 tatsächlich wirksam, die Studien haben 80 % Power und α = 0,05. Dann werden 80 wirksame Interventionen richtig erkannt, aber auch 45 der 900 unwirksamen erscheinen signifikant. Von 125 „positiven“ Studien sind damit 45, also 36 %, falsch positiv. Bei 50 % Power wären es fast die Hälfte. Eine bayesianisch begründete Übersicht zeigt entsprechend, dass die Wahrscheinlichkeit einer unwirksamen Intervention trotz p ≤ 0,05 unter bestimmten Umständen über 25 % liegt, und schlägt Bayes-Faktoren und das Falsch-positiv-Risiko als Ergänzung zu p-Wert und Konfidenzintervall vor.¹⁷

Merksätze

• Der p-Wert beschreibt die Daten unter der Nullhypothese, nicht die Wahrscheinlichkeit der Hypothese.³
• Erst das Konfidenzintervall, dann der p-Wert: Intervall gegen Nullwert und Relevanzgrenze lesen.
• Nicht signifikant heißt nicht gleich; nur ein schmales Intervall innerhalb der Relevanzgrenzen zeigt Gleichwertigkeit.⁴
• Die Fallzahl wächst mit dem Quadrat des Kehrwerts der Differenz; optimistische Annahmen erzeugen zu kleine Studien.^{8, 7}
• Die nachträglich berechnete Power ist eine Umrechnung des p-Werts.⁶
• Ein primärer Endpunkt, vorab festgelegte Analysen, Korrektur bei vielen Tests.^{10, 9}
• Nichtunterlegenheit: ungünstige Intervallgrenze gegen die vorab begründete Marge.¹²
• Fragility Index unter der Zahl der Verlorenen: Das Ergebnis hängt an den fehlenden Daten.¹⁴

Aufgaben