Trennschärfe eines Tests

Trennschärfe eines Tests^[1]^[2]^[3] beschreibt die Unterscheidungsfähigkeit eines statistischen Tests zwischen konkurrierenden Hypothesen. Andere Ausdrücke hierfür sind Güte^[4], Macht^[5], Power^[6], Schärfe eines Tests, Teststärke^[7]^[8] oder Testschärfe. Das entsprechende Fachgebiet ist die Testtheorie, ein Teilgebiet der mathematischen Statistik. Im Kontext der Beurteilung eines binären Klassifikators wird die Trennschärfe eines Tests auch als Sensitivität (recall) bezeichnet. Die Trennschärfe eines Tests ist genauso wie das Niveau eines Tests ein Begriff, der aus der Gütefunktion (Trennschärfefunktion) abgeleitet ist.

Die Trennschärfe eines Tests gibt die Fähigkeit eines Tests an, Unterschiede (Effekte) zu erkennen, wenn sie in Wirklichkeit vorhanden sind. Genauer gesagt gibt die Trennschärfe an, mit welcher Wahrscheinlichkeit ein statistischer Test die abzulehnende Nullhypothese $H_{0}$ („Es gibt keinen Unterschied“) korrekt zurückweist, wenn die Alternativhypothese $H_{1}$ („Es gibt einen Unterschied“) wahr ist. Unter der Annahme, dass die Nullhypothese die Abwesenheit einer bestimmten Krankheit („nicht krank“), die Alternativhypothese das Vorhandensein der Krankheit („krank“) und die Ablehnung der Nullhypothese einen positiven diagnostischen Test darstellt, ist die Trennschärfe des Tests äquivalent^[9] zur Sensitivität des Tests (der Wahrscheinlichkeit, dass ein Kranker ein positives Testergebnis aufweist). Zugleich stellt diese Tatsache einen Brückenschlag zwischen der Testtheorie und der Theorie diagnostischen Testens dar.^[10]

Die Trennschärfe des Tests kann also als „Ablehnungskraft“ des Tests interpretiert werden.^[11] Es wird versucht, den Ablehnbereich $A$ so zu bestimmen, dass die Wahrscheinlichkeit für die Ablehnung einer „falschen Nullhypothese“ $H_{0}$ , d. h. für Beibehaltung der Alternativhypothese $H_{1}$ unter der Bedingung, dass $H_{1}$ wahr ist, möglichst groß ist: $\operatorname {Pr} (T\in A\mid H_{1})\;=1-\beta$ . Um die Trennschärfe eines Tests berechnen zu können, muss die Alternativhypothese in Form einer konkreten Punkthypothese spezifiziert sein.

Sie bildet das Komplement zur Typ-II-Fehlerwahrscheinlichkeit $\beta$ , d. h. der Wahrscheinlichkeit, bei Gültigkeit von $H_{1}$ fälschlich zugunsten der Nullhypothese ( $H_{0}$ ) zu entscheiden. Die Trennschärfe selbst ist also die Wahrscheinlichkeit, einen ebensolchen Fehler zu vermeiden.

Beschreibung

Darstellung der Trennschärfe und des Signifikanzniveaus eines statistischen Tests bei gegebener Nullhypothese (sampling distribution 1) und Alternativhypothese (sampling distribution 2). Eingezeichnet ist ebenso der kritische Wert, der meist durch die Wahl des Signifikanzniveaus festgelegt wird.

Für eine Fehlerwahrscheinlichkeit vom Typ II $\beta$ beträgt die entsprechende Trennschärfe $1-\beta$ . Wenn beispielsweise Experiment E eine Trennschärfe von $0{,}7$ und Experiment F eine Trennschärfe von $0{,}95$ hat, besteht eine höhere Wahrscheinlichkeit, dass Experiment E einen Typ-II-Fehler aufweist als Experiment F, und Experiment F ist, aufgrund seiner geringeren Wahrscheinlichkeit eines Fehlers vom Typ II, zuverlässiger als Experiment E. Äquivalent kann die Trennschärfe eines Tests als die Wahrscheinlichkeit angesehen werden, dass ein statistischer Test die abzulehnende Nullhypothese $H_{0}$ („Es gibt keinen Unterschied“) korrekt zurückweist, wenn die Alternativhypothese $H_{1}$ („Es gibt einen Unterschied“) wahr ist, d. h.

{\text{Trennschärfe}}=\Pr \left({\text{ablehnen}}\;H_{0}\mid H_{1}\;{\text{ist wahr}}\right)=1-\beta

.

Sie kann also als Fähigkeit eines Tests angesehen werden, einen bestimmten Effekt zu erkennen, wenn dieser bestimmte Effekt tatsächlich vorliegt. Wenn $H_{1}$ keine Gleichheit ist, sondern lediglich die Negation von $H_{0}$ (so hätte man zum Beispiel für $H_{0}:\mu =0$ mit einem nicht beobachtbaren Populationsparameter $\mu$ als Negation einfach $H_{1}:\mu \neq 0$ ), dann kann die Trennschärfe des Tests nicht berechnet werden, es sei denn die Wahrscheinlichkeiten für alle möglichen Werte des Parameters, die die Nullhypothese verletzen sind bekannt. Man bezieht sich also allgemein auf die Trennschärfe eines Tests gegen eine spezifische Alternativhypothese (Punkthypothese).

Mit zunehmender Trennschärfe nimmt die Wahrscheinlichkeit eines Fehlers vom Typ II ab, da die Trennschärfe gleich $1-\beta$ ist. Ein ähnliches Konzept ist die Fehlerwahrscheinlichkeit vom Typ I. Je kleiner bei vorgegebenem Fehler 1. Art $\alpha$ die Wahrscheinlichkeit $\beta$ ist, desto schärfer trennt der Test $H_{0}$ und $H_{1}$ . Ein Test heißt trennscharf, wenn er im Vergleich zu anderen möglichen Tests bei vorgegebenem $\alpha$ eine relativ hohe Trennschärfe aufweist. Wenn $H_{0}$ wahr ist, ist die maximale Trennschärfe eines Tests gleich $\alpha$ .^[12]

		H₀ ist wahr	H₁ ist wahr
		Wirklichkeit
Entscheidung des Tests …	… für H₀	Richtige Entscheidung (Spezifität) Wahrscheinlichkeit: 1 - α	Fehler 2. Art Wahrscheinlichkeit: β
Entscheidung des Tests …	… für H₁	Fehler 1. Art Wahrscheinlichkeit: α	richtige Entscheidung Wahrscheinlichkeit: 1-β (Trennschärfe des Tests)

Trennschärfe-Analysen

Trennschärfe-Analysen bzw. Power-Analysen können verwendet werden, um die erforderliche minimale Stichprobengröße zu berechnen, bei der mit hinreichender Wahrscheinlichkeit (Trennschärfe $1-\beta$ ) ein Effekt einer bestimmten Größe (Effektstärke) erkannt werden kann. Beispiel: „Wie oft muss ich eine Münze werfen, um zu dem Schluss zu kommen, dass sie um ein gewisses Ausmaß manipuliert ist?“. Im Kontext der Beurteilung eines binären Klassifikators wird die Trennschärfe eines Tests auch als Sensitivität bezeichnet.

Trennschärfe-Analysen sind in vielen Software-Bibliotheken implementiert, beispielsweise im Python-Paket statsmodels^[13], in der Software G*power und in der statistischen Umgebung R^[14].

Faustregel Stichprobengröße

Die grobe Faustregel von Lehr^[15]^[16] besagt, dass die Stichprobengröße $n$ für einen zweiseitigen Zweistichproben-t-Test mit Trennschärfe 80 % ( $\beta =0{,}2$ ) und Signifikanzniveau $\alpha =0{,}05$ folgendes gilt:

n\approx 16{\frac {s^{2}}{\delta ^{2}}},

wobei $s^{2}$ die (geschätzte) Populationsvarianz ist und $\delta =\mu _{1}-\mu _{2}$ die zu detektierenden Unterschiede der Mittelwerte beider Stichproben. Um die Trennschärfe auf 90 % zu erhöhen muss statt mit 16 mit 21 multipliziert werden. Für einen Einstichproben-t-Test wird 16 mit 8 ersetzt.

Eine intuitive Erklärung ist laut Lehr, dass bei einer Standardnormalverteilung circa 80 % der Fläche unter der Wahrscheinlichkeitsdichte rechts von $z=-0{,}84$ liegt. Daher sollte bei $\beta =20\%$ am kritischen Wert $\delta _{c}=1{,}96S.E.$ folgendes gelten:

\delta -0{,}84S.E.=\delta _{c}\Leftrightarrow {\frac {\delta -\delta _{c}}{S.E.}}=0{,}84,

wobei $S.E.={\sqrt {2}}s/{\sqrt {n}}$ der mit ${\sqrt {2}}$ multiplizierte Standardfehler des Mittelwertes ist (wobei der Faktor ${\sqrt {2}}$ auftritt, da die Standardabweichung der Schätzung der Differenz zweier Mittelwerte betrachtet wird). Auflösen nach $n$ liefert

n\approx 15{,}68{\frac {s^{2}}{\delta ^{2}}}\approx 16{\frac {s^{2}}{\delta ^{2}}}.

Der Wert der Faustregel liegt in der einfachen Form (welche auch nach $\delta$ umgestellt werden kann) und der leichten Merkbarkeit. Bei genauen Aussagen, sollte man eine Trennschärfen-Analyse mit einer Software-Bibliothek durchführen.

Etwas allgemeiner erhält man^[17]: $n=2(z(\alpha )+z(1-\beta ))^{2}{\frac {s^{2}}{\delta ^{2}}}$ , mit $z(\alpha )$ der Z-Score für das Signifikanzniveau $\alpha$ ist (z. B. $z(\alpha =0{,}05)=1{,}96$ und $z(1-\beta =0{,}2)=z(0{,}8)=0{,}84$ ), also somit wie oben $n=15{,}6{\frac {s^{2}}{\delta ^{2}}}.$

Wahl des β-Fehler-Niveaus

Einfluss des Stichprobenumfangs auf die Gütefunktion bzw. Trennschärfe eines einseitigen (in diesem Fall linksseitigen) Tests

Einfluss des Stichprobenumfangs auf die Gütefunktion bzw. Trennschärfe eines zweiseitigen Tests

Für Wirksamkeitsstudien medizinischer Behandlungen schlägt Cohen (1969: 56) für $\beta$ einen 4-mal so hohen Wert wie für das Signifikanzniveau $\alpha$ vor. Wenn $\alpha =5\,\%$ ist, sollte das $\beta$ -Fehler-Niveau also 20 % betragen. Liegt in einer Untersuchung die $\beta$ -Fehler-Wahrscheinlichkeit (Wahrscheinlichkeit für einen Fehler 2. Art) unter dieser 20 %-Grenze, so ist die Trennschärfe ( $1-\beta$ ) damit größer als 80 %.

Es sollte dabei bedacht werden, dass $\beta$ -Fehler bei vorgegebenem, festem Signifikanzniveau $\alpha$ im Allgemeinen nicht direkt kontrolliert werden können. So ist der $\beta$ -Fehler bei vielen asymptotischen oder nichtparametrischen Tests schlechthin unberechenbar oder es existieren nur Simulationsstudien. Bei einigen Tests dagegen, zum Beispiel dem t-Test, kann der $\beta$ -Fehler kontrolliert werden, wenn der statistischen Auswertung eine Stichprobenumfangsplanung vorausgeht.

Ein (aus den Parametern des t-Tests induzierter) Äquivalenztest kann verwendet werden, um den (t-Test) $\beta$ -Fehler unabhängig von der Fallzahlplanung zu kontrollieren. In diesem Fall ist das (t-Test) Signifikanzniveau $\alpha$ variabel.

Bestimmungsfaktoren der Trennschärfe

Es gibt verschiedene Möglichkeiten zur Erhöhung der Trennschärfe eines Tests. Die Trennschärfe ( $1-\beta$ ) wird größer:^[18]

mit wachsender Differenz von $(\mu _{0}-\mu _{1})$ (das bedeutet: ein großer Unterschied zwischen zwei Teilpopulationen wird seltener übersehen als ein kleiner Unterschied)
mit kleiner werdender Merkmalsstreuung $\sigma$
mit größer werdendem Signifikanzniveau $\alpha$ (sofern $\beta$ nicht festgelegt ist)
mit wachsendem Stichprobenumfang, da der Standardfehler dann kleiner wird: $\sigma _{\overline {x}}={\frac {\sigma }{\sqrt {n}}}$ . Kleinere Effekte lassen sich durch einen größeren Stichprobenumfang trennen
bei einseitigen Tests im Vergleich zu zweiseitigen Tests: Für den zweiseitigen Test braucht man einen etwa um $25\,\%$ größeren Stichprobenumfang, um dieselbe Trennschärfe wie für den einseitigen Test zu erreichen.
durch die Verwendung des besten bzw. trennschärfsten (englisch most powerful) Tests^[12]
durch die Reduktion von Streuung in den Daten, z. B. durch den Einsatz von Filtern oder die Wahl von homogenen Untergruppen (Stratifizierung)^[12]
durch die Erhöhung der Empfindlichkeit des Messverfahrens (Verstärken der Effekte, z. B. durch höhere Dosierung)^[12]

Wichtig für die Trennschärfe bzw. Power ist auch die Art des statistischen Tests: Parametrische Tests wie zum Beispiel der t-Test haben, falls die Verteilungsannahme stimmt, bei gleichem Stichprobenumfang stets eine höhere Trennschärfe als nichtparametrische Tests wie zum Beispiel der Wilcoxon-Vorzeichen-Rang-Test. Weichen die angenommene und die wahre Verteilung jedoch voneinander ab, liegt also beispielsweise in Wahrheit eine Laplace-Verteilung zugrunde, während eine Normalverteilung angenommen wurde, können nichtparametrische Verfahren jedoch auch eine wesentlich größere Trennschärfe aufweisen als ihre parametrischen Gegenstücke.

Entgegengesetzte Notation

In manchen Quellen wird – was für Verwirrung sorgen kann – für den Fehler 2. Art und die Trennschärfe die genau entgegengesetzte Notation verwendet, also die Wahrscheinlichkeit, einen Fehler 2. Art zu begehen, mit dem Wert $1-\beta$ bezeichnet, die Trennschärfe dagegen mit $\beta$ .^[19]

Siehe auch

Operationscharakteristik
G*Power (Software zur Durchführung von Poweranalysen)

Literatur

Jacob Cohen: Statistical Power Analysis for the Behavioral Sciences. Erlbaum, Hillsdale, NJ 1969, ISBN 0-8058-0283-5.

Weblinks

Wiktionary: Power – Bedeutungserklärungen, Wortherkunft, Synonyme, Übersetzungen

Einzelnachweise

↑ Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz: Statistik. Der Weg zur Datenanalyse. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2016, ISBN 978-3-662-50371-3, S. 460.
↑ Otfried Beyer, Horst Hackel: Wahrscheinlichkeitsrechnung und mathematische Statistik. 1976, S. 154.
↑ Bernd Rönz, Hans G. Strohe (1994): Lexikon Statistik. Gabler Verlag, S. 147
↑ Otfried Beyer, Horst Hackel: Wahrscheinlichkeitsrechnung und mathematische Statistik. 1976, S. 154.
↑ Bernd Rönz, Hans G. Strohe (1994): Lexikon Statistik. Gabler Verlag, S. 147
↑ Lothar Sachs, Jürgen Hedderich: Angewandte Statistik: Methodensammlung mit R. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2018, ISBN 978-3-662-56657-2, S. 460.
↑ Lothar Sachs, Jürgen Hedderich: Angewandte Statistik: Methodensammlung mit R. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2018, ISBN 978-3-662-56657-2, S. 460.
↑ Bernd Rönz, Hans G. Strohe (1994): Lexikon Statistik. Gabler Verlag, S. 147
↑ Dies gilt, da $1-\beta =1-{\frac {f_{\text{n}}}{f_{\text{n}}+r_{\text{p}}}}={\frac {f_{\text{n}}+r_{\text{p}}}{f_{\text{n}}+r_{\text{p}}}}-{\frac {f_{\text{n}}}{f_{\text{n}}+r_{\text{p}}}}={\frac {r_{\text{p}}}{f_{\text{n}}+r_{\text{p}}}}={\text{Sensitivität}}$ . Für die Bedeutung der Notation, siehe Wahrheitsmatrix: Richtige und falsche Klassifikationen.
↑ F. J. Dorey: Statistics in brief: Statistical power: what is it and when should it be used? In: Clinical orthopaedics and related research. Band 469, Nummer 2, Februar 2011, S. 619–620, doi:10.1007/s11999-010-1435-0, PMID 20585913, PMC 3018227 (freier Volltext).
↑ Ludwig von Auer: Ökonometrie. Eine Einführung. 6., durchges. u. aktualisierte Auflage. Springer, 2013, ISBN 978-3-642-40209-8, S. 128.
↑ ^a ^b ^c ^d Lothar Sachs, Jürgen Hedderich: Angewandte Statistik: Methodensammlung mit R. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2018, ISBN 978-3-662-56657-2, S. 461
↑ Statistics stats power-and-sample-size-calculations — statsmodels. Abgerufen am 24. Oktober 2021.
↑ Marco Perugini, Marcello Gallucci und Giulio Costantini: A Practical Primer To Power Analysis for Simple Experimental Designs. Band 31, Nr. 1, 9. Juli 2018, S. 20, doi:10.5334/irsp.181 (rips-irsp.com [abgerufen am 10. Februar 2023]).
↑ Robert Lehr: SixteenS-squared overD-squared: A relation for crude sample size estimates. In: Statistics in Medicine. Band 11, Nr. 8, 1992, ISSN 0277-6715, S. 1099–1102, doi:10.1002/sim.4780110811.
↑ Gerald van Belle: Statistical Rules of Thumb, Second Edition (= Wiley Series in Probability and Statistics). John Wiley & Sons, Inc., Hoboken, NJ, USA 2008, ISBN 978-0-470-37796-3.
↑ Sample Size Estimation in Clinical Research From Randomized Controlled Trials to Observational Studies, 2020, doi:10.1016/j.chest.2020.03.010, Xiaofeng Wang, PhD; and Xinge Ji, MS pdf
↑ J. Bortz: Statistik für Sozialwissenschaftler. Springer, Berlin 1999, ISBN 3-540-21271-X.
↑ Erwin Kreyszig: Statistische Methoden und ihre Anwendungen. 7. Auflage. Göttingen 1998, S. 209ff.

[1] Ludwig Fahrmeir, Rita Künstler, Iris Pigeot, Gerhard Tutz: Statistik. Der Weg zur Datenanalyse. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2016, ISBN 978-3-662-50371-3, S. 460.

[2] Otfried Beyer, Horst Hackel: Wahrscheinlichkeitsrechnung und mathematische Statistik. 1976, S. 154.

[3] Bernd Rönz, Hans G. Strohe (1994): Lexikon Statistik. Gabler Verlag, S. 147

[4] Otfried Beyer, Horst Hackel: Wahrscheinlichkeitsrechnung und mathematische Statistik. 1976, S. 154.

[5] Bernd Rönz, Hans G. Strohe (1994): Lexikon Statistik. Gabler Verlag, S. 147

[6] Lothar Sachs, Jürgen Hedderich: Angewandte Statistik: Methodensammlung mit R. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2018, ISBN 978-3-662-56657-2, S. 460.

[7] Lothar Sachs, Jürgen Hedderich: Angewandte Statistik: Methodensammlung mit R. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2018, ISBN 978-3-662-56657-2, S. 460.

[8] Bernd Rönz, Hans G. Strohe (1994): Lexikon Statistik. Gabler Verlag, S. 147

[9] Dies gilt, da $1-\beta =1-{\frac {f_{\text{n}}}{f_{\text{n}}+r_{\text{p}}}}={\frac {f_{\text{n}}+r_{\text{p}}}{f_{\text{n}}+r_{\text{p}}}}-{\frac {f_{\text{n}}}{f_{\text{n}}+r_{\text{p}}}}={\frac {r_{\text{p}}}{f_{\text{n}}+r_{\text{p}}}}={\text{Sensitivität}}$ . Für die Bedeutung der Notation, siehe Wahrheitsmatrix: Richtige und falsche Klassifikationen.

[10] F. J. Dorey: Statistics in brief: Statistical power: what is it and when should it be used? In: Clinical orthopaedics and related research. Band 469, Nummer 2, Februar 2011, S. 619–620, doi:10.1007/s11999-010-1435-0, PMID 20585913, PMC 3018227 (freier Volltext).

[11] Ludwig von Auer: Ökonometrie. Eine Einführung. 6., durchges. u. aktualisierte Auflage. Springer, 2013, ISBN 978-3-642-40209-8, S. 128.

[sachs-12] Lothar Sachs, Jürgen Hedderich: Angewandte Statistik: Methodensammlung mit R. 8., überarb. und erg. Auflage. Springer Spektrum, Berlin/ Heidelberg 2018, ISBN 978-3-662-56657-2, S. 461

[13] Statistics stats power-and-sample-size-calculations — statsmodels. Abgerufen am 24. Oktober 2021.

[14] Marco Perugini, Marcello Gallucci und Giulio Costantini: A Practical Primer To Power Analysis for Simple Experimental Designs. Band 31, Nr. 1, 9. Juli 2018, S. 20, doi:10.5334/irsp.181 (rips-irsp.com [abgerufen am 10. Februar 2023]).

[15] Robert Lehr: SixteenS-squared overD-squared: A relation for crude sample size estimates. In: Statistics in Medicine. Band 11, Nr. 8, 1992, ISSN 0277-6715, S. 1099–1102, doi:10.1002/sim.4780110811.

[16] Gerald van Belle: Statistical Rules of Thumb, Second Edition (= Wiley Series in Probability and Statistics). John Wiley & Sons, Inc., Hoboken, NJ, USA 2008, ISBN 978-0-470-37796-3.

[17] Sample Size Estimation in Clinical Research From Randomized Controlled Trials to Observational Studies, 2020, doi:10.1016/j.chest.2020.03.010, Xiaofeng Wang, PhD; and Xinge Ji, MS pdf

[18] J. Bortz: Statistik für Sozialwissenschaftler. Springer, Berlin 1999, ISBN 3-540-21271-X.

[19] Erwin Kreyszig: Statistische Methoden und ihre Anwendungen. 7. Auflage. Göttingen 1998, S. 209ff.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]