Benutzer Diskussion:Darian/Baustelle

Diskussion älterer Baustellen

Beurteilung eines Klassifikators

Hallo,

super Artikel, endlich werden diese Redundanzen aufgelöst :) Trotzdem habe ich noch ein paar Kommentare:

• Bei einer großen Anzahl von Fällen können diese auch als bedingte Wahrscheinlichkeiten für das Eintreten des entsprechenden Ereignisses interpretiert werden: Das ist eben nicht korrekt. Die Raten sind erstmal relative Häufigkeiten und man kann Sie als "geschätzte" bedingte Wahrscheinlichkeiten betrachten. Handelt es sich um eine Zufallsstichprobe (plus evtl. weiterer Bedingungen), dann konvergieren die Raten gegen die wahren bedingten Wahrscheinlichkeiten.
• Deswegen würde ich auch lieber ${\hat {P}}$ statt $P$ verwenden.
• Verhältnis der Klassifikationsbewertung zur statistischen Testtheorie
  • Hier sollte man zunächst die unterschiedlichen Ziele ansprechen: Der Test prüft mit Hilfe einer Stichprobe, ob diese mit einer Hypothese über eine Grundgesamtheit verträglich ist. Bei der Beurteilung eines Klassifikators geht es darum die Qualität eines Klassifikators (meist sogar im Vergleich mit anderen Klassifikationsverfahren) zu beurteilen.
  • Wir machen mit den Raten eine Aussage über die Qualität eines Regressionsverfahren mit einer abhängigen binären Variablen, denn wir haben hier geschätzte ${\hat {y}}_{i}$ Klassenzugehörigkeiten (= 0 oder 1) aus dem Klassifikationsverfahren und beobachtete Klassenzugehörigkeiten $y_{i}$ (= 0 oder 1) aus der Stichprobe. Und aus denen werden Kennzahlen berechnet, ähnlich wie das Bestimmtheitsmaß in der linearen Regression.
  • Bei der Anwendung der statistischen Tests zur Beurteilung eines Klassifikators fehlt wieder die "Zufallsstichprobe", sonst machen die Tests keine Sinn.

Grüsse --Sigbert 08:48, 23. Okt. 2010 (CEST)

Hallo Sigbert, freue mich, dass dir der Artikel im Großen und Ganzen gefällt! Und für deinen Senf bin ich ebenfalls dankbar, ich bin ja von Haus aus kein Statistiker (nur theoretischer Physiker ;-), da kann ich Feedback von einem Experten gut gebrauchen. Das mit den geschätzten bedingten Wahrscheinlichkeiten stimmt natürlich, das werde ich mal ändern. Ich bin mir allerdings nicht ganz sicher, ob ich die beiden Kommentare mit der Zufallsstichprobe richtig verstanden habe: Du meinst, damit die Raten gegen die bedingte Wahrscheinlichkeit konvergieren, muss man die Stichprobe so auswählen, dass im Prinzip jedes Element der Gruppe, über die man eine Aussage machen will, in die Stichprobe gelangen kann? Das würde dann z.B. für eine Krankheitsdiagnose bedeuten, dass man nur dann Wahrscheinlichkeitsaussagen im Bezug auf die Gesamtbevölkerung machen kann, wenn im Prinzip jeder Bundesbürger von dieser Diagnose untersucht werden könnte. Heißt das dann, dass man diese Aussagen nicht machen kann, wenn z.B. nur ein bestimmter Altersbereich oder Menschen mit anderen bestimmten Einschränkungen getestet werden? Oder müsste man dann nur die Aussage auf eben diesen Bereich einschränken?

Die Verbesserungsvorschläge zum Abschnitt "Verhältnis der Klassifikationsbewertung zur statistischen Testtheorie" finde ich gut. Ich überlege nur, wie man die am Besten in den Abschnitt einbaut. Ich würde ganz am Anfang weiterhin kurz auf die Struktur der statistischen Tests eingehen wie in der aktuellen Version geschehen, damit der Leser nochmal die Ähnlichkeiten, die er vielleicht schon vage im Kopf hatte, nochmal präzisiert bekommt. Und dann könnte man den zweiten Abschnitt in deinem Sinne anfangen, indem man die verschiedenen Ziele hervorhebt, und zusätzlich auf die verschiedenen Datenlagen in beiden Fällen eingehen (wahre Klassifizierung bei der Beurteilung eines Klassifikators bekannt, beim statistischen Test dagegen in der Regel nicht). Als nächstes könnte man dann auf die Tatsache eingehen, dass Klassifikation ein Spezialfall der Regression ist und mit dem Vergleich zum Bestimmtheitsmaß der Verbindung zu vielleicht schon bekannten Informationen herstellen. Und dann kommt der Teil mit der Anwendung der statistischen Tests zur Beurteilung eines Klassifikators, wo auf das Problem der Zufallsstichprobe eingegangen wird. Dann kann man das oben (siehe dein erster Kommentar) nur kurz erwähnen und stört damit den Lesefluss des weniger an den Details interessierten Lesers nicht.

Was hältst du davon? Insbesondere was das Problem der Zufallsstichprobe angeht, wäre ich auch für direkte Edits im Text dankbar, da wäre mir wohler, wenn das jemand korrigiert, der mehr davon versteht.

Gruss, --Darian 16:53, 23. Okt. 2010 (CEST)

Hallo,

• zum ersten Abschnitt:
  • Prinzip jedes Element der Gruppe, über die man eine Aussage machen will, in die Stichprobe gelangen kann: Genauso ist es. Betrachten wir mal als Beispiel zwei Krankenhäuser, die die gleich Studie durchführen: eines in Bayern und eines in Mecklenburg-Vorpommern. Aufgrund des Bevölkerungsverlustes in MV wird die Alters- und dann vermutlich auch Krankheitsstruktur unterschiedlich sein. Dann könnten auch verschiedene Raten herauskommen und welche von beiden wäre die "korrekte"? Das ist die theoretische Seite.

In der Praxis wird man die Ergebnisse trotzdem auf die Gesamtbevölkerung übertragen: besser man hat eine problematische Schätzung der Raten als gar keine.

• • Heißt das dann, dass man diese Aussagen nicht machen kann,...: Darauf läuft hinaus. Wenn sich die zugrundeliegende Struktur der Bevölkerung deutlich ändert, sind die gewonnenen Ergebnisse aus den Studien mit Hilfe der Statistik nicht auf die Gesamtbevölkerung übertragbar. Ich denke, dass ist z.B. der Kern der Debatte um Medikamente für Kinder. Wenn Kinder keine kleinen Erwachsenen sind, dann können die Medikamentationsvorschriften für Erwachsene nicht so ohne weiteres auf sie übertragen werden.
  • Ich bin mir aber nicht sicher, ob man dieses Problem so stark ansprechen muss, weil es eigentlich ein generelles Problem der Übertragbarkeit von Stichprobenergebnissen auf die Grundgesamtheit ist. Die Frage ist auch, was die Zielstellung einer Klassifikation ist: Will man die Stichprobe analysieren oder verallgemeinern auf die Grundgesamtheit?
  • Wie gesagt, bei Anwendung z.B. des Chi^2 Tests für Unabhängigkeit für geprüft, ob in der Grundgesamtheit die beiden Variablen "Geschätzte Klassenzugehörigkeit" und "Klassenzugehörigkeit" unabhängig sind. Die Frage steht wieder im Raum. Über welche Grundgesamtheit sprechen wir hier?
• zum zweiten Abschnitt:
  • Ich frage mich, ob es wirklich nötig ist überhaupt eine Verbindung zur statistischen Testtheorie zu ziehen. Ich kann mich nicht erinnern, dass in den Büchern zur Klassifikation gesehen zu haben. Haben wir irgendwo eine Referenz dazu? Wichtiger wäre eine Darstellung der Raten als Kennzahlen ähnlich dem Bestimmtsheitsmaß. Ich frage mal auch in der QS Mathematik nach.
  • Ich wollte nicht auf deiner Benutzerseite Änderungen vornehmen, aber nehme gern dein Angebot an :)

Grüsse --Sigbert 18:40, 23. Okt. 2010 (CEST)

Hallo Sigbert, gut, dann habe ich das ja richtig verstanden. Ich denke schon, dass man das Problem der Übertragbarkeit kurz ansprechen kann - für die Praxis beim Abschnitt "Probleme" (vielleicht als neuen Unterpunkt), theoretisch im Abschnitt zu den Verbindungen zur Testtheorie. Ich kenne mich in der Literatur beiden Themen nicht wirklich aus, kann dir daher nicht sagen, ob diese Verbindung von den Experten tatsächlich hergestellt wird. Fest steht allerdings, dass auf fast allen Seiten, die auf der QS-Seite genannt werden, Begriffe wie Nullhypothese, Fehler 1. und 2. Art, falsch positiv etc. wild durcheinander geworfen werden. Der Abschnitt war vor allem dafür gedacht, um diese Abgrenzung sauber zu ziehen und sollte schon allein aus diesem Grund unbedingt erhalten bleiben (vielleicht unter dem Titel "Abgrenzung" statt "Verbindung"). Die Infos zum statistischen Test der Klassifikation habe ich aus dem Artikel "Konfusionsmatrix". Ob diese Art der Testung allerdings sehr gebräuchlich ist, weiß ich nicht. Gruss --Darian 18:55, 23. Okt. 2010 (CEST)

Hallo nochmal, ich habe inzwischen nochmal ein bißchen in der Literatur gestöbert und in der Tat einiges gefunden. Genaueres siehe QS-Seite, da du da geschrieben hattest. Gruss --Darian 19:50, 24. Okt. 2010 (CEST)

Also ich würde vorschlagen, drei Unterabschnitte zu machen

1. Ähnlichkeiten und Unterschiede zwischen Klassifikationsbewertung und statistischen Tests

2. Statistische Tests zur Beurteilung einer Klassifikation

3. Klassifikationsbewertung zur Beurteilung der Güte statistischer Tests

Und bei 1. und 3. sind Referenzen notwendig, 2. glaube ich ohne Probleme, sorry wenn ich etwas ungenau war.

--Sigbert 19:13, 25. Okt. 2010 (CEST)

So habe mal die Unterabschnitte aufgenommen und den Text unter Punkt 2 etwas umformuliert. Weiter gehts ...

Grüße --Sigbert 18:58, 1. Nov. 2010 (CET)

Hallo Sigbert, die Aufteilung finde ich gut. Zur Quellenlage: Für Punkt 3 habe ich keine Referenzen und kenne mich auch nicht genug aus. Da würde ich mich auch nicht über eine Löschung beschweren, ich habe diese Abschnitte aus den vorhandenen Artikeln übernommen. Punkt 1 würde ich allerdings auf jeden Fall bei behalten, denn wie gesagt, diese Begriffe werden hier und anderswo wild durcheinander geworfen und bedürfen dringend einer Abgrenzung. Auch da habe ich keine expliziten Quellen, aber würdest du sagen, dass der Unterabschnitt in seiner jetzigen Form noch dringend (d.h. als Rechtfertigung, um bestehen zu bleiben) Quellen benötigt? Gruss --Darian 17:19, 3. Nov. 2010 (CET)

Hi Darian, du hast vollkommen recht was Punkt 1 betrifft. Allerdings muß das dann Satz für Satz überarbeitet werden :( Ich kenne halt aus der statistischen Literatur so eine Parallelbetrachtung überhaupt nicht, deswegen die Frage nach Quellen. Und im Prinzip gilt das gleiche auch für Punkt 3. Na ja, ich werde mal noch ein bisschen buddeln/überarbeiten ... --Sigbert 21:26, 3. Nov. 2010 (CET)

Ja, mach das! Ich habe dann inzwischen den ganzen Artikel in den Artikelraum verschoben, die anderen Artikel durch Weiterleitungen ersetzt usw. Ein ganz schöner Rattenschwanz, aber ich denke, es lohnt sich! Die Änderungen, die du/wir hier machen kann ich ja dann nachreichen, wenn der Abschnitt fertig ist. Gruss --Darian 22:16, 3. Nov. 2010 (CET)

Ich mach's dann gleich im Artikel. Grüsse --Sigbert 14:58, 4. Nov. 2010 (CET)