Diskussion:Allgemeines lineares Modell

Das Lemma ist IMHO nicht gut. da lineares Modell etwas allgemeineres ist, naemlich einfach ein lineares mathematisches Modell. Im Regelfall wird dies erwaehnt, um klarzumachen, dass es sich eigentlich um nichtlineare Vorgaenge handelt, aber eben aufgrund von Modellannahmen ein lineares Modell hergeleitet wurde. Ich habe hier eine Diss eines Kollegen liegen, der genau das was hier beschrieben wird, "statistisches lineares Modell" nennt. Ist das vielleicht besser? --P. Birken 10:09, 21. Aug 2006 (CEST)

Anders formuliert: Das, was du mit "mathematisches Modell" meinst, ist einfach die Mathematisierung linearer Zusammenhänge in der Welt? Wenn ja, dann würde ich vorschlagen, das einfach in der Einleitung zu erwähnen (mit Wikilink auf mathematisches Modell und dann zu erklären, dass man sich im Artikel um die statistische Betrachtung kümmert. Alternative: Die allwissende Müllhalde spuckt als erste Einträge zu "lineares Modell" bzw. "lineare Modelle" ausschließlich den statistischen Begriff aus. Wie wäre es dann mit einer BKL vom Typ "...beschäftigt sich mit Statistik. Für allgemein siehe mathematisches Modell"? --Scherben 10:17, 21. Aug 2006 (CEST)

Fast, ein mathematisches Modell ist eine mathematische Darstellung von etwas, dass mit der Realitaet zu tun hat. Deinen Vorschlag sollten wir aber genauso umsetzen. --P. Birken 10:20, 21. Aug 2006 (CEST)

Und welchen von beiden? ;) --Scherben 10:43, 21. Aug 2006 (CEST)

Lineares Modell (Statistik)? --Philipendula 10:46, 21. Aug 2006 (CEST)

Ups. Nein, der mit "...beschäftigt sich mit Statistik. Für allgemein siehe mathematisches Modell". --P. Birken 10:51, 21. Aug 2006 (CEST)

Wenn man wirklich neben Regressionsanalyse und Methode der kleinsten Quadrate ein neues Fass aufmachen möchte, dann ist vorliegender Artikel zu mager. Hier würde ein Redirect reichen und den Rest in RA einbauen. Eigentlich ist doch der Begriff Lineares Modell umfassender. Er umfasst nämlich

A*Y = B*X,

wobei A und B Koeffizientenmatrizen und X und Y Matrizen von Merkmalen sind. Und es gehören dann auch die speziellen Ausgestaltungen bei den Multivariaten Verfahren dazu, etwa dass Diskriminanzanalyse metrisch skalierte Daten X, aber einen nominalskalierten Ergebnisvektor y aufweist etc. Bei echter multivariater Regression gibt es ein Matrix Y, nicht einen Vektor... usw. Hm, wär das was für den Schreibwettbewerb? --Philipendula 11:15, 21. Aug 2006 (CEST)

Hmmm. Ich hatte sicherlich nicht vor, den Artikel wesentlich auszubauen. Die Erweiterung um die paar Textpassagen habe ich nur deswegen gemacht, weil ich dachte, dass ein Kurzüberblick nicht schaden kann. Wie allgemein der Begriff tatsächlich ist, war mich gar nicht so richtig bewusst, ich bin ja doch eher Stochastiker als praktischer Statistiker. Dennoch würde ich die Variante bevorzugen, dass man hier kurz lineare Modelle allgemein definiert und dann auf die langen und ausführlichen Artikel zu den Methoden verweist. Was wäre denn die richtige Literatur? Dann mache ich das mal, zu lernen kann nie schaden. --Scherben 11:41, 21. Aug 2006 (CEST)

Modellannahmen, Lösungsmethoden und weitere Lücken

Der Artikel ist ziemlich dünn, so fehlen wesentliche Bestandteile der Modellannahmen, wie Erwartungswertansatz und Minimierung der Residuen. Lösungsmethoden wie OLS oder GLS sind ebenfalls nicht genannt. Die beispielhafte Einordnung der Anwendungsmöglichkeiten ANOVA-1, Multiple lineare Regression oä fehlt ebenfalls...(ich werde mich da in den nächster Zeit mal rannsetzen), gleichwohl das wenige, das genannt wird richtig ist und gut strukturiert (nicht signierter Beitrag von Johann.buhne (Diskussion | Beiträge) )

Man sollte dann aber aufpassen, dass man sich nicht mit dem Artikel Regressionsanalyse in die Quere kommt. --Scherben 22:01, 1. Aug. 2007 (CEST)

im Prinzip ist das aber nicht möglich disjunkt zu trennen, weil die Regressionsanalyse ist nur eine von vielen Anwendungsmöglichkeiten des ALM. Es ist geplant die wesentlichen Anwendungen in kurzform und Matrix-Vektordarstellung zu erwähnen, so fügt sich dann alles im ALM zusammen und der Artikel trägt zum Grundlagenverständnis bei. Ein guter Artikel zeigt die Zusammenhänge auf. Ebenso fehlen wesentliche Annahmen des Grundmodells, s.o.

Überarbeitung

Ich halte die überarbeitete Version für deutlich schlechter als die alte - nicht nur, weil viele grammatikalische Fehler enthalten sind.

• Es geht nicht um die Bestimmung der \beta_j, sondern um deren Schätzung. Die Modellvoraussetzung ist, dass man Y_i so schreiben kann, wie angegeben.
• Es geht nicht um Lösungen von Gleichungen; man muss diskutieren, nach welchen Kriterien man die Abweichung zwischen den Daten Y und \beta X minimiert. Also kleinste Quadrate, kleinste Abstände, Gewichte, u. v. m.

Die anderen Abschnitte überarbeite ich per Hand. --Scherben 15:18, 5. Aug. 2007 (CEST)

Kommentar

- ich denke die \beta_j sind schätzwerte für den linearen Einfluß, gleichwohl halte ich es für sehr korrekt von der Bestimmung der \beta_j unter einer gegebenen Nebenbedingung zu sprechen...schliesslich liegt die Schätzung nicht in der mathematischen Methode, sondern in der Annahme der iid Residuen...

- Deine zweite Anmerkung kann ich nicht verstehen, weil ich das, was Du energisch einforderst, überhaupt erst in den Artikel reingebracht habe. Es war vorher nichts in dieser Richtung vorhanden...

- was wir denke ich einarbeiten sollten und betonen sollten ist der unterschied zwischen strukturgleichung und Matrix-Vektor-Darstellung.

- bzgl. der Grenzwertsätze. Ich finde den Satz komisch formuliert, weil (i) die Methoden nicht aus der Regressionsanalyse kommen, sondern aus der Numerik (Lineare Ausgleichprobleme), (ii) "sinnvolle" kann gestrichen werden, weil man hoffentlich immer sinnvolle Schätzungen möchte und (iii) verstehe ich nicht was die Grenzwertsätze zum Verständnis beitragen sollen, oder warum sie überhaupt dastehen, da sie sowieso Teil des Lösungsverfahrens sind

- was ich andeuten wollte neben Deiner berechtigten Bemerkung, war, daß einem oft nicht viel anderes übrig bleibt als ein lineares Modell hinzuschreiben, weil einfach keine weiteren Informationen vorliegen

- über die trennung von Vorraussetzungen und Ziel sollte man nachdenken, ich halte das nämlich für schwierig, weil die beiden Punkte verquickt sind, so erfordern andere Vorraussetzungen auch andere Lösungsmethoden (Ziele)....wir sollten das neu strukturieren

- beginne ich demnächst einen Abschnitt, Anwendungsmöglichkeiten und einen weiteren Abschnitt Erweiterungen einzuarbeiten

Ich verstehe dich immer noch nicht. Was du im Abschnitt "Voraussetzungen" schreibst, hat nichts mit Voraussetzungen zu tun. Die alte Version war in dieser Hinsicht wesentlich korrekter: Wenn man das Modell grundsätzlich eingeführt hat, muss man klären, was die Fehlerterme epsilon sein sollen. Und das war es. Der Rest ist klar: Es gibt irgendein "wahres" Beta - und das muss geschätzt werden. Was du aus dem Abschnitt gemacht hast, hat nicht mehr viel mit den Voraussetzungen an das Modell zu tun. Du wiederholst a) das Modell aus dem Abschnitt vorher nochmal und drückst b) auf komplizierte Weise in vielen Worten aus, dass man in der Regel least-squares-Methoden anwendest. Der letzte Absatz ist dann natürlich wieder okay.

Ich würde stattdessen vorschlagen, dass man den Absatz zu den Voraussetzungen auf den alten Stand plus den Anmerkungen zu den Schwierigkeiten bei der Wahl von epsilon zurücksetzt und danach in einem Absatz zu den Lösungsverfahren kurz auf die wichtigsten Methoden verweist: LSE, GLSE, ... Und an Stelle eines neuen Abschnitts sollte man die detaillierte mathematische Behandlung in den jeweiligen Unterartikeln vornehmen: Auf Regressionsanalyse hatte ich ja schon hingewiesen. Man muss doch nicht jedes Rad neu erfinden. Dieser Artikel war vor deinen Änderungen vernünftig aufgebaut und sauber von anderen Artikeln abgegrenzt - und jetzt ist er es nicht mehr, was ich sehr ärgerlich finde. Es hat nämlich ziemlich viel Zeit gekostet, ihn unter Berücksichtigung des Wissens um die vorhandenen anderen Artikel zu schreiben. --Scherben 13:45, 11. Aug. 2007 (CEST)

Das stimmt nicht ganz, weil eine entscheidende Annahme ist, die zum linearen Modell führt und die man lange vor einer Annahme bezüglich der verteilung der epsilon macht, die ist, daß das lineare Modell mit dem Erwartungswert der Beobachtungen übereinstimmt...die Annahme der über die verteilung der epsilon ergibt sich erst aus der Notwendigkeit für eine eindeutige (optimale) Lösung / Schätzung...das fällt alles unter den Tisch, die ganze Herleitung fehlte vorher...und die muß man bringen, wenn man über das ALM schreibt und das hat auch wenig mit Regressionsanalyse oä zu tun. Ich verstehe auch nicht, warum Du eine disjunkte Abgrenzung anstrebst, das Ziel sollte doch vielmehr sein einen Überblick über die Thematik und die Zusammenhänge darzustellen. Die Beiträge in englischen Lexika der Statistik über das ALM sind 20 Seiten lang. Einfach nur ein lineares Modell in Matrix-Vektor-Darstellung hinzuschreiben und bei den Annahmen einen Spezialfall, derzwar gewöhnlich ist, hinzuschreiben bietet wenig Einbblick in die ganze Thematik. Da bräuchte man dann wirklich keinen weiteren Artikel über das ALM neben der Regressionsanalyse und wenn man dann einen Artikel darüber schreibt, wäre es sinnvoll, zumindest langfristig (man muß auch den arbeitsaufwand berücksichtigen) zu planen, der Thematik in angemessenem Umfang zu begegnen.

Ich halte nicht viel von Redundanz, das ist alles. Es macht keinen Sinn, alles mehrfach in der Wikipedia zu haben. --Scherben 20:31, 14. Aug. 2007 (CEST)

Entschuldige bitte, aber der Satz mit den Messfehlern und dem Erwartungswert ist falsch, die epsilon haben überhaupt nichts mit Messfehlern zu tun. Messfehler werden nur in "Fehler in den Variablen Modellen" berücksichtigt. Die Epsilon sind das Resultat des linearen Modells, weil die Punktwolke i.d.R. eben nicht einer linearen Funktion entspricht. Der letzte Absatz ist jetzt auch unglücklich ausgedrückt, weil die verletzung der Unabhängigkeit eben dazu führt das die üblichen OLS nicht angewandt werden können. Es gibt kein weiteres statistisches Verfahren für Lineare Modelle, welches die Annahme der Unabhängigkeit braucht. --johann.buhne 12:38, 19. Aug. 2007 (CEST)

Natürlich haben die epsilon-Terme etwas mit Messfehlern zu tun, womit denn sonst? Das ist gerade der Grund dafür, warum lineare Modelle in der Statistik untersucht werden: Man geht davon aus, dass Zusammenhänge "eigentlich" linear sind, dass sie aufgrund von Fehlern jedoch nur gestört beobachtet werden können. Wenn man nicht glaubt, dass des Zusammenhang linear ist, dann muss man ein anderes Modell wählen, zum Beispiel verallgemeinerte lineare Modelle. Was du beschreibst, hat nichts mit Statistik zu tun. --Scherben 15:32, 19. Aug. 2007 (CEST)

Das ist eben nicht so. Zitat: "Womit denn sonst?" Die Epsilon sind die Abweichungen vom linearen Modell, welche Ursache die Abweichungen haben ist damit jedoch nicht gesagt. Gesagt wird nur, daß das Lineare Modell eine bestimme Erklärungskraft besitzt, auch Bestimmtheitsmaß genannt. Wie sich der "Rest der Beobachtungen" erklärt wird damit nicht gesagt. Vielmehr befinden sich alle möglichen Einflüsse in dem Epsilon, die das lineare Modell nicht berücksichtigt. Das können, sind aber in den wenigsten Fällen, Messfehler. Vermutet man Messfehler, ist in jedem Fall auf die Fehler-in-den-Variablen Modelle zurückzugreifen. Alles andere wäre suboptimal. Deine Aussage ist einfach zu widerlegen. Nimm dir die Zeitreihe des Bruttoinlandsprodukts in konstanten preisen als X und die Zeitreihe der Konsumausgaben der privaten Haushalte als Y und Du wirst einen positiven linearen Zusammenhang finden. Denke daran X und Y zu logarithmieren, damit Du ein lineares Modell anwenden kannst. Offensichtlich erklärt das Volkseinkommen nicht 100% der Entwicklung der Konsumausgaben, obwohl die beiden Variablen OHNE MESSFEHLER beobachtet werden können. Der Unterschied kommt eben durch nicht berücksichtigte Einflüsse wie Steuerveränderrungen (z.B. Mwst.-änderrrungen), Erwartungen usw.....zustande, aber sicherlich nicht durch Messfehler. --johann.buhne 11:35, 20. Aug. 2007 (CEST)

Ich habe exakt null Ahnung, was du mir mit deinem Beispiel mitteilen willst. Wenn man nicht glaubt, dass der "eigentliche Einfluss" linear ist, dann wählt man kein lineares Modell. Sondern andere Modelle. Alles andere wäre von statistischen Gesichtspunkten her idiotisch. --Scherben 12:16, 20. Aug. 2007 (CEST)

"Ich habe exakt null Ahnung" das ist ja gerade das Problem. Du schreibst schlichtweg falsche Sachen hin, die so in keinem Lehrbuch stehen. --johann.buhne 00:00, 24. Aug. 2007 (CEST)

Ach so: Falls dein Problem der Begriff des Messfehlers ist: Man benutzt ihn in der Statistik natürlich nicht wörtlich. Er dient nur dazu, die wesentlichen und die unwesentlichen Einflüsse auf die Beobachtungen zu unterscheiden. --Scherben 12:21, 20. Aug. 2007 (CEST)

was soll ich dazu noch sagen, willst Du den Unsinn jetzt auch noch mit "Argumenten aus einer Germanistikvorlesung" verteidigen ?!? --johann.buhne 00:00, 24. Aug. 2007 (CEST)

Keine Ahnung, was Germanisten so machen - ich war nie in deren Vorlesungen. Mag aber sein, dass wir eine unterschiedliche Auffassungen vom Begriff "Messfehler" haben. Für mich sind damit tatsächlich alle Störungen gemeint, die den "eigentlichen Einfluss" von X auf Y beeinflussen. Also in deinem Beispiel Wirtschaftskrisen, Kriege, Steuerpolitik, u. v. m. Ich habe ja auch geschrieben, dass der "...eigentliche Zusammenhang ... nur gestört beobachtet werden kann". Ich beziehe das natürlich nicht auf die Messung von Y.

Noch etwas: Ich fände es wirklich nett von dir, wenn du mir gegenüber einen anderen Ton anschlagen würdest. Ich spekuliere nämlich auch nicht darüber, wie gut oder schlecht du lesen kannst. --Scherben 10:09, 23. Aug. 2007 (CEST)

Entschuldige, wenn ich etwas zu viel Emotionen in meine Ausführungen gelegt habe. Ich bin mir ziemlich sicher, daß es keine Frage des Begriffs ist für ein und dasselbe, worüber wir streiten. Wo hast Du das gelesen oder ist es eine Definition aus der Stochastik? Messfehler sind eine Teilmenge der Menge Fehler. Im allgemeinen linearen Modell wird keine genauere Aussage über die Art und Ursache des Fehlers gemacht, als mathematisch-stochastische Annahmen. Deshalb halte ich es weiterhin für falsch, hier eine ursächliche Spezifizierung vorzunehmen, wie auch immer Du den Begriff Messfehler definierst. Es gibt Modelle die explizit auf Messfehler in den Daten abstellen. Man benutzt diese Modelle häufig im Zusammenhang mit der Untersuchung von Umfragedaten, wenn man davon ausgeht, daß Fragen nicht mit 100%igem Wahrheitsgehalt beantwortet werden (z.B. bewusste Übertreibung). Vielleicht überlegst Du Dir nochmal, ob es nicht wirklich besser ist, eine Formulierung zu verwenden, die eindeutig ist und keine Verwechslungsgefahr birgt.

Weiterhin bin ich nach wie vor der Meinung, daß der Artikel nur an der Oberfläche der Thematik kratzt und erweitert werden sollte. Meine Absicht ist es nicht Redundanz zu schaffen, sondern die Anwendungsmöglichkeiten einzuordnen und zu verlinken. Eine deutliche Erweiterung des ALM sind die zufälligen Effekte, die eine neue Modellklasse hervorbingen, die Mixed-Modells. Im Prinzip sind alle Modelle der Statistik letztendlich nur eine Spezifizierung eines Mixed-Modell.

--johann.buhne 10:36, 9. Sep. 2007 (CEST)

Aber wir sind uns einig, dass man lineare Modelle dann benutzt, wenn man einen ursächlich linearen Zusammenhang zwischen X und Y vermutet? Wenn das die Grundlage ist, dann würde ich vorschlagen, dass wir den jetzigen Abschnitt "Voraussetzungen" sinnvoll ergänzen, vielleicht um ein Beispiel. Über die Begriffe kann man streiten (und man darf sie auch verändern), "Messfehler" ist wohl wirklich zu missverständlich.

Den Abschnitt "Ziel" kann und sollte man natürlich erweitern - durchaus auch, indem man die klassischen Methoden verlinkt. Ein Abschnitt zu verallgemeinerten Modellen fehlt auch noch. Vielleicht können wir uns auf ein Buch einigen? Wobei ich erstmal gucken muss, was hier so rumsteht. Bin mit der Bibliothek hier noch nicht richtig vertraut. --Scherben 01:21, 10. Sep. 2007 (CEST)

Natürlich sollte man theoretisch nur ein lineares Modell benutzen, wenn man auch einen linearen Zusammenhang vermutet; in der Praxis sieht es dann aber oft (nicht immer) so aus, daß man ein lineares Modell benutzt, solange man eigentlich gar keine Informationen über irgendeinen möglichen Zusammenhang hat und damit auch keine stichhaltigen Argumente, warum man von der Linearität abweichen sollte (Rechenaufwand).

Im Prinzip ist auch der Begriff "linear" beim linearen Modell mißverständlich, weil z.B. auch die polynomiale oder nichtpolynomiale (log/exp) Regressionen dem allgemeinen linearen Modell zugeordnet werden.

Anwendungsmöglichkeiten sind ganz allgemein alle Modelle mit festen, zufälligen oder gemischten Effekten, das können sein ANOVAS, auch der Zwei-Stichproben-T-Test, der nur einen Spezifizierung der ANOVA-1 auf zwei Faktorstufen ist, alle Regressionsanalysen und Erweiterungen (s.o.), ANCOVA Kovarianzanalyse (Kombination von ANOVA-1 und Regressionsanalyse) im enlischen Sprachraum auch häufig benutzte Begriffe "Dummy-Variablen", "Experimental-Design", "Survey-Data", "Restricted-Modells", "The Cell Means Modell"...ein wirklich interessanter Punkt, der oben am Rande angerissen wurde von Philipendula sind sicherlich die die "Multivariaten Linearen Modelle", die sich aber recht einfach in ein univariates Modell transformieren lassen, so daß die vorhanden Untersuchungswerkzeuge benutzt werden können.

Bücher:

-einen tollen Überblick gibt ein englischsprachiges Lexikon, dessen Name ich gerade leider nicht parat habe, weil ich mir seinerzeit nur einen Teil herauskopiert habe, ich werde den Namen aber nocheinmal herausfinden

-beste Lektüre für gemischte und zufällig Effekte ist Goldstein, Harvey (2003) "Multilevel Statistical Modells" Third Edition, in "Kendalls Library of Statistics", der Aufwand ist aber nicht zu unterschätzen, der dort betrieben wird. Ich weiß ja nicht wieviel Zeit Du hast, die Promotion und Übungsgruppen werden ja sicher den größten Teil Deiner Arbeitskraft in Anspruch nehmen...

Ich denke mal, daß man an diesem Thema ewig arbeiten könnte. Da wir das ja alle in unserer Freizeit machen, sollte man schauen, wie man den Aufwand kompakt macht :)

--johann.buhne 11:11, 10. Sep. 2007 (CEST)