Diskussion:Large Language Model

Lemma

Mit der Umstellung des Seitentitels auf die Kleinschreibung und die Beseitigung der deutschen Abkürzung bin ich als Artikelersteller nicht einverstanden. --Arbre à palabres (Diskussion) 20:23, 14. Jan. 2024 (CET)

Anmerkung wg. 3M: Es geht nicht nur um den Seitentitel sondern um das Lemma ansich [1]. --PM3 21:26, 14. Jan. 2024 (CET)

Per Google-Books-Recherche in der deutschsprachigen Literatur ist die Kleinschreibung gebräuchlicher, und die Abkürzung "GSM" ist mir dort bislang nicht begegnet. --PM3 20:26, 14. Jan. 2024 (CET)

Es gibt die Abk. aber, ganz offenbar. --Arbre à palabres (Diskussion) 20:31, 14. Jan. 2024 (CET) PS: Eine Kleinschreibung zu bevorzugen, halte ich für ungeeignet, da ich das Ganze als Fachbegriff sehe.

Wie du es siehst, ist allerdings für die Wikipedia irrelevant. :-)

Die Schreibweise "Großes Sprachmodell" ist in der Sekundärliteratur fast nichtexistent (außer am Satzanfang), das korrekte Lemma ist eindeutig "großes Sprachmodell" [2]. Auch in Wikipedia-Artikeln wurde es durchgehend kleingeschrieben, bevor du da heute drübergingst und alles in groß geändert hast. Das habe ich aus vorgenanntem Grund wieder zurückgesetzt.

Die Abkürzung "GSM" scheint in der Sekundärliteratur ebenfalls fast nichtexistent zu sein, daher mMn bei weitem noch kein etabliertes Wissen, wie wir es in der Wikipedia darstellen. Die Verwendung nicht etablierter Termini wäre WP:Begriffsetablierung. --PM3 20:58, 14. Jan. 2024 (CET)

M.E. sollte hier analog zu "Großer Panda" verfahren werden. --Arbre à palabres (Diskussion) 21:03, 14. Jan. 2024 (CET) PS: Langfristig sollte hier vielleicht eine Dritte Meinung (in Großschreibung!) eingeholt werden, da für Wikipedia letztendlich ja auch irrelevant ist, wie du es siehst.

Der Verweis auf andere Wikipedia-Artikel ist (auch per WP:WPIKQ) nie ein valides Argument. Über das Lemma wird im Zweifelsfall immer individuell anhand externer Quellen entschieden. Gerne 3M. --PM3 21:08, 14. Jan. 2024 (CET)

OK, 3M. --Arbre à palabres (Diskussion) 21:20, 14. Jan. 2024 (CET)

3M Sämtliche im Artikel angegebenen Belege und der Weblink sprechen von Large Language Model. Warum ist das dann nicht das Lemma?--Perfect Tommy (Diskussion) 21:29, 14. Jan. 2024 (CET)

Weil ich bislang das Gefühl hatte, hier in der deutschsprachigen Wikipedia zu sein (und es den Begriff im Deutschen ja bereits gibt). --Arbre à palabres (Diskussion) 21:32, 14. Jan. 2024 (CET) PS: Warum steht Sprachmodell dann nicht auf language model?

Auch im Deutschen wird der englische Begriff bevorzugt benutzt. --Perfect Tommy (Diskussion) 21:35, 14. Jan. 2024 (CET)

Und warum verschiebt ihr das andere Lemma dann nicht? ;) - Eben, weil das deutschsprachige Sinn macht. --Arbre à palabres (Diskussion) 21:39, 14. Jan. 2024 (CET) PS: Mal am Rande gefragt: wie übersetzt Du beispielsweise a big large language model ins Deutsche?

Per Literatur- und Web-Recherche: "Large Language Model" ist in der deutschsprachigen Fachliteratur weitaus gebräuchlicher, aber "großes Sprachmodell" ist in der Allgemeinsprache weitaus gebräuchlicher. Hier plädiere ich im Sinn von WP:Laie und deWP klar für den bereits etablierten deutschen Begriff. --PM3 21:44, 14. Jan. 2024 (CET)

Warum begegnet die Abkürzung GSM ausschließlich in Großschreibung (und nicht in der Form gSM)? --Arbre à palabres (Diskussion) 21:51, 14. Jan. 2024 (CET) PS: Und dies, obwohl es im Deutschen ja auch klein beginnende Abkürzungen gibt (z.B. kW)?

Spielt hier keine Rolle, für solche Fragen ist die WP:Auskunft zuständig. Bitte dringend WP:NK und WP:TF lesen und verinnerlichen, du argumentierst hier bislang komplett an den Wikipedia-Regeln vorbei. --PM3 22:14, 14. Jan. 2024 (CET)

Nein, überhaupt nicht. --Arbre à palabres (Diskussion) 22:25, 14. Jan. 2024 (CET) Eine (deutsche) Kleinschreibung eines Fachbegriffes im Lemma halte ich dagegen für abenteuerlich.

3M: Unabhängig davon, wie es nun im Fließtext geschrieben wird, ist der Anfangsbuchstabe des Seitentitels entsprechend der Rechtschreibregeln für Überschriften grundsätzlich groß, siehe dazu auch Wikipedia:Namenskonventionen#Groß- und Kleinschreibung des Anfangsbuchstabens. Besten Gruß --Emberwit (Diskussion) 23:11, 14. Jan. 2024 (CET)

Ok, ist korrigiert. --PM3 23:18, 14. Jan. 2024 (CET)

Ok, dann wird jetzt bitte nur noch die Frage der Groß- bzw. Kleinschreibung des Fachbegriffes innerhalb des Artikels sowie die Beseitigung der deutschen Abkürzung diskutiert. --Arbre à palabres (Diskussion) 23:29, 14. Jan. 2024 (CET) PS: Die Frage oben, wie beispielsweise a big large language model ins Deutsche übersetzt wird, ist übrigens noch unbeantwortet ...

Für die Schreibweise im Text sollte sich an der Häufigkeit in der Literatur orientiert werden. Eine kurze Google-Books- und Google-Scholar-Recherche lässt hier eigentlich wenig Spielraum und spricht für das kleingeschriebene "große Sprachmodell" (anders als bspw. beim Großen Panda). Auch im Englischen wird der Ausdruck large language model kleingeschrieben, trotz Abkürzung als LLM. Gruß --Emberwit (Diskussion) 23:36, 14. Jan. 2024 (CET)

Und warum wird es dann immer mit GSM abgekürzt (d.h. nicht mit gSM)? --Arbre à palabres (Diskussion) 23:42, 14. Jan. 2024 (CET) PS: Inzwischen ist eine solche Fachbegriffsschreibung im Deutschen m.E. auch üblich. Der Fachbegriff ist so im Text einfach besser erkenntlich (schließlich gibt es ja auch den Begriff Sprachmodell).

Wo wird es denn "immer mit GSM" abgekürzt? Die eine von dir verlinkte Quelle oben reicht m. E. nicht für ein Anführen der Abkürzung im Artikel, zumal das keine Fachliteratur ist. --Emberwit (Diskussion) 23:45, 14. Jan. 2024 (CET)

Z.B. Uni Potsdam: In den letzten Jahren sind insbesondere sog. Große Sprachmodelle (GSM) entwickelt worden usw. --Arbre à palabres (Diskussion) 23:47, 14. Jan. 2024 (CET) PS: Und jetzt zeigt mir bitte eine einzige Verwendung von gSM.

Wie ich oben bereits erwähnte, ist die Abkürzung "GSM" in der Sekundärliteratur kaum existent, d.h. nicht etabliert und für die Wikipedia nicht relevant, und unabhängig davon für das Lemma ohnehin nicht relevant, denn das wird ausschließlich per WP:NK ermittelt. --PM3 23:54, 14. Jan. 2024 (CET)

Die Abkürzung wird jedenfalls häufig genug verwendet, um hier genannt werden zu können (d.h. richtig ist sie daher auch). --Arbre à palabres (Diskussion) 00:09, 15. Jan. 2024 (CET) PS: Und die schnellere Hinlenkung auf den richtigen Fachbegriff erfolgt in einem Fließtext mit der Schreibung Großes Sprachmodell (GSM) auch - zumal es ja auch den Begriff Sprachmodell gibt (daher verstehe ich auch Sinn & Absicht einer Änderung wie dieser nicht, womit ja auf ein ganz anderes Lemma gelenkt wird).

3M: Ich kenne mich nicht genug mit der Marterie aus, um fachlich beizutragen, aber die Schreibweise der Abkürzung ist mMn. kein Argument. Es gibt durchaus andere Abkürzungen die Großbuchstaben verwenden, obwohl das abgekürzte Wort kleingeschrieben wird, z. B. ÖPNV oder AGB. Sprache ist nicht einheitlich, aus dem großen G in der Abkürzung kann man keine Großschreibung der Langform ableiten. --MaligneRange (Diskussion) 08:46, 15. Jan. 2024 (CET)

Eine einzige Quelle wäre für mich definitiv nicht "häufig genug". Wir müssen aufpassen, diese Abkürzung nicht als etablierter darzustellen, als sie ist. Sprich nicht wir etablieren sie, sondern erst wenn sie breite Anwendung in der Fachliteratur findet, nehmen auch wir sie auf. --Emberwit (Diskussion) 11:43, 15. Jan. 2024 (CET)

Warum wird unter Weblinks ein Text mit Werbung für die Leistungen der Fraunhofer Gesellschaft zu LLMs aufgeführt? - Der verlinkte Text der FhG ist offensichtlich so verfasst, um am Ende des Textes Werbung für Ihre Produkte und Beratung der FhG zu machen.

Widersprüchliche Definitionen

In Wikidata ist folgende Definition von "großes Sprachmodell" erfasst, die in der Mobilansicht oben eingeblendet wird:

Sprachmodell, das mit großen Mengen von Texten erstellt wurde"

Umseitig steht hingegen sinngemäß, dass man zwischen großen und kleinen Sprachmodellen anhand ihrer Fähigkeiten unterscheidet.

Also wofür steht nun das "groß"? Große Fähigkeiten, großer Input, große gespeicherte Datenmenge? Der Widerspruch zwischen der umseitigen Definiton und der in Wikidata sollte aufgelöst werden. --PM3 20:25, 14. Jan. 2024 (CET)

Egal, wofür es steht, als am Englischen orientierter deutschsprachiger Fachbegriff sollte es in diesem Zusammenhang groß geschrieben werden. --Arbre à palabres (Diskussion) 20:29, 14. Jan. 2024 (CET) PS: s.o.

Die Formulierung "eine Art Sprachmodell, das sich durch seine Fähigkeit auszeichnet" ist auch in sich widersprüchlich. Es müsste entweder "eine Art Sprachmodell, die sich" oder "ein Sprachmodell, das sich" heißen. Ist inhaltlich nicht die gleiche Aussage. --PM3 23:23, 14. Jan. 2024 (CET)

Von der Definitionsfrage noch mal ganz abgesehen, „lohnt“ ein Artikel über die „großen“ unter den Sprachmodellen sich überhaupt? Sprachmodell ist jetzt nicht so lang, da könnte man den Inhalt dieses Artikels einbauen. Warum ich diesen Vorschlag mache? Da sind wir wieder bei der Definitionsfrage, oder besser bei der Abgrenzung: Wie grenzt sich ein „großes“ Sprachmodell von all den anderen Sprachmodellen ab? Größe allein (sei es Größe der Trainingsdaten oder Größe der Fähigkeiten) ist ja ein sehr schwammiges Kriterium. Zum Vergleich: Wir haben Flugzeug und Großraumflugzeug, in letzterem ist aber auch eine belastbare Definition angegeben („Verkehrsflugzeug mit mehr als fünf Meter Rumpfdurchmesser und mindestens zwei Gängen in der Passagierkabine“). Wir haben nicht Wesir und Großwesir, Letzteres ist eine Weiterleitung auf einen Abschnitt in Ersterem. Ebenso: Veranstaltung/Großveranstaltung. Und das Thema Mächtigkeit/Fähigkeiten ist in Sprachmodell ja auch schon angerissen. --Karlheinz Deppe-Wiesinger (Diskussion) 10:20, 22. Jan. 2024 (CET)

GPT-2.0

Der Satz "Obwohl GPT-1 im Jahr 2018 als reines Decoder-Modell eingeführt wurde, erregte GPT-2 im Jahr 2019 große Aufmerksamkeit, da OpenAI es zunächst als zu leistungsfähig erachtete, um es aus Angst vor böswilliger Nutzung zu veröffentlichen." ist wohl missraten.

Der Gegensatz (Obwohl) zwischen GPT-1 als Decoder-Modell und der Veröffentlichung erschließt sich nicht aus dem Text.

Der zweite Satzteil ist schwer nachvollziehbar und müsste wohl umformuliert werden.

Für beide Aussagen gibt es keine Belege. Gefunden habe ich https://katzlberger.ai/2019/07/15/gpt-2/ Dort wird erklärt, dass angekündigt wurde, die Veröffentlichung von GPT-2 aus Angst vor Mißbrauch einzuschränken und GPT-2 nicht Open Source freizugeben.

https://www.netzwoche.ch/news/2019-11-17/die-beruechtigte-schreib-ki-ist-zurueck-und-erschreckend-gut Hier ist zu lesen, dass GPT-2 zunächst nur eingeschränkt, dann aber vollständig veröffentlicht wurde. --Lapp (Diskussion) 10:53, 19. Jul. 2024 (CEST)

Forschende

Die Bezeichnung "Forschende" findet sich auch in anderen Artikeln und ist aus meiner Sicht gegenüber "Forscher" vorzugswürdig. @A16899: Gibt es eine verbindliche Festlegung, wie mit diesem oder ähnlichen Begriffen in Artikeln in WP umgegangen wird? --Lapp (Diskussion) 16:06, 2. Jan. 2025 (CET)

Hallo Lapp, danke für deine Frage. Zum Thema gendern, gab es 2019 eine Umfrage. Ein Vorschlag, über den abgestimmt wurde, war die Option 6: Umschreibungen. Mit 42 Zustimmungen, 155 Ablehnungen und 18 Enthaltungen wurde der Vorschlag abgelehnt. Liebe Grüße A16899 (Diskussion) 18:38, 2. Jan. 2025 (CET)