Generative Pre-trained Transformer 3

Generative Pre-trained Transformer 3 (GPT-3) ist ein im Mai 2020 vorgestelltes autoregressives Sprachmodell, das Deep Learning verwendet, um natürlich wirkenden Text zu produzieren. Es ist der Nachfolger von GPT-2 und wurde von OpenAI entwickelt, einem amerikanischen Unternehmen, das Forschung zu künstlicher Intelligenz betreibt. Die größte Version von GPT-3 besitzt 175 Milliarden Parameter. GPT-3 ist Teil eines Trends in der Computerlinguistik, Systeme mit vortrainierten Sprachrepräsentationen zu nutzen. Die Qualität der von GPT-3 generierten Texte ist so hoch, dass es schwierig ist, sie von Texten zu unterscheiden, die von Menschen geschrieben wurden, was sowohl Vorteile als auch Nachteile hat. Microsoft verkündete im September 2020, dass es die „exklusiven“ Nutzungsrechte an GPT-3 lizenziert habe, andere können weiterhin die öffentliche API nutzen, aber nur Microsoft habe Kontrolle über den Quellcode.

Generative Pre-trained Transformer 3 (GPT-3)
Basisdaten
Entwickler	OpenAI
Erscheinungsjahr	28. Mai 2020
Aktuelle Version	175B
Lizenz	proprietäre Lizenz
https://openai.com/blog/openai-api

Hintergrund

Verbesserte Algorithmen, leistungsfähige Computer und eine größere Menge digitalisierter Daten haben eine Revolution des maschinellen Lernens vorangetrieben: Neue Technologien der 2010er-Jahre resultierten in „schnellen Fortschritten bei Aufgaben“ wie zum Beispiel Sprachverarbeitung. Softwaremodelle „lernen“ in einer „Struktur […] lose der neuralen Architektur des Gehirns nachempfunden“, unter Verwendung von massiven Mengen von Trainingsdaten, Muster und Strukturen zu erkennen und dadurch Texte generativ zu erzeugen. Eine Architektur, die in der Verarbeitung natürlicher Sprache verwendet wird, ist die erstmals 2017 vorgestellte Transformer-Architektur, die mit einem sog. Aufmerksamkeitsmechanismus erlaubte, die Anzahl der Parameter durch parallele Verarbeitung massiv zu steigern. Die GPT-n-Modelle nutzen eine solche Transformer-basierte Architektur.

Im Juni 2018 veröffentlichte OpenAI ihre erste Fachpublikation über generative Modelle, die mit einem sehr großen und diversen Textkorpus in einem Prozess generativen Vortrainings vortrainiert werden können. Die Autoren beschrieben, wie die Leistungen im maschinellen Sprachverstehen bei GPT-n durch eine Anwendung von „generativem Pre-Training eines Sprachmodells auf einem diversen, nicht mit Labeln versehen Korpus, gefolgt von diskriminativem Fine-Tuning für jede spezifische Aufgabe.“ Das machte Beaufsichtigung durch Menschen (unüberwachtes Lernen) und zeitintensive manuelle Labelerstellung unnötig.

Im Februar 2020 stellte Microsoft Turing Natural Language Generation (T-NLG) vor, das mit 17 Milliarden Parametern das „größte je veröffentlichte Sprachmodell“ war. Es erzielte bei einer Vielzahl von Aufgaben, darunter bei automatischer Textzusammenfassung und bei der Beantwortung von Fragen, bessere Leistungen als jedes andere Sprachmodell.

Fähigkeiten

Am 28. Mai 2020 veröffentlichte OpenAI ein Preprint auf arXiv, das die Entwicklung von GPT-3, einem „dem Stand der Technik entsprechenden Sprachmodell“ der dritten Generation, beschrieb. Das Team vergrößerte die Kapazität von GPT-3 im Vergleich zum Vorgängermodell GPT-2 um mehr als das Hundertfache. Damit stellte es das größte Sprachmodell seiner Art dar. Die größere Zahl an Parametern ermöglicht im Vergleich zu kleineren Modellen eine größere Genauigkeit. Die Kapazität von GPT-3 ist mehr als das Zehnfache derer von Microsofts Turing NLG.

Sechzig Prozent des gewichteten Pre-Training-Datasets für GPT-3 entstammen einer gefilterten Version von Common Crawl bestehend aus 410 Milliarden Tokens. Andere Quellen sind 19 Milliarden Tokens aus WebText2 für 22 % des gewichteten Datasets, 12 Milliarden Tokens aus Books1 für 8 %, 55 Milliarden Tokens from Books2 für 8 % und 3 Milliarden Tokens aus Wikipedia für 3 %. GPT-3 wurde auf hunderten Milliarden Wörtern trainiert und ist in der Lage, Code in CSS, JSX, Python und anderen Sprachen zu generieren. Da die Trainingsdaten allumfassend waren, wird kein weiteres Training für spezifische Anwendungen benötigt.

Am 11. Juni 2020 verkündete OpenAI, dass Benutzer Zugriff auf eine GPT-3-API anfragen könnten, um OpenAI beim „Erkunden der Stärken und Grenzen“ dieser neuen Technologie zu helfen. Die Einladung beschrieb, dass die API einen Text als Eingabe akzeptiert, um dann einen Ausgabetext zu generieren. Damit könne „fast jede englische Sprachverarbeitungsaufgabe“ durchgeführt werden, im Gegensatz zu den üblichen zweckspezifischen Anwendungen. Laut einem Nutzer mit frühem privaten Zugriff auf die GPT-3-API war GPT-3 „unheimlich gut“ darin, „erstaunlich kohärenten Text“ auf nur wenige, einfache Aufforderungen hin zu generieren. Microsoft verkündete am 22. September 2020, dass es die „exklusiven“ Nutzungsrechte an GPT-3 lizenziert habe, andere können weiterhin die öffentliche API nutzen, aber nur Microsoft habe Kontrolle über den Quellcode. Es gibt mehrere Startups, die auf GPT-3 aufbauen.

GPT-3 kann „Nachrichtenartikel produzieren, bei denen Menschen Schwierigkeiten haben, sie von menschengemachten Artikeln zu unterscheiden“ und hat daher das „Potential, sowohl die nützlichen als auch die schädlichen Anwendungen von Sprachmodellen voranzutreiben.“ In der Publikation vom 28. Mai 2020 beschrieben die Forscher detailliert die potentiellen „schadhaften Auswirkungen von GPT-3“, darunter „Misinformation, Spam, Phishing, Missbrauch von Rechts- und Regierungsprozessen, betrügereische Erstellung von akademischen Aufsätzen und Social Engineering.“ Die Autoren sprechen diese Thematik an, um Forschung zur Risikominimierung zu fordern.

Rezeption

In einem Bericht vom 29. Juli 2020 in der New York Times beschrieb Farhad Manjoo GPT-3 als nicht nur „erstaunlich“, „gruselig“, and „demütigend“, sondern auch „mehr als ein wenig erschreckend“. Daily Nous präsentierte eine Reihe von Artikeln zum Thema GPT-3, geschrieben von neun Philosophen. Der australische Philosoph David Chalmers beschrieb GPT-3 als „eines der interessantesten und wichtigsten KI-Systeme, die je produziert wurden“. National Law Review schrieb, GPT-3 sei ein „beeindruckender Schritt im größeren Prozess“, wobei OpenAI und andere „nützliche Anwendungen für all diese Macht“ fänden, während sie weiterhin „auf eine Allgemeine Künstliche Intelligenz hinarbeiten“.

Wired berichtete, GPT-3 „lässt im Silicon Valley Schauer über Rücken laufen.“ Ein Artikel in MIT Technology Review, unter anderem verfasst vom Deep-Learning-Kritiker Gary Marcus, stellte fest, dass das „Verständnis der Welt häufig ernstlich fehlerhaft [sei], was bedeutet, man kann nie wirklich dem Vertrauen, was es sagt.“ Laut den Autoren modelliert GPT-3 Beziehungen zwischen Wörtern, ohne ein Verständnis der Bedeutung jeden Wortes zu besitzen.

Jerome Pesenti, Leiter des Facebook A.I. Lab, sagte, GPT-3 sei „unsicher“, mit Verweis auf sexistische, rassistische und andere voreingenommene und negative Sprache, die vom System verwendet wurde, als es aufgefordert wurde, Text über Juden, Frauen, Schwarze und den Holocaust zu generieren. Nabla, ein französisches Startup, das sich in Gesundheitstechnologie spezialisiert, testete GPT-3 als medizinischen Chatbot, obwohl OpenAI bereits vor solcher Nutzung gewarnt hatte. Wie erwartet zeigte GPT-3 schwere Einschränkungen: Zum Beispiel schlug bei Tests zum Thema psychische Gesundheit das System einem Patienten vor, Suizid zu begehen.