Stable Diffusion

Stable Diffusion ist ein Deep-Learning-Text-zu-Bild-Generator. Die Open-Source-Software wird hauptsächlich zur Generierung detaillierter Bilder auf der Grundlage von Textbeschreibungen verwendet, kann aber auch für andere Aufgaben wie Inpainting, Outpainting und die Erzeugung von Bild-zu-Bild-Übersetzungen auf der Grundlage einer schriftlichen Aufforderung (Prompt) eingesetzt werden.

Stable Diffusion
Ein von Stable Diffusion generiertes Bild mithilfe des Prompts: „a photograph of an astronaut riding a horse“
Basisdaten
Entwickler	Stability AI
Erscheinungsjahr	22. August 2022
Aktuelle Version	3.5 (23. Oktober 2024)
Betriebssystem	Linux, macOS, Microsoft Windows
Programmier­sprache	Python
Kategorie	Text-zu-Bild-Generator
Lizenz	Stability AI Community License
https://stability.ai/stable-image

Stable Diffusion verwendet ein latentes Diffusionsmodell als Variante eines tiefen generativen neuronalen Netzes, das von der CompVis-Gruppe an der LMU München in Zusammenarbeit von Stability AI, CompVis LMU und Runway mit Unterstützung von EleutherAI und LAION entwickelt wurde.

Im Oktober 2022 erhielt Stability AI in einer von Lightspeed Venture Partners und Coatue Management angeführten Finanzierungsrunde 101 Millionen US-Dollar.

Der Code und die Modellgewichte von Stable Diffusion wurden veröffentlicht und können auf vielen Consumer-Hardware-Systemen ausgeführt werden, sofern diese mit einer GPU mit mindestens 8 GB Grafikspeicher ausgestattet sind. Die Verwendung auf weniger leistungsfähiger Hardware bzw. ohne GPU-Beschleunigung ist mittlerweile ebenfalls möglich, jedoch deutlich langsamer. Dieser offene Ansatz stellt eine Abkehr von proprietären Text-zu-Bild-Modellen wie DALL-E und Midjourney dar, die nur über Cloud-Dienste zugänglich sind.

Technologie

Diagramm der von Stable Diffusion verwendeten Architektur

Stable Diffusion generiert Bilder, indem es iterativ zufälliges Rauschen entschärft, bis eine konfigurierte Anzahl von Schritten erreicht ist. Dabei wird es von dem CLIP-Textencoder, der vorab auf Konzepte trainiert wurde, sowie dem Aufmerksamkeitsmechanismus angeleitet. Das Ergebnis ist das gewünschte Bild, das eine Darstellung des trainierten Konzepts zeigt.

Trainingsdaten

Stable Diffusion wurde anhand von Bild- und Beschriftungspaaren aus LAION-5B trainiert, einem öffentlich zugänglichen Datensatz, der aus „Common Crawl“-Daten aus dem Internet abgeleitet wurde. Dabei wurden 5 Milliarden Bild-Text-Paare auf der Grundlage ihrer Sprache, Auflösung, vorhergesagter Wahrscheinlichkeit ein Wasserzeichen zu enthalten, und vorhergesagter „ästhetischer“ Bewertung (z. B. subjektive visuelle Qualität) in separate Datensätze gefiltert. Der Datensatz wurde von LAION erstellt, einer deutschen gemeinnützigen Organisation, die von Stability AI finanziert wird. Das Stable-Diffusion-Modell wurde auf drei Teilmengen von LAION-5B trainiert: laion2B-de, laion-high-resolution und laion-aesthetics v2 5+. Eine von Dritten durchgeführte Analyse der Trainingsdaten des Modells ergab, dass von einer kleineren Teilmenge von 12 Millionen Bildern aus dem ursprünglich verwendeten größeren Datensatz etwa 47 % der Bilder von 100 verschiedenen Domains stammten, wobei Pinterest 8,5 % der Teilmenge ausmachte, gefolgt von Websites wie WordPress, Blogger, Flickr, DeviantArt und Wikimedia Commons.

Eine Recherche des Bayerischen Rundfunks zeigte, dass die Datensätze von LAION, die auf Hugging Face liegen, große Mengen an privaten und sensiblen Daten enthalten.

Aufgrund der Kritik von Künstlern, Fotografen und anderen Kreativen hat Stability AI 2024 für Stable Cascade und Stable Diffusion 3 die vom Verein Spawning geschaffene Möglichkeit für Künstler genutzt, ihre Werke per Opt-Out von einem Training auszuschließen. Ebenso wären Daten von Institutionen und Personen ausgeschlossen worden, die Stablity AI direkt kontaktiert haben.

Verwendung

Stable Diffusion beansprucht keine Rechte an den generierten Bildern und räumt den Nutzern die Nutzungsrechte für alle aus dem Modell generierten Bilder ein, vorausgesetzt, der Bildinhalt ist nicht illegal oder schädlich für Personen. Die den Nutzern gewährte Freiheit bei der Verwendung der Bilder hat zu einer Kontroverse über die Ethik des Eigentums geführt, da Stable Diffusion und andere generative Modelle anhand von urheberrechtlich geschützten Bildern ohne die Zustimmung des Eigentümers trainiert werden.

Da visuelle Stile und Kompositionen nicht dem Urheberrecht unterliegen, wird häufig die Auffassung vertreten, dass Benutzer von Stable Diffusion, die Bilder von Kunstwerken generieren, nicht gegen das Urheberrecht von visuell ähnlichen Werken verstoßen. Allerdings können Personen, die in den generierten Bildern abgebildet sind, durch Persönlichkeitsrechte geschützt sein, wenn ihr Konterfei verwendet wird, und geistiges Eigentum wie erkennbare Markenlogos bleiben weiterhin durch das Urheberrecht geschützt. Dennoch haben bildende Künstler ihre Besorgnis darüber geäußert, dass der weit verbreitete Einsatz von Bildsynthese-Software wie Stable Diffusion dazu führen könnte, dass menschliche Künstler sowie Fotografen, Models, Kameraleute und Schauspieler allmählich ihre kommerzielle Rentabilität gegenüber KI-basierten Konkurrenten verlieren.

Im Vergleich zu anderen kommerziellen Produkten, die auf generativer KI beruhen, ist Stable Diffusion deutlich freizügiger, was die Art der Inhalte angeht, die die Nutzer erstellen dürfen, wie etwa gewalttätige oder sexuell eindeutige Bilder. Emad Mostaque, CEO von Stability AI, entgegnet den Bedenken, dass das Modell zu missbräuchlichen Zwecken eingesetzt werden könnte: „Es liegt in der Verantwortung der Menschen, ob sie diese Technologie auf ethische, moralische und legale Weise einsetzen“, und dass die Technologie trotz möglicher negativer Folgen einen Nettonutzen bringen würde, wenn die Fähigkeiten von Stable Diffusion der Öffentlichkeit zugänglich gemacht würden. Darüber hinaus argumentiert Mostaque, dass die Absicht hinter der offenen Verfügbarkeit von Stable Diffusion darin besteht, die Kontrolle von Unternehmen über solche Technologien zu beenden, die bisher nur geschlossene KI-Systeme für die Bildsynthese entwickelt haben. Dies spiegelt sich in der Tatsache wider, dass alle Beschränkungen, die Stability AI für die von den Nutzern erzeugten Inhalte auferlegt, aufgrund der Open-Source-Natur der Lizenz, unter der Stable Diffusion veröffentlicht wurde, leicht umgangen werden können. Neuere Versionen wie Stable Diffusion 2 und 3 sowie Stable Cascade wurden mit gefilterten Datensätzen trainiert, um die Erstellung von sexuellen oder gewalttätigen Bildern zu verhindern, eine Entscheidung, die in der Open-Source-Community stark umstritten ist.

Im Juli 2023 stellte Stability AI MindEye vor. Ein KI Model, das mittels Stable Diffusion und funktioneller Magnetresonanztomographie (fMRI) bildhafte Erinnerungen von Probanden rekonstruieren und auslesen kann. Im März 2024 veröffentlichte MedARC MindEye2. Das verbesserte Model soll nach nur einer Stunde Training mit Patientendaten Rekonstruktionen in hoher Qualität liefern.

Versionen

Versionsnummer	Veröffentlichungsdatum	Anmerkungen
1.1, 1.2, 1.3, 1.4	August 2022	Alle Modelle wurden von CompVis veröffentlicht. Es gibt keine „Version 1.0“.
1.5	Oktober 2022	Trainiert auf den Parameterwerten von 1.2, nicht 1.4. Veröffentlicht von RunwayML.
2.0	November 2022	Von Grund auf neu trainiert mit einem gefilterten Datensatz.
2.1	Dezember 2022	Trainiert mit den Parameterwerten von 2.0.
XL 1.0	Juli 2023	Das XL 1.0 Basis-Modell hat 3,5 Milliarden Parameter, etwa 3,5-mal mehr als die vorherigen Versionen.
XL Turbo	November 2023	Ein destilliertes XL 1.0, das weniger Diffusionsschritte braucht.
3.0	Februar 2024 (frühe Vorschau)	Eine Modellfamilie, die von 800M bis zu 8B Parametern reicht.
3.5	Oktober 2024	Eine Modellfamilie mit 3 Versionen. „Large“ (8 Milliarden Parameter), „Large Turbo“ (destilliert aus „Large“, dadurch weniger Schritte notwendig), und „Medium“ (2,5 Milliarden Parameter).

Lizenz

Im Gegensatz zu Modellen wie DALL-E stellt Stable Diffusion seinen Quellcode zusammen mit den vortrainierten Gewichten zur Verfügung. Die Lizenz von Stable Diffusion verbietet bestimmte Anwendungsfälle, darunter Verbrechen, Verleumdung, Belästigung, Doxing, „Ausbeutung von Minderjährigen“, medizinische Ratschläge, die automatische Schaffung rechtlicher Verpflichtungen, die Erstellung juristischer Beweise und „die Diskriminierung oder Schädigung von Einzelpersonen oder Gruppen aufgrund von … sozialem Verhalten oder … persönlichen oder charakterlichen Eigenschaften … [oder] gesetzlich geschützten Merkmalen oder Kategorien“. Der Nutzer ist Eigentümer der Rechte an den von ihm erzeugten Bildern (sofern für KI-generierte Kunst überhaupt Urheberrecht beansprucht werden kann) und kann diese kommerziell nutzen.

Literatur

• Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer: High-Resolution Image Synthesis with Latent Diffusion Models. 13. April 2022, doi:10.48550/arXiv.2112.10752. 

Weblinks

Commons: Stable Diffusion – Sammlung von Bildern, Videos und Audiodateien

• Stable Diffusion Demo
• Easy Diffusion Stable Diffusion für Windows 10/11, Linux und macOS.
• Der Rohstoff der KI sind wir: Recherche des Bayerischen Rundfunks zu sensiblen und privaten Daten im LAION5b-Datensatz