Hier geht es um den Einsatz von KI zur Qualitätssicherung (Erkennen Vandalismus, Veraltung, Widersprüchen etc.) inclusive der Sensibilisierung von Autoren.
Diese Empfehlungen sollten weiter ausgearbeitet und an die Entwicklungen angepasst werden (DRAFT und unabgestimmt):
KI-erstellte Beiträge, die ungeprüft eingestellt werden, bleiben auf lange Sicht ein Regelverstoss. KI-Einsatz als Hilfsmittel verbreitet sich trotzdem.
Wegen der möglichen Fehlerhaftigkeit (v.a. sogenannte Halluzinationen bzw. Konfabulationen) müssen praktisch alle von einer KI gelieferten Inhalte vom Autor nachgeprüft werden und durch das Publizieren in Artikeln wird die Verantwortung dafür übernommen, dass es stimmt.
KI hat nicht das Ziel, Enzyklopädieartikel zu schreiben, sondern dialogisch auf Anfragen (Prompts) zu reagieren. Man kann im Prompt durch präzisere Anfragen den Stil in Richtung Enzyklopädieartikel beeinflussen, dies aber bisher offenbar nur bedingt.
Die Fehlerrate wird sich nach einigen Prognosen weiter verringern, bleibt aber systembedingt offenbar noch eine Weile vorhanden.
Die Erkennbarkeit anhand von spezifischen Formulierungen wird laut Prognosen ebenfalls immer schwerer, KI kann verschiedene Stile simulieren und es gibt Tools, die Erkennbarkeit zu minimieren.
Beim Einsatz von Erkennungssoftware können falschpositive Ergebnisse zunehmen, wenn eine Überarbeitung geprüfter Inhalte mittels KI-Tools erfolgt, die dann ihren Stil einfliessen lassen.
Die KI wertet auch andere und in Wikipedia potentiell verwendbare Quellen aus - und dies mit der Fehlerrate (Existenz der Quelle und Inhalte). Im Idealfall geben KI heute die Quellen an (man kann auch danach fragen) und man muss prüfen, ob es jede Quelle gibt, ob sie reputabel ist und AUCH ob das wirklich dort steht, was damit bequellt wurde.
-> Es ist zweifellos noch nicht fertig, muss weiterentwickelt werden. Bisher stimmen wir einer Implementierung in DE:WP nicht zu - insofern kann man das auch schwerlich hier und duch Einbeziehung unserer Expertise weiterentwickeln. Dialog suchen? (Meinung Wortulo)
mw:ORES ein Webdienst und eine API, die maschinelles Lernen als Dienst für Wikimedia-Projekte bereitstellt, die vom Machine Learning-Team unterhalten werden.
en:User:ClueBot_NG Vandalismus erkennen und zurücksetzen mit KI (englische WP)
As ClueBot NG requires a dataset to function, the dataset can also be used to give fairly accurate statistics on its accuracy and operation. Different parts of the dataset are used for training and trialing, so these statistics are not biased.
The exact statistics change and improve frequently as we update the bot. Currently:
Selecting a threshold to optimize total accuracy, the bot correctly classifies over 90% of edits.
Selecting a threshold to hold false positives at a maximal rate of 0.1% (current setting), the bot catches approximately 40% of all vandalism.
Selecting a false positive rate of 0.25% (old setting), the bot catches approximately 55% of all vandalism.
Currently, the trial dataset used to generate these statistics is a random sampling of edits, each reviewed by at least two humans, so statistics are accurate.
Note: These statistics are calculated before post-processing filters. Post-processing filters primarily reduce false positive rate (ie, the actual number of false positives will be less than stated here), but can also slightly reduce catch rate.
Initiativen zur Erkennung und Behandlung von KI-generierten Inhalten
AI Cleanup Projektbeschreibung Bearbeitungshinweise (englische WP)
aber: eine Policy wurde nicht angenommenDie Ausgabe von großen Sprachmodellen, wenn sie auf Wikipedia verwendet wird, muss manuell auf Genauigkeit überprüft werden (einschließlich der von den generierten Referenzen), und ihre Verwendung (einschließlich des Modells) muss vom Redakteur offengelegt werden; Text, der gegen diese Richtlinie verstößt, kann summarisch entfernt werden. wurde nicht angenommen.
Wenn die Halluzinationen das eigentliche Problem von KI sind, wäre die gezielte Suche danach mittels KI eine Lösung.
Maximilian Brose: Quellencheck: KI-Helferlein für Wikipedia-Autoren deutschlandfunk.de 23.20.23 (audio) Die KI „Side“ soll Wikipedia-Autoren helfen, zweifelhafte Quellen aufzuspüren. Gute Idee, findet Innovationsforscher Leonhard Dobusch. Allerdings nur dann, wenn die Software so gut trainiert ist, dass sie keine Wiki-Fehler reproduziert
'Fabio Petroni, Samuel Broscheit, Aleksandra Piktus, Patrick Lewis, Gautier Izacard, Lucas Hosseini, Jane Dwivedi-Yu, Maria Lomeli, Timo Schick, Michele Bevilacqua, Pierre-Emmanuel Mazaré, Armand Joulin, Edouard Grave, Sebastian Riedel: Improving Wikipedia verifiability with AI. In: Nature Machine Intelligence. Band5, Nr.10, Oktober 2023, ISSN2522-5839, S.1142–1148, doi:10.1038/s42256-023-00726-1 (nature.com [abgerufen am 6. August 2024]).
Kommentar Benutzer:HaeB von der Diskussionsseite übertragen: Aber bevor sich jemand zu große Hoffnungen macht: Im Juli 2022 warnte der Hauptautor (inzwischen nicht mehr bei Meta tätig), dass "Side ein POC [Proof of Concept] ist, der zeigt, dass die Technologie vorhanden ist. Um ein Produktionssystem aufzubauen, ist noch viel zu tun. :)“ – und das Code-Repository hat in den zwei Jahren seitdem keine neuen Commits gesehen.. Und selbst wenn der Code produktionsreif gemacht wird, werden die Serveranforderungen wahrscheinlich nicht unerheblich sein – allein die Modelle (die Meta lobenswerterweise unter einer freien Lizenz veröffentlicht hat) benötigen etwa 2 Terabyte Festplattenspeicher, was es beispielsweise wohl ausschließt, dies auf Toolforge zu hosten (eher schon auf der neuen "Lift Wing"-Infrastruktur der Foundation).
96. DTS, 18. Juni 2024: „Verständlichkeit von Wikipediaseiten“ u.a. Prüfung der Lesbarkeit von krankheitsbezogenen Wikipediaseiten: Beurteilung der Sprache durch automatisierte computergestützte Analyse. Diabetes mellitus wie er ist (schwer), wie er durch Vereinfachung durch KI wird (leicht) und Probleme (Folien Vortrag)
We show that the process of improving references can be tackled with the help of artificial intelligence (AI) powered by an information retrieval system and a language model. This neural-network-based system, which we call SIDE, can identify Wikipedia citations that are unlikely to support their claims, and subsequently recommend better ones from the web.
Sammlung bei Sinuhe20: QS mit KI: Nützliche OpenAI-Anfragen zur Qualitätssicherung von Wikipedia-Artikeln (Basis, "Mittlere" und Experten). Beinhaltet z.B. Rechtschreibung und Grammatik, Formatierungsprüfung, Faktenprüfung und Quellenprüfung und auch komplexere Aspekte.
Empowering Wikidata editors and content with the Wikidata Quality Toolkit Der Workshop auf der Wikimania 2024 (mit Aufzeichnung) zeigt die Verwendung der im Wikidata Quality Toolkit (WQT) enthaltenen Tools. Das WQT besteht aus Tools, die Wikidata-Editoren bei drei ihrer täglichen Aufgaben unterstützen sollen: welche Elemente sollen bearbeitet werden (basierend auf ihrem Fachwissen und ihrem Bearbeitungsverlauf); das Erkennen von Elementreferenzen, die den Anforderungen nicht gut entsprechen (und Möglichkeiten, sie zu verbessern) sowie das automatische Generieren von "EntitySchemas" (?), um Elemente mit fehlenden Informationen zu finden.
Ich wies einen von mir Biografierten hin, dass die Quellen öffentlich zugänglich sein müssen, in Bibliotheken. Der lieferte eine Perplexity-Antwort, die genau sagte, wo welche Dinge verfügbar sind und das stimmte auch. Sprich das können wir auch - müssen es aber immer prüfen. --Wortulo (Disk. * KI-Projekt) 21:10, 26. Nov. 2024 (CET)[Beantworten]
Hier können Beispiele dokumentiert werden - falls es zu lang wird, auf Unterseiten auslagern. Bitte angeben, wann und womit das gemacht wurde und signieren (Ansprechbarkeit). Einges geht sicher mit verschiedensten Chatbots.
Startabfrage: Du bist ein Assistent für die Qualitätssicherung von Wikipedia-Artikeln. Der folgende Text ist der zu analysierende Artikel [Artikeltext] Er unterscheidet Basis-QS, Mittlere QS und Experten-QS mit diversen Unter-Aspekten.
-> Dies kann eine Grundlage für Tests zur Eignung der KI für die QS sein.
Persönliche Angriffe im Stil sind in der Kommunikation zwischen Wikipedianern unerwünscht, sind oft Gegenstand der Vandalismusmeldungen und können zu Sankionen führen. Es kann davon ausgegangen werden, dass einigen unbeabsichtigt erfolgen (die Absicht des Schreibenden und das Aufnehmen durch den Empfänger nicht übereinstimmen). Dies kann auch an mehrdeutigen Formulierungen liegen. KI-Modelle beherrschen heute auch semantische Analysen und Umformulierungen (was die Grundlage der Vereinfachungen beispielsweise ist).
Dies kann man sich zu Nutze machen, indem man kritische Beiträge vorher durch geeignete Promts ("Ist folgendes als persönlicher Angriff in Wikipedia zu sehen" - "Wie kann ich folgendes so umformulieren, dass es als sachliche Kritik verstanden wird?" u.ä.) analysieren lässt. Auch Admins könnten dies als Hilfsmittel einsetzen, wenn sie entscheiden ob es sich um einen PA handelt.
Medien wie Bilder, Grafiken und andere stammen in der Regel aus Wikimedia:Commons, wenn nichts anderes angegeben ist. Die Autoren und Lizenzbedingungen sind ersichtlich, wenn man das Medium anclickt (vergrössert) und dann "Weitere Einzelheiten" aufruft. Die Lizenzbedingungen sind insbesondere dann zu beachten, wenn eine Verwendung ausserhalb der Wikipedia erfolgen soll.
Zitate sind kursiv dargestellt, "→" kennzeichnet redaktionelle Zusammenfassungen
