Benutzer:Kuebi/Weblinkeditor

Seit Dezember 2014 benutze ich für die Verbesserung von Einzelnachweisen und Weblinks einen speziellen Weblinkeditor. Der Editor wurde von mir in PHP geschrieben. Es handelt sich nicht um einen Bot. Das Abspeichern erfolgt manuell, nachdem ich die vorgeschlagenen und ggf. korrigierten Änderungen überprüft habe. Das Programm kann mal ein Bot werden, allerdings sind die Funktionen des Programms sehr komplex und es kann aus Qualitäts- und Sicherheitsgründen erst nach einer sehr ausgiebigen Phase der manuellen Erprobung mit Verbesserung ein Bot werden. Es arbeitet nach folgendem Prinzip:
Zunächst werden alle potenziell verbesserungsfähigen Artikel gesucht. Dazu wird Cirrus verwendet. Damit kann man seit November 2014 auch im Wiki-Quelltext suchen. Beispielsweise insource:"books.google." findet die Seiten, die offensichtlich auf Google Books verlinken. So findet man 53 458 Artikel (Stand 17. Dezember 2014). Damit bekommt man die ersten 100 angezeigt und so die nächsten 100 usw.. Ein spezielles Programm schickt die Anfrage, Cirrus sucht, das Programm liest die Ergebnisse aus und schaufelt die Lemmata in eine Datenbank. Nun kommt der Weblinkeditor ins Spiel. Der kann zwar auch manuell mit einem Lemma gefüttert werden (was zu Testzwecken und für Programmverbesserungen sinnvoll ist), holt sich aber aus der Datenbank ein Lemma. Aus der Wikipedia wird der Wiki-Quelltext ausgelesen und zerlegt. Alle Einzelnachweise und Weblinks werden ausgelesen und durch Platzhalter temporär ersetzt. Anschließend wird jeder Einzelnachweis analysiert und – wenn nötig – eine verbesserte Version erstellt. Wie die zustande kommt, dazu später mehr. Im Editor werden nun die Einzelnachweise und Weblinks aufgelistet. Dabei stehen sich die alte und die neue Version unmittelbar gegenüber. Die vorgeschlagene neue Version kann manuell nachgebessert werden. Das ist in der Optimierungsphase allerdings nur selten der Fall. Verbessert wird primär die Funktion des Programms, denn mögliche Konvertierungs- und Optimierungsfehler könnten ja immer wieder auftreten. Ist alles o.k. werden die Platzhalter durch ggf. verbesserten Einzelnachweise und Weblinks wieder ersetzt, noch kleine kosmetische Änderungen vorgenommen (auch dazu später mehr) und das ganze wieder gespeichert. Ist etwas nicht in Ordnung und bedarf weitergehender Änderungen/Ergänzungen in der Software, beispielsweise ein neues Modul (auch dazu später mehr), so kann zur „Wiedervorlage“ mit entsprechenden Kommentaren in der Datenbank, nicht aber in der Wikipedia gespeichert werden. Ist die Software entsprechend geändert, wird sie mit den wieder vorgelegten Problemfällen getestet und ggf. nachgearbeitet.

Was soll wie verbessert werden?

Viele Artikel enthalten Einzelnachweise und Weblinks in der Form:
Beispiel 1: <ref>http://www.tagesspiegel.de/meinung/kontrapunkt-schweigende-abweichler-waeren-das-ende-der-demokratie/4677094.html</ref>
Bei Weblinks entsprechend ohne die ref-Tags. Das sieht nicht nur hässlich (siehe Beispiel 2: http://books.google.de/books?id=EtxZLQPf77AC&pg=PA10&lpg=PA10&dq=Tasmanien+Namenswechsel&source=bl&ots=0kDZozt-Lq&sig=XSnMUkuhfkzW1Xo40o8pHB5Csek&hl=de&sa=X&ei=d7jdULnOJcjGswbQqoCABg&ved=0CDQQ6AEwAA#v=onepage&q=Tasmanien%20Namenswechsel&f=false aus [1]), sondern ist auch wenig informativ. Der Leser des Artikel kann aus der kryptischen URL so gut wie keine Informationen holen. Aus diesen Gründen steht in Wikipedia:Weblinks#Formatierung unter anderen:

Weblinks sollten die Adresse verstecken und einen aussagekräftigen Titel haben. Der Anbieter der Website bzw. das Webangebot sollte erwähnt werden.
Bei Datenbanken, Pressemitteilungen und ähnlichen Artikeln sollten nach Möglichkeit auch der Autor, das Webangebot und das Veröffentlichungsdatum notiert werden, um die Herkunft und zeitliche Zuordnung einheitlich sichtbar zu machen, was wiederum auch die Seriosität und Glaubhaftigkeit solcher externer Quellen leichter nachvollziehbar macht. Dabei sollen auch der Autor und die Webseite mit einem Wiki-Link (siehe auch Hilfe:Links) versehen werden, sofern dazu bereits ein Wikipedia-Artikel existiert.

Mit Vorlagen lassen sich diese Ziele realisieren. Vorlagen dienen zur Konsistenzmaximierung: Mit Vorlagen lässt sich ein einheitliches Erscheinungsbild erreichen.

Also einfach die Webseite aufrufen, dort die notwendigen Daten zusammensuchen und in die Vorlage Internetquelle (Beispiel 1) {{Internetquelle | url= | titel= | autor= | datum= | zugriff=2014-12-17}} oder Literatur (Beispiel 2) {{Literatur | Autor= | Titel= | Auflage= | Verlag= | Ort= | Jahr= | ISBN= | Seiten=}} eintragen und speichern. Einfach ja, aber manuell schlichtweg nicht machbar. Aber für stupide Tätigkeiten hat der Mensch Maschinen und seit ein paar Jahrzehnten Programme entwickelt, die ihm die Arbeit erleichtern (sollen).

Wie wird es gemacht?

Der Weblinkeditor geht Link für Link durch. Was nicht ordentlich formatiert ist, wird versucht zu verbessern. Im Beispiel 1 ruft das Programm den Artikel des Tagesspiegel auf und holt aus dem Quelltext die wichtigen Metadaten. Das sind:

Der Titel des Artikels (Schlagzeile): Schweigende Abweichler wären das Ende der Demokratie (steckt zwischen und )
Der Autor des Artikels: Jost Müller-Neuhof (steckt zwischen von <a title=" und " rel="author" href=")
Das Datum der Veröffentlichung: 30.09.2011 (steckt zwischen und 14:21 Uhr)
Die URL des Artikels: (steckt zwischen <meta content=" und " name="og:url"/>

Warum wird nochmal die URL ausgelesen? Manche Links in der Wikipedia sind veraltet und werden – zum Glück – weitergeleitet. Wenn sich nicht weitergeleitet werden, kommt es zu einem Toter Link dazu später mehr.

Die ausgelesenen Daten werden nun in die Vorlage eingesetzt. Hat die Quelle noch keinen Namen (so etwas <ref name="Belegname1">), dann bekommt sie einen zur Quelle individuell passenden. Im Beispiel des Tagesspiegel wird das <ref name="tagesspiegel-4677094">. Einfach der Name der Quelle plus die Artikel-ID aus der URL. Das sichert die Unverwechselbarkeit. Hat die Quelle schon einen Namen, so wird der behalten. Anschließend werden alle neu formatierten Belege miteinander verglichen. Ist ein Beleg mehrfach vorhanden, so werden die Doubletten durch entsprechende Labels ersetzt. Im Beispiel durch <ref name="tagesspiegel-4677094" />.

Nach dem Speichern sieht das dann beispielsweise so aus.

Was kann der Weblinkeditor derzeit?

In der Wikipedia werden sehr viele verschiedene Webseiten als Quellen genutzt. Entsprechend vielseitig sind leider auch die Quellcodes der einzelnen Anbieter. Jedes CMS liefert eigene speziell formatierte Metadaten. D.h. in jedem Fall muss das je nach Quelle individuell angepasst werden. Hinzu kommen noch Webseiten, die für mobile Endgeräte optimiert wurden (erkennbar an dem m in http://m.irgendwas.irgendwo) und natürlich PDF-Seiten, die gar keine brauchbaren Metadaten enthalten. Selbst in Fällen von einem Anbieter können die Metadaten sehr unterschiedlich sein. Ein Beispiel dazu liefert die Internetpräsenz des Spiegels. Dort gibt es unter anderem die Ausgaben der Printversion (an /print/ in der URL erkennbar) Online-Ausgabe (fast alles andere). Selbst bei der Print-Ausgabe gibt es drei Varianten mit unterschiedlichen Metadaten: die reguläre Version (/spiegel/print/d-), die Vorabversion (enthält /vorab/ in der URL) und Spiegel Special. Bei den Online-Ausgaben kommen noch Spezialfälle wie fotostrecke, video und flash hinzu. All das wird in der Wikipedia verlinkt und hat dummerweise unterschiedliche Formate der Metadaten.

Aus folgende Medien kann sich der Weblinkeditor derzeit Metadaten für Einzelnachweise und Weblinks holen:

Google Books (books.google.)
Der Spiegel (.spiegel.de)
Frankfurter Allgemeine Zeitung (.faz.net)
Frankfurter Rundschau (.fr-online.de)
Süddeutsche Zeitung (.sueddeutsche.de)
Die Welt (.welt.de)
Die Zeit (.zeit.de)
Focus (.focus.de)
Stern (.stern.de)
Telepolis (.heise.de/tp/) den Newsticker noch nicht!
Die Tageszeitung (.taz.de)
Der Tagesspiegel (.tagesspiegel.de)
Handelsblatt (.handelsblatt.de)
Kicker-Sportmagazin (.kicker.de)
Hamburger Abendblatt (.abendblatt.de)
Neue Zürcher Zeitung (.nzz.ch)
Der Standard (.derstandard.at)
golem.de (.golem.de)
Netzeitung (.netzeitung.de)
Informationsdienst Wissenschaft (.idw-online.de)
Ärzteblatt (.aerzteblatt.de)

Für diese Programme gibt es eigenständige Module. Das sind nichts weiter als functions in die u.a. die URL reingeht und die formatierte Vorlage rauskommt.

Tote oder falsch geschrieben Links (die sind erst einmal nicht voneinander unterscheidbar) werden in die Vorlage:Toter Link gesetzt.

Was kann der Weblinkeditor noch?

Wenn schon mal ein Artikel bearbeitet wird, so sollte nach Möglichkeit auch anderer Kleinkram mit erledigt werden. Bei dem Weblinkeditor sind dies:

Links auf Google Books werden zerlegt und in die Vorlage:Google Buch eingesetzt.
Links auf Youtube-Videos werden ebenfalls zerlegt und in die Vorlage:Youtube eingesetzt
Nackte Links für die es kein Modul gibt, werden durch [http://www.irgendwas.wo/Unterseite1/Unterseite2/Name-des-Artikels-und-anderes-Zeugs/?irgendeinparameter=fullsize&nochsowas=always www.irgendwas.wo] ersetzt. Damit wird nur www.irgendwas.wo für den Leser sichtbar
Links auf Wikipedia-Artikel in Einzelnachweisen werden – egal in welcher Sprache – gnadenlos entfernt. Wikipedia ist grundsätzlich keine brauchbare Quelle! Siehe Wikipedia:Belege#Was_sind_zuverl.C3.A4ssige_Informationsquellen.3F: Nach dem Wiki-Prinzip erstellte und veröffentlichte Texte – egal aus welchem lokalen Namensraum oder externen Schwesterprojekt sie stammen – fallen prinzipiell nicht unter den hier verwendeten Quellenbegriff. [..] Wikis mit geschlossenem Autorenkreis können im Einzelfall jedoch durchaus zuverlässige Quellen sein.
[[File: bzw. [[Bild: werden durch [[Datei: ersetzt. Ebenso thumb, miniatur, right, left und upright.
"e.V." wird durch "e. V." ersetzt und "  %" durch " %". Andere HTML-Entities wie beispielsweise – werden durch ihre einfacheren Entsprechungen (im Beispiel –) ersetzt.
Häufige Weiterleitungsziele werden durch ihre korrekten Ziele ersetzt. Beispiel [[USA]] durch [[Vereinigte Staaten|USA]]
für weitere Vorschläge bin ich offen, allerdings ist das nicht das Hauptziel des Weblinkeditors (Nomes est omen).

Ein paar Beispiele für das was der Weblinkeditor macht (ohne manuelle Eingriffe!):

Artikel März 2007: Aus 33 Weblinks wurden die Metadaten ausgelesen (das dauerte 26 Sekunden) und neu formatiert. Das Abspeichern dauerte 3 Sekunden. [2]
Artikel Hans Modrow: [3]
Artikel Liberal-Islamischer Bund: [4]
Artikel Nicolás Maduro: [5]
Artikel Hans-Martin_Tillack: [6]
Artikel Liste_der_Gouverneure_von_Assam: [[7]]

Was soll er in Zukunft noch können

Weitere Medien (siehe Liste unten)
Weitere Links in Vorlagen schieben. Beispiel: Vorlage:Munzinger
Noch mehr Artikelkosmetik. Und (vielleicht) was Du Dir wünschst:
…

Was in der Wikipedia so als Internetquellen genommen wird

Die Tabelle erhebt keinerlei Anspruch auf Vollständigkeit! Gesucht wurde mit der Cirrus-Option insource, beispielsweise insource: ".sueddeutsche.de." ergibt: [8]. Anzahl der Artikel heißt: in wievielen Artikel taucht die links stehende Website mindestens einmal auf?

Webseite	Anzahl der Artikel in de.wikipedia.org (Stand: 16. Dezember 2014)	Implementiert im Weblinkeditor	Anmerkungen
books.google.	53298	x
.spiegel.de	30051	x
.youtube.com	19501	x
.zeit.de	17016	x
.welt.de	14084	x
.nytimes.com	13032
.faz.net	11711	x
.bbc.co.uk	10420
.sueddeutsche.de	10230	x
.wikipedia.org	8362	x	Werden gnadenlos entfernt
.europa.eu	7128
.focus.de	7109	x
.taz.de	6980	x
.tagesspiegel.de	6915	x
.admin.ch	6872
.heise.de	6184	o
.nzz.ch	5906	x
.derstandard.at	5489	x
.zeno.org	5166
.guardian.co.uk	5155
de.wikipedia.org	4787	x	Werden gnadenlos entfernt
.dradio.de	4746
.facebook.com	4473
.abendblatt.de	4287	x
.berliner-zeitung.de	4160
.stern.de	4136	x
.rp-online.de	4088
.kicker.de	4039	x
www.google.	4005
.destatis.de	3838
.handelsblatt.com	3762	x
.derwesten.de	3692
.fr-online.de	3612	x
.bundestag.de	3447
.tagesschau.de	3394
diepresse.com	3246
.parlament.gv.at	2400
.bild.de	2344
.time.com	2332
.gesetze-im-internet.de	2303
en.wikipedia.org	2292	x	Werden gnadenlos entfernt
.bpb.de	2279
.tagesanzeiger.ch	2268
.n-tv.de	2278
.cnn.com	2240
.t-online.de	2189
.reuters.com	2141
.lagis-hessen.de	1973
.sport-komplett.de	1938
.badische-zeitung.de	1894
.arcor.de	1788
.wienerzeitung.at	1636
.loc.gov	1492
.duden.de	1482
.idw-online.de	1437
.forbes.com	1401
.br-online.de	1398
.dailymail.co.uk	1397
.scribd.com	1360
.manager-magazin.de	1316
.suntimes.com	1270
.timesonline.co.uk	1264
.merkur-online.de	1262
.golem.de	1254	x
.tvspielfilm.de	1249
.stuttgarter-zeitung.de	1205
.nature.com	1183
.usatoday.com	1093
.wiwo.de	1008
.answers.com	988
.netzeitung.de	970	x
.huffingtonpost.com	964
.sz-online.de	960
.nachrichten.at	926
.wsj.com	909
.heute.de	827
.haz.de	799
.blick.ch	790
.swp.de	786
.bz-berlin.de	754
.people.com	740
.sport1.de	722
.bloomberg.com	699
.neues-deutschland.de	689
.dpma.de	678
.cia.gov	676
.rundschau-online.de/	669
.noz.de	660
.bundesgerichtshof.de	649
.munzinger.de	640
.ncbi.nlm.nih.gov/pubmed/	639
.mopo.de	611
.maerkischeallgemeine.de	611
.express.de	599
.spox.com	594
.who.int	569
.news.at	559
.stimme.de	655
.allgemeine-zeitung.de	549
.stuttgarter-nachrichten.de	546
.ruhrnachrichten.de	542
.freiepresse.de	538
.arbeitsagentur.de	530
.uni-protokolle.de	521
www.greenpeace.	516
.echo-online.de	500
.fnp.de	496
.abgeordnetenwatch.de	491
.sciencemag.org	491
.pnn.de	487
.abendzeitung-muenchen.de	483
.boersenblatt.net	483
.netzwelt.de	458
.ft.com	456
.foxnews.com	446
.stadt-koeln.de	374
.jungewelt.de	370
.bverfg.de	316
.worldbank.org	311
.imf.org	310
.cducsu.de	298
.wuv.de	296
.hdg.de	268
.zdnet.de	249
.ostsee-zeitung.de	232
.sciencedaily.com	218
.plosone.org	195
.wiesbadener-tagblatt.de	191
.rnz.de	167
.dtv.de	135
.bravo.de	123
.dbu.de	117
www.ebay.	117		fast alle können entfernt werden
.sopos.org	105
.csu.de	67
.worldweather.org	18
.neue-braunschweiger.de	14
.emas.de	10
.dpa.de	8
.tribuneonline.org	5