Benutzer:Herzi Pinki/Entwurf einer Qualitätsmetrik für Fotowettbewerbe

Inzwischen wurden von den diversen WM Chaptern mehrere Fotowettbewerbe ausgerichtet. Eine Qualitätsmetrik für Fotowettbewerbe soll dazu dienen, das Ergebnis solcher Wettbewerbe messbarer zu machen und den investierten Aufwand in Relation zum Ergebnis bewerten zu können. Es ist der Startpunkt einer Untersuchung mit dem Focus auf WMAT. Es sollte klar sein, dass eine Fokussierung auf die Anzahl der Fotos nicht mit der Qualität der Fotos korreliert.

Bisherige Wettbewerbe

WLM 2011, 2012 (AT), 2013 (AT)
WLPA 2013
WLE 2014 (AT)
TDD 2011 (AT), 2012 (AT), 2013 (AT)

Anforderungen an eine Qualitätsmetrik

Die Metrik muss einfach und wiederholbar berechenbar sein. Im besten Fall geschieht dies mit vorhandenen Bordmitteln der Mediawiki SW.
Die Wiederholbarkeit erstreckt sich sowohl auf beliebige Zeitpunkte innerhalb eines Wettbewerbs, auf parallel stattfindende Wettbewerbe als auch auf sequentiell wiederholte Wettbewerbe. Die Messergebnisse müssen vergleichbar sein, eine Änderung der Metrik von einem zum anderen Mal ist daher zu vermeiden.
Eine Gesamtmetrik besteht aus einzelnen Metriken, die miteinander kombiniert werden können. Einzelwerte müssen leicht bestimmbar sein, die Kombination kann eine Gewichtung der einzelnen Teilmetriken vornehmen, dies schließt eine negative Gewichtung mit ein.
Eine Metrik muss das messen, was entweder als erwünschter oder als zu vermeidender Zustand im Sinne eines Fotowettbewerbs definiert werden kann.
Metriken müssen stabil sein. Der Einfluss einzelner Benutzer sollte im Rahmen bleiben.

Arten von Metriken

absolute Metrik: Eine absolute Metrik zählt gewünschte Einzelergebnisse (z.B. Anzahl der Fotos). Problem: Der absolute Wert sagt wenig aus. Auch wenig über Qualität.
relative Metrik: Eine relative Metrik zählt gewünschte Einzelergebnisse und setzt sie in Beziehung zu einer Gesamtanzahl an insgesamten Ergebnissen.
Zielwerterreichung: Die Metrik bezieht sich auf einen vorab vorgegebenen Zielwert, die Erreichung des Zielwerts in Prozent ergibt die Metrik.

bereits in der Vergangenheit verwendete Metriken

Anzahl der Fotos: keine Qualitätsmetrik, vgl. etwa Lines of Code.

Anzahl pro Land Anzahl pro Benutzer

Mögliche Einzelmetriken

Hier erfolgt einmal eine wertungsfreie Aufzählung. Unter Fotos ist immer die Grundmenge der im Zuge eines Wettbewerbs hochgeladenen Fotos zu verstehen.

Anzahl der Fotos in Relation zu der Anzahl der zu bebildernden Objekte
Anzahl der bebilderten Objekte in Relation zu der Anzahl der überhaupt zu bebildernden Objekte
Anzahl der ausreichend beschriebenen und kategorisierten Fotos in Relation zur Gesamtanzahl der Fotos
Anzahl der in irgendeiner Form ausgezeichneten Fotos (e.g. Quality Images) in Relation zur Gesamtanzahl der Fotos
Anzahl der in irgendeiner Form ausgezeichneten Fotos in Relation zur Gesamtanzahl der für eine Auszeichnung eingereichten Fotos
Anzahl der Bilder von neuen Benutzern im Verhältnis zu den Bildern bereits arrivierter Benutzer (Öffentlichkeitswirksamkeit), neue Benutzer sind dabei solche, die im Wettbewerbszeitraum (ab einem Zeitpunkt davor) ihr erstes Bild nach Commons hochladen.
Anzahl der Benutzer, die sich überhaupt am Wettbewerb beteiligen. (für 2013)
Anzahl der neugewonnenen Benutzer, die über dem Wettbewerbszeitraum aktiv bleiben (nach einem Abstand von zu definierenden Monaten immer noch hochladen / editieren).
Anzahl der Einbindungen der Fotos in WP-Artikel (nach Listen, nach sonstigen Artikeln)
Anzahl der nicht wettbewerbskonformen Fotos in Relation zur Gesamtanzahl
Bewertung einzelner Fotos im Rahmen des Jurytools nach Kriterien wie Brauchbarkeit für den angestrebten Zweck, Größe, Auflösung, Motiv, technische Qualität, künstlerische Qualität. Aus der Bewertung einzelner Fotos lässt sich dann eine Durchschnittsbewertung errechnen.
Durchschnittliche Anzahl Benutzer, die Bilder zu einem Objekt beigetragen haben.

Anmerkung zu Quality Images als Bewertungsgrundlage

Die Quality Images sind als Bewertungsgrundlage fraglich. Dies liegt am Nominierungsmodus, am Bewertungsmodus und an den Bewertungskriterien, die nicht alle Benutzer mögen. Die Nominierung erfolgt niederschwellig und unorganisiert, eine flächendeckende Nominierung von Wettbewerbsbildern würde den Rahmen der Quality Images bei weitem sprengen. Daher ist ein Push bei der Nominierung zu vermeiden, allerdings könnten etwa im Rahmen einer Vorjury offensichtlich gelungene Bilder nominiert werden, am besten auf Knopfdruck im Bewertungstool. Die Metrik Quality images ist nicht stabil, da die Messwerte durch Einzelaktionen (viele Nominierungen) leicht manipulierbar sind. Der Bewertungsmodus ist nicht geeignet, eine Basis für eine Metrik zu bilden (in der Regel reicht ein Benutzer, um ein nominiertes Bild zu propagieren, POV (auch Metrik-POV) ist damit Tür und Tor geöffnet).

post mortem Metriken

Ich versuche hier, ein paar Metrikwerte für vergangene Fotowettbewerbe nachzurechnen, um ein Gefühl zu ermöglichen. Stichtage sind jeweils der 31. August und der 1. Oktober für WLM (so nicht anders angegeben).

	WLM 2011 (AT)	WLM 2012 (AT)	WLM 2013 (AT)
Gesamtanzahl Objekte lt. BDA (Quelle)	36645 ([1])	36953 ([2])	37312 ([3])
Anzahl der bebilderten Objekte zu Beginn (Quelle)	10962 (30%) ([4])	26734 (72%) ([5])	32070 (86%) ([6])
Anzahl hochgeladene Fotos (Quelle)^[1]	11728 (Q)	10798 (Q)	11055 (Q)
zusätzlich bebilderte Objekte in den Denkmallisten	5931 ([7])	1825 ([8])	733 ([9])
ø Fotos / Objekt	0.32	0.29	0.3
ø Fotos / unbebildertes Objekt (wieviele Fotos braucht es, um ein Objekt zu bebildern)	1.98	5.92	15.08
Quality images (Stand 2014-06-23)^[2] Vergleichswert: Anzahl der Quality images aller Bilder denkmalgeschützter Objekte: 1240 ([10])	36 ([11])	35 ([12])	93 ([13])
% Quality images (Stand 2014-06-23) Vergleichswert: % Quality images aller Bilder denkmalgeschützter Objekte: 0.76 %	0.31 %	0.32 %	0.84 %
Anzahl Einbindungen (Stand 2014-06-23)^[2]	6148 ([14])	2695 ([15])	1322 ([16])
Anzahl Einbindungen in nicht-Denkmallisten (Stand 2014-06-23)^[2]	217	870	589
Anteil Einbindungen in nicht-Denkmallisten^[2] (Wieviele der Fotos werden in nicht-Denkmallisten eingebunden)	1.85 %	8.06 %	5.33 %
Anzahl neugewonnener Benutzer	??
Anzahl aus Qualitätsgründen gelöschter Bilder	??

Fußnoten

↑ Zahl nicht aussagekräftig, da einzelne Benutzer mehrere 1000 Bilder hochgeladen haben, die Anzahl also sehr stark von einzelnen Benutzern abhängt, von einzelnen Benutzern manipuliert werden kann.
↑ ^a ^b ^c ^d Je länger Bilder existieren, umso eher werden sie wohl verwendet, ausgezeichnet, usw.

[1] Zahl nicht aussagekräftig, da einzelne Benutzer mehrere 1000 Bilder hochgeladen haben, die Anzahl also sehr stark von einzelnen Benutzern abhängt, von einzelnen Benutzern manipuliert werden kann.

[wirktnach-2] Je länger Bilder existieren, umso eher werden sie wohl verwendet, ausgezeichnet, usw.

[1]

[2]