Wikipedia:Fundraiser 2012/Tests

Diese Seite gehört zum Wikipedia-Archiv.

Informationen rund um den Fundraiser

Portalseite

Hintergrund

Mitmachen

Persönliche Aufrufe

Kampagnentests
FAQ
Portalseite WMF zum Fundraiser 2012
Portalseite Fundraiser 2011

Chat-Kanal Wikimedia Fundraising
#wikimedia-fundraising

Der Fundraiser ist die jährliche Spendenkampagne der Wikimedia Foundation in Zusammenarbeit mit der Wikimedia-Community und den Wikimedia-Chaptern. Über zwei Monate hinweg werden in den Wikimedia-Projekten Spendenbanner geschaltet. In Deutschland ist Wikimedia Deutschland verantwortlich für die Kampagne. Wie die Wikimedia Foundation, führt auch Wikimedia Deutschland umfassende Tests von Bannern, Spendenseiten und Aufrufen durch.

Auf dieser Seite veröffentlichen wir unsere Testergebnisse. Diese stellen die wichtigste Entscheidungsgrundlage für die Auswahl von Bannern und des Designs der Spendenseiten dar. Wenn ihr also wissen wollt, warum die aktuellen Banner so aussehen wie sie aussehen oder warum die Spendenseite dieses und nicht jenes Layout hat, seid ihr hier genau richtig. Ihr seid natürlich herzlich dazu eingeladen, auf der Diskussionseite Testergebnisse zu diskutieren.

Warum wird getestet?

Während der mehrwöchigen Spendenkampagne wird der Großteil der Gesamteinnahmen von Wikimedia erzielt. Genauer: weitaus mehr als 80 %. Eine zielgerichtete und erfolgreiche Kampagne ist daher das A und O für die Finanzierung der Wikimedia-Projekte. Aber wissen wir, ob Banner X, Landingpage Y oder Spendenformular Z die effektivsten ihrer Art sind? Solange wir den Spendenprozess - vom Anklicken des Banners bis hin zur Spende - nicht analysieren, können wir nicht sicher sein eine wirklich optimale Spendenkampagne durchzuführen. Deshalb wurde auch in Deutschland letztes Jahr mit dem Testen vor und während der Kampagne begonnen. Der Erfolg des letzten Jahres hing wesentlich mit diesem Ansatz und den gewonnen Einsichten und Erkenntnissen zusammen.

Wie wird getestet?

Anders als die meisten anderen gemeinnützigen Organisationen können wir die Elemente unserer Kampagnen aufgrund des hohen Besucheraufkommens umfassend und valide testen. In der Regel handelt es sich um A/B-Tests, bei denen zwei Versionen eines Banners oder einer Spendenseite gleichzeitig geschaltet werden und für jeweils eine Hälfte der Nutzer sichtbar sind. Angesichts der hohen Nutzerzahlen genügt es meist, Banner nur für einen kurzen Zeitraum von 1-2 Stunden zu schalten und dabei dennoch die Representativität der Testergebnisse zu erreichen. Damit die Arbeit in der Wikipedia dadurch nicht allzu sehr beeinträchtigt wird, werden die Banner lediglich für unangemeldete Benutzer angezeigt.

Wann wird getestet?

Wir werden die Tests in der Regel auf der Startseite der Portalseite ankündigen.

Aktuelle Testergebnisse

Test 1: Mehr als Tausend Worte?

13.9.2012, 12:00-14:30 Uhr

Wikipedia wird gehalten und geschützt durch die große Unterstützung unserer Spender. Dies versuchen wir den Lesern der Online-Enzyklopädie mit Spendenaufrufen zu vermitteln. In unserem ersten Kampagnentest in diesem Jahr interessierte uns die Frage, ob wir diesen Sachverhalt nicht nur als Text sondern auch im Bild erfolgreich kommunizieren können. Unsere Landing Page unterzogen wir dazu einer grundlegenden Überarbeitung im Layout. Die Seite sollte zudem weniger textlastig und damit visuell ansprechender werden. Wir findet ihr das neue Layout? Gefällt es euch oder habt ihr kritische Anmerkungen? Wir freuen uns über eure Kommentare!

Die Ergebnisse des Tests zeigen uns, dass wir das Layout noch verbessern müssen. Beide Versionen der neuen Spendenseite liefen nicht so gut wie die alte. Das kann daran liegen, dass der Kasten mit Jimmys Aufruf erst ausgeklappt werden muss, in einer der beiden Varianten ebenso das Spendenformular. Es könnte sein, dass diese zusätzlich nötigen Klicks eine Barriere darstellen. Allerdings sind die Ergebnisse insgesamt sehr knapp und nur eines der Unterschiede zum Kontrollbanner laut unserem derzeitig verwendeten Test-Tool zugfolge nicht statistisch signifikant (hier und hier). Zudem stellte sich im Nachhinein heraus, dass die neuen Spendenseiten auf kleineren Bildschirmen abgeschnitten werden. Daher sehen wir durchaus Potenzial für eine weitere Verbesserung der neuen Gestaltung auf dem Weg zu einer schönen und überzeugenden Spendenseite.

Banner	Landingpage	Besucher	Anzahl	Summe	Durch- schnitt	Anzahl pro Besucher	Summe pro Besucher	% Frauen
Jimmy Jacket	default layout	11136	266	5365,74	20,17	0,02389	0,481837	22,95
Jimmy Jacket	Globus_Formular_eingeklappt	11281	235	4582,00	19,50	0,02083	0,406170	22,81
Jimmy Jacket	Globus_Formular_groß	11052	208	4142,12	19,91	0,01882	0,374785	20,00

--Tobias Schumann (WMDE) (Diskussion) 11:40, 19. Sep. 2012 (CEST)[Beantworten]

Test 2: Spenden-Summen

20.9.2012, 10:00-12:00 Uhr

In diesem Test stand das Spendenformular im Zentrum. Wir prüften den Unterschied verschiedener vorgegebener Spendensummen, um zu entscheiden, welche Vorgaben im Formular am besten angenommen werden. Was wir erkennen können ist, dass die Gesamtsumme und durchschnittliche Spendenhöhe tatsächlich positiv beeinflusst werden. Allerdings sind die Ergebnisse mit Vorsicht zu genießen, da wir noch keinen statistischen Signifikanztest durchgeführt haben und die Durchschnittsspende oft variiert. Interessant ist auch, dass in allen drei Varianten ungefähr die gleiche Anzahl an Personen spendete.

Zur Auswertung haben wir eine weitere Metrik verwendet: den Betrag_50. Hierbei werden alle Spenden über 50€ als 50€ gewertet. Dies dient dazu, den Effekt hoher Spendensummen auszugleichen. Der Grund: Da diese nur selten vorkommen, verzerren sie die Durchschnittssumme stark, wenn sie nur in einer der Testgruppen auftreten. Dank der Ergebnisse des Betrags_50 sehen wir, dass die unterschiedlichen Gesamtsummen und Durchschnittsbeiträge nicht auf einzelne "Ausreißer" zurückzuführen sind.

Banner	Landingpage	Besucher	Anzahl	Summe	Durch- schnitt	Anzahl pro Besucher	Summe pro Besucher	Betrag 50	Betrag 50 pro Besucher
Jimmy Jacket	default	7740	190	3748,34	19,73	0,02455	0,484282	3148,34	0,40676
Jimmy Jacket	Betrag_A	7832	167	4727,77	28,31	0,02132	0,603648	3740	0,47753
Jimmy Jacket	Betrag_B	7719	192	7167,50	37,33	0,02487	0,928553	4022,5	0,52112

--Tobias Schumann (WMDE) (Diskussion) 15:01, 21. Sep. 2012 (CEST)[Beantworten]

Test 3: Näher dran am Leser

Mittwoch, 10.10.2012, 10:00 - 12:00 Uhr

Wer sich eindeutige Ergebnisse wünscht, der wird mit diesem Test seine Freude haben. Wir testeten zwei neue erfolgreiche Banner-Layouts von der WMF, die einen wesentlich anderen Ansatz verfolgen. Statt dem Hinweis auf einen persönlichen Aufruf enthalten sie wichtige Aussagen über Wikipedia und Wikimedia. Gewissermaßen ist es der auf Kernaussagen eingedampfte Aufruf von Jimmy. Die dropdown-Variante beinhaltet eine zusätzliche Weiterentwicklung. Statt bei einem Klick auf das Banner direkt zur Spendenseite umgeleitet zu werden, entfaltet es sich und zeigt Aufruf und Spendenformular, ohne dass man die Seiten von Wikipedia verlässt. Die Kraft der Banner den Leser von einer Spende zu überzeugen, ist in unserem Test nicht zu übersehen ist: Eine Steigerung von 185 % bei Spendenanzahl und 55% im Gesamtbetrag gelingt durch das Dropdown-Banner gegenüber dem Kontrollbanner.

Wieso ist das so? Die naheliegende Erklärung ist, dass weitaus mehr Menschen mit der Botschaft, wie wichtig und richtig es ist Wikipedia zu unterstützen, erreicht werden können. Mit den alten "Aufruf-Bannern" gelang die Überzeugung erst durch den Aufruf auf der Spendenseite - nach dem Klick. Es lasen den Aufruf weitaus weniger Menschen als den Inhalt der Banner. Durch die neuen Layouts nehmen ungleich mehr Menschen unsere Botschaft wahr - vor dem Klick - und können von einer Spende überzeugt werden. Folglich liegt der Grund für den überwältigen Erfolg der Banner darin einen zweistufigen Kommunikationsprozess auf einen Schritt zu verkürzen und so eine größere Leserschaft zu erreichen. Dass die Entscheidung zu spenden nun vor dem Klick auf das Banner fällt - ein Effekt, den wir vom "5 € Banner" des letzten Jahres kennen - ist klar ersichtlich an der niedrigeren Zahl an Besuchern auf der Spendenseite bei gleichzeitg extremen Zuwachs bei der Spendenanzahl pro Besucher. Kurz: Wer auf die Spendenseite kommt, der hat die Absicht zu spenden. Eine weitere Beobachtung, die wir aus dem "5 € Banner" kennen, ist die niedrige Durchschnittsspende, die sich mit der expliten Erwähnung der 5 Euro im Banner erklären lässt.

Die Ergebnisse dieses Tests zeigen uns neue Wege auf. Es gilt nun viele Fragen zu beantworten und auch die vielen Möglichkeiten für die nochmalige Optimierung des neuen Banners zu eruieren. Insbesondere interessiert uns, warum sich rund 500 Menschen - also knapp 40 % - im Dropdown-Banner für eine Spende entscheiden und am Ende doch nicht spenden.

Banner	Landingpage	Impressions	Besucher	Anzahl	Summe	Durch- schnitt	Click- Through- Rate	Anzahl pro Imp.	Anzahl pro Besucher	Summe pro Imp.	Summe pro Besucher	% Frauen
Kontroll / Jimmy_Aufruf	default	846300	10038	296	7485,50	25,29	0,01186	0,0003498	0,02949	0,008845	0,745716	25,00
Fakten	default	847900	3722	785	12050,99	15,35	0,00439	0,0009258	0,21091	0,014213	3,237773	15,77
Dropdown	default	843300	1398	846	11611,52	13,73	0,00166	0,0010032	0,60515	0,013769	8,305808	14,64

--Tobias Schumann (WMDE) (Diskussion) 13:27, 11. Okt. 2012 (CEST)[Beantworten]

Test 4: Geheimnis Grün

Dienstag, 16.10.2012, 10:00 - 12:00 Uhr

Es ist schon verrückt: Der Erfolg einer Farbe zieht sich wie ein roter Faden durch die Entwicklung unserer Spendenseiten. Vielmehr: ein grüner Faden. Immer wieder stand die farbliche Gestaltung von Kampagnenelementen im Zentrum unserer Tests, da wir sahen, dass diese einen Einfluss auf das Spendenverhalten hat. Ob Hintergrund der Fotos oder die Farbe des Spendenformulars, stets lautete das Ergebnis: grün. Nun testeten wir verschiedene Farben des neuen Dropdown-Banners. Und das Ergebnis? Wenn ihr es nicht erraten könnt, dann schaut euch die Tabelle an.

Banner	Landingpage	Impressions	Besucher	Anzahl	Summe	Durch- schnitt	Click- Through- Rate	Anzahl pro Imp.	Anzahl pro Besucher	Summe pro Imp.	Summe pro Besucher	% Frauen
drop control grau	default	869200	1095	675	10022,19	14,85	0,00126	0,0007766	0,61644	0,011530	9,152685	16,20
drop grün	default	838500	1465	856	12890,00	15,06	0,00175	0,0010209	0,58430	0,015373	8,798635	17,14
drop blau	default	849800	1268	725	9928,00	13,69	0,00149	0,0008531	0,57177	0,011683	7,829653	16,95

--Tobias Schumann (WMDE) (Diskussion) 12:48, 17. Okt. 2012 (CEST)[Beantworten]

Test 5: Jimmy und die Fakten

Dienstag, 23.10.2012, 11:30 - 13:30 Uhr

Mit dem textorientierten Fakten-Banner steht uns ein sehr erfolgreiches Banner zur Verfügung. Leider ist es nicht personalisiert, anders als die Banner der letzten Spendenkampagne. Zwar befindet sich auf der Landing Page ein persönlicher Aufruf, doch ist dies auf den Bannern nicht ersichtlich. Folglich ist ebenso nicht erkennbar, wenn der Aufruf und Sprecher im Laufe der Kampagne wechseln. Dies ist jedoch von Bedeutung für die Dramaturgie einer Kampagne. Daher testeten wir nun zwei Banner, die die Ankündigung eines persönlichen Aufrufs mit dem Prinzip des Fakten-Banners kombinieren. Leider waren unsere neuen Bannerlayouts nicht sonderlich erfolgreich. Trotz teils identischer Klickraten spenden mehr Menschen im Rahmen des Faktenbanners. Interessant ist, dass die Landing Pages identisch sind. Das Faktenbanner überzeugt also bereits stärker vor dem Klick.

Banner	Landingpage	Impressions	Besucher	Anzahl	Summe	Durch- schnitt	Click- Through- Rate	Anzahl pro Imp.	Anzahl pro Besucher	Summe pro Imp.	Summe pro Besucher	Durch- schnitt_100
Kontroll Fakten_grün	default	898800	3364	602	8540,90	14,19	0,00374	0,0006698	0,17895	0,009503	2,538912	14,10
Fakten/Foto_grün	default	912300	3196	413	5954,50	14,42	0,00350	0,0004527	0,12922	0,006527	1,863110	14,41
Fakten/Foto_grün_weiss	default	917600	2323	348	6569,09	18,88	0,00253	0,0003793	0,14981	0,007159	2,827848	15,88

--Tobias Schumann (WMDE) (Diskussion) 12:35, 25. Okt. 2012 (CEST)[Beantworten]

Test 6: neue Aufrufe: Wikipedia aus verschiedenen Perspektiven

Dienstag, 30.10.2012, 11:10 - 13:10 Uhr

Endlich - die ersten Aufrufe, die nicht von Jimmy stammen, wurden getestet. In den letzten Wochen haben wir viele Interviews mit Menschen mit ganz unterschiedlichem Bezug zu Wikipedia geführt und dabei spannende Geschichten gehört. Auf deren Grundlage verfassen wir nun Spendenaufrufe für die kommende Kampagne. Perspektivenvielfalt ist dabei unser Ziel. In unsere erste Testrunde kamen ein Wikipedia-Autor, ein Spender und eine Wikimedia-Mitarbeiterin zu Wort. Gerd Seidel berichtet über seine fotografische Mitarbeit in Wikipedia und die besondere Bedeutung des Ehrenamts. Gunther Tutein schildert als Spender, warum er im letzten Jahr gespendet hat. Und Elly Köpf, Projektmanagerin bei Wikimedia, stellt die medienpädagogischen Workshops des Vereins vor. Als Vergleich schalteten wir den Aufruf des Wikipedia-Gründers. Wir finden, es sind interessante und informative Aufrufe entstanden - was denkt ihr? Feedback ist immer willkommen!

Zu den Ergebnissen: Leider ist es uns nicht gelungen einen Aufruf zu verfassen, der erfolgreicher als Jimmys ist. Trotzdem sind die Ergebnisse für uns sehr interessant. Am besten schnitt der Aufruf von Gunther ab, gefolgt von Gerd und Elly. Liegt es daran, dass sich die Leser am stärksten mit der Perspektive des Spenders identifizeren? Dies wäre eine mögliche Erklärung. Insgesamt erreichen wir allerdings bei weitem nicht die Spendenzahlen wie bei den Fakten-Bannern den letzten Tests.

Ein genauer Blick in die Zahlen ermöglicht eine detailliertere Analyse der Wirkung der Aufrufe. Zunächst muss beachtet werden, dass das Banner von Gerd offensichlich weitaus seltener geladen wurde. Dies sollte so nicht sein, eigentlich werden alle Banner gleichwertig geschaltet. Wir müssen nun herausfinden, ob hier ein technisches Problem bei der Bannerschaltung oder beim Messen vorliegt. Gesetzt den Fall, dass die Zahlen stimmen, zeigt der relative Wert Anzahl pro Impression, dass mehr Menschen bei Gerd spenden als bei Elly, auch wenn Ellys Aufruf in absoluten Zahlen vorne liegt. Auffällig ist weiterhin die im Vergleich ungewöhnlich hohe Klickrate bei Elly. Mehr als doppelt so viele Menschen reagierten auf ihr Banner als auf das von Jimmy. Anhand des Wertes Anzahl pro Besucher können wir sehen, welcher Aufrufstext am besten lief. Hier gibt es große Unterschiede. Während 1.4% der Leser von Gunthers Aufruf spendeten, waren es bei Elly nur 0,4%. Was wir hier erneut lernen können, ist die Bedeutsamkeit der verschiedenen Kampagnenelemente. Sowohl Bannerlayout (Foto) als auch Aufrufstext beeinflussen den Erfolg. Zwar klicken weitaus weniger Menschen auf das Banner von Gunther, im Endeffekt spenden jedoch mehr Menschen bei ihm, da sein Aufrufstext die Leser stärker überzeugt.

Habt ihr auch Lust mit einem Aufruf Wikipedia zu unterstützen? Meldet euch bei uns!

Banner	Landingpage	Impressions	Besucher	Anzahl	Summe	Durch- schnitt	Click- Through- Rate	Anzahl pro Imp.	Anzahl pro Besucher	Summe pro Imp.	Summe pro Besucher	% Frauen
Jimmy	Aufruf Jimmy	1121600	11045	255	5525,36	21,67	0,00985	0,0002274	0,02309	0,004926	0,500259	20,54
Gunther	Aufruf Gunther	1119600	9733	137	3428,50	25,03	0,00869	0,0001224	0,01408	0,003062	0,352255	17,09
Elly	Aufruf Elly	1105900	23871	104	2676,00	25,73	0,02159	0,0000940	0,00436	0,002420	0,112103	25,88
Gerd	Aufruf Gerd	840100	8976	84	2286,00	27,21	0,01068	0,0001000	0,00936	0,002721	0,254679	21,33

--Tobias Schumann (WMDE) (Diskussion) 14:16, 1. Nov. 2012 (CET)[Beantworten]

Donnerstag, 1.11.2012; 11:00 - 13:00 Uhr

Einer der zentralen Elemente für den Erfolg des Fakten-Banners ist der Satz: "Wenn jeder Leser 5€ spendet, wäre ..." Zwar überzeugt er sehr viele Menschen von der Notwendigkeit einer Spende. Leider führt er ebenso dazu, dass die Durchschnittsspende niedriger ist als üblich. Folglich war es unser Ziel diesen Effekt zu mindern, weshalb wir in diesem Test verschiedene Variationen des Bannertexts prüften. Allein die Ersetzung von "5€" durch "einen kleinen Beitrag" hat einen (statistisch signifikanten) Effekt, nur leider einen negativen. Die Spendenrate sinkt um 13 Prozent. Mit Hilfe von Erkenntnissen aus der Kommunikation mit Spendern und der Durchführung einer Fokusgruppen-Untersuchung schrieben wir weitere Textänderungen. Und die gute Nachricht ist: Eine unserer neuen Formulierungen des Bannertexts konnte den Rückgang ausgleichen, der durch die Ersetzung von "5€" entsteht. Das Banner erreichte eine praktisch identische Spendenquote. Dank der fehlenden Nennung von 5€ stieg allerdings der Durchschnittsbeitrag wieder an. Ziel erreicht!

Banner	Landing page	Impressions	Klicks Banner	Besucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.	Summe pro Besucher	Durch- schnitt_100
Kontroll	default	364320	4141	821	469	6354,50	13,55	0,011366	0,0012873	0,1132577	0,57125	0,017442	7,739951	13,23
"kleiner Beitrag"	default	484990	5851	906	513	7996,27	15,59	0,012064	0,0010578	0,0876773	0,56623	0,016487	8,825905	15,59
Text neu 1	default	489940	5649	647	370	6797,22	18,37	0,011530	0,0007552	0,0654983	0,57187	0,013874	10,505750	17,56
Text neu 2	default	480040	7263	1022	601	10749,90	17,89	0,015130	0,0012520	0,0827482	0,58806	0,022394	10,518493	17,30

--Tobias Schumann (WMDE) (Diskussion) 15:25, 6. Nov. 2012 (CET)[Beantworten]

Test 8: Layout Formular und Spendenseiten

Dienstag, 6.11. 11:30-14:30 Uhr

Durch die Einführung des ausklappbaren Fakten-Banners verändert sich der gesamte Prozess des Spendens. Bereits im geöffneten Banner trifft der Leser eine Entscheidung zu spenden, wählt einen Betrag aus und wird dann auf unsere Landing Page geleitet. Dort wird der Spendenprozess abgeschlossen. Bei der Analyse der letzten Tests fiel uns auf, dass rund 40% den Prozess auf der Spendenseite abbrechen - eine sehr hohe Quote, wenn man annimmt, dass die Spendenentscheidung bereits im Banner gefallen ist. Eine naheliegende Erklärung dafür war der Umstand, dass wir noch immer die alte Landing Page verwendeten. Diese sorgte eventuell für Ablenkung und Verwirrung, denn auf ihr wurden der Jimmy-Aufruf und das komplette Spendenformular inklusive Betragsauwahl erneut angezeigt. Um die Abbrecherquote zu verringern, modifizierten wir das Spendenformular, so dass nun Betrag, Periode und Zahlweise im ausgeklapptem Banner ausgewählt werden müssen und auf der Spendenseite dann nur noch die persönlichen Daten. Zudem testen wir verschiedene neue Layouts der Landing Page, die möglichst wenig ablenken und im besten Falle einen verstärkenden Effekt haben sollten.

Zu den Ergebnissen: Die Abbrecherquote auf der Landing Page (Anzahl pro lp) konnten wir deutlich verringern, jedoch füllen statt dessen weniger Menschen das Formular im Banner aus (lp besuch pro Klick; nicht in der Tabelle abgebildet). Vermutlich erscheint das neue Formular verbindlicher. Wir hatten ursprünglich angenommen, dass die Spendenentscheidung bereits feststeht, wenn das alte Bannerformular ausgefüllt wird. Nun zeigt sich, dass vermutlich einige Menschen schlicht sehen wollten, wie der Prozess weitergeht. Dennoch scheint die Umstellung des Formulars insgesamt einen leicht positiven Effekt zu haben, pro Klick auf das Banner spenden etwas mehr Menschen. Allerdings ist der Unterschied nicht statistisch signifikant. Hinsichtlich der neuen Layouts ist es erstaunlich, dass sämtliche, recht unterschiedliche Varianten keinen Einfluss auf den Spendenprozess haben. Positiv betrachtet können wir aber dank des Tests ausschließen, dass Ablenkung und Verwirrung die Gründe für den Abbruch des Spendenprozess sind.

Banner	Landingpage	Impressions	Klicks Banner	Besucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.	Summe pro Besucher	Durch- schnitt _100
Form_A Kontroll	default	825700	8994	1007	481	8233,17	17,12	0,010893	0,0005825	0,0534801	0,47766	0,009971	8,175938	16,39
Form_B	default	719200	7703	608	432	7751,63	17,94	0,010711	0,0006007	0,0560820	0,71053	0,010778	12,749391	17,06
Form_B	leer	587900	6521	531	368	5973,77	16,23	0,011092	0,0006260	0,0564331	0,69303	0,010161	11,250038	16,32
Form_B	Foto	704500	7679	593	425	6790,72	15,98	0,010900	0,0006033	0,0553457	0,71669	0,009639	11,451467	15,78
Form_B	5 Fakten	712300	7667	600	422	7301,54	17,30	0,010764	0,0005924	0,0550411	0,70333	0,010251	12,169233	16,35

--Tobias Schumann (WMDE) (Diskussion) 13:45, 9. Nov. 2012 (CET)[Beantworten]

Test 9: Spendenaufforderungen

Donnerstag, 8.11.2012, 11:30-14:45 Uhr

Eine direkte Handlungsaufforderung spielt im Rahmen eines Spendenaufrufs eine wesentliche Rolle. Wie stark die Wirkung einzelner Sätze sein kann, zeigt der enorme Effekt dieser einzelnen Zeile: "Wenn jeder 5€/einen kleinen Beitrag spenden würde, wäre unsere Spendenkampagne in einer Stunde vorüber." In Test 9 überprüften wir die Wirkung vier verschiedener Handlungsaufforderungen direkt im Spendenformular. Um den generellen Sinn einer Aufforderung an dieser Stelle zu bewerten, schalteten wir auch eine Bannerversion ohne zusätzlichem Spendenaufruf.

Die Ergebnisse überraschten uns, da es kaum einen Unterschied zu machen scheint, ob und welche Handlungsaufforderung im Formular steht. Lediglich der Hinweis auf die häufigste und die durchschnittliche Spendensumme (Fakt_5/23) scheint zu geringfügig mehr Spende zu führen, allerdings vermutlich auf Kosten einer niedrigeren Durchschnitsssumme. Da die Ergebnisse nicht statistisch signifikant sind, haben wir keine Änderung im Spendenformular vorgenommen.

Banner	Landingpage	Impressions	Klicks Banner	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.	Summe pro Besucher	Durch- schnitt _100
Fakt_ctrl	5_Fakten	725200	7019	537	388	5960,60	15,36	0,009679	0,0005350	0,0552785	0,72253	0,008219	11,099814	15,23
Fakt_ohne	5_Fakten	630300	5954	437	327	5925,74	18,12	0,009446	0,0005188	0,0549211	0,74828	0,009401	13,560046	16,44
Fakt_bittehelfen	5_Fakten	746700	6901	532	385	6210,29	16,13	0,009242	0,0005156	0,0557890	0,72368	0,008317	11,673477	15,74
Fakt_5/23	5_Fakten	757000	7171	575	417	5845,63	14,02	0,009473	0,0005509	0,0581509	0,72522	0,007722	10,166313	14,02
Fakt_wert	5_Fakten	858600	8012	609	436	7200,66	16,52	0,009331	0,0005078	0,0544184	0,71593	0,008387	11,823744	16,52

--Tobias Schumann (WMDE) (Diskussion) 18:26, 16. Nov. 2012 (CET)[Beantworten]

Test 10: Formulierung Banner II

Dienstag, 13.11.2012, 11:30-15:15 Uhr

Mit Beginn der Kampagne galt es einen optimalen Start zu erwischen. Aus Sicherheit überprüften wir zwei Entscheidungen der Kampagnengestaltung, die auf knappen Ergebnissen des letzten Tests beruhten: zum einen die Entscheidung für die dropdown-Version und zum anderen die Ersetzung von "5€" durch "einen kleinen Beitrag" in der Handlungsaufforderung im Banner. Zudem probierten wir eine neue Formulierung des Bannertexts aus.

Unsere alten knappen Ergebnisse wurden mit diesem Test bestätigt. Es klicken mehr Menschen auf die dropdown-Version, was auch zu mehr Spenden führt. Die Erwähnung von 5€ führt zwar ebenso zu mehr Spenden, allerdings verringert sich die Durchschnittsspende zu stark. Mit unserer jetzigen Version liegen wir also richtig. Unser Versuch der Umformulierung des Bannerstexts hatte jedoch leider keinen Erfolg.

Banner	Landingpage	Impressions	Klicks Banner	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.	Summe pro Besucher	Durch- schnitt _100
no_google	5_Fakten	941400	8442	550	362	6887,50	19,03	0,008967	0,0003845	0,0428808	0,65818	0,007316	12,522727	17,65
no_google2	5_Fakten	1068000	8597	472	294	4813,83	16,37	0,008050	0,0002753	0,0341980	0,62288	0,004507	10,198792	16,37
no_google_5€	5_Fakten	1064200	8772	669	450	6025,32	13,39	0,008243	0,0004229	0,0512996	0,67265	0,005662	9,006457	13,06
no_drop_no_google	5_Fakten	948800	xxxx	4041	311	5634,50	18,12	0,00426	0,0003278	xxxx	0,07696	0,005939	1,394333	17,80

--Tobias Schumann (WMDE) (Diskussion) 18:26, 16. Nov. 2012 (CET)[Beantworten]

Test 11: Spendenaufforderungen

14.11.2012; 18:15-21:45 Uhr

In unserem letzten Test hat sich noch einmal bestätigt, dass auf das Fakten-Banner mehr Menschen in der dropdown-Version klicken. Als einzigem Unterschied zu der nicht aufklappbaren Version kommt der kleinen "Lasche" am unteren Ende des Banners eine große Bedeutung zu. In unserem elften Test versuchten wir die Aufmerksamkeit dieses graphischen Elements zu nutzen und integrierten verschiedene Handlungsaufforderungen und probierten eine Layoutvariation. Zudem überprüften wir eine Änderung der vorgegebenen Spendensummen.

Laut unseren Ergebnissen scheinen mehr Menschen zu spenden, wenn die ausführliche Spendenaufforderungen (button_1 und button_2) in der dropdown-Lasche zu lesen ist. Eine Änderung der Summen im Spendenformular ergab keinen besonderen Unterschied.

Banner	Landingpage	Impressions	Klicks Banner	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.	Summe pro Besucher	Durch- schnitt _100
Kontroll	5_Fakten	838700	5974	394	281	5198,46	18,50	0,007123	0,0003350	0,0470372	0,71320	0,006198	13,194061	18,50
Button_1	5_Fakten	836000	xxxx	432	301	5184,82	17,23	xxxx	0,0003600	xxxx	0,69676	0,006202	12,001898	xxxx
Button_2	5_Fakten	874300	6915	437	306	5186,14	16,95	0,007909	0,0003500	0,0442516	0,70023	0,005932	11,867597	16,78
Button_3	5_Fakten	830300	5625	429	277	5451,51	19,68	0,006775	0,0003336	0,0492444	0,64569	0,006566	12,707483	18,89
10/20/30	5_Fakten	845000	6127	355	260	4736,79	18,22	0,007251	0,0003077	0,0424351	0,73239	0,005606	13,343070	18,22

--Tobias Schumann (WMDE) (Diskussion) 14:27, 19. Nov. 2012 (CET)[Beantworten]

Test 12: Bannerlayout: Schriftdicke

Donnerstag, 15.11.2012; 15:00-18:00 Uhr

Ein einfacher und doch erfolgreicher Test: Wir prüften, ob die Fettmarkierung der Schrift zu einer erhöhten Aufmerksamkeit führt und dadurch mehr Leser erreicht. Es sieht so aus, als ob dem so ist. Mit der dickeren Schrift erhöhte sich die Klick-Rate und einhergehend auch die Anzahl der Spenden.

Banner	Landingpage	Impressions	Klicks Banner	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.	Summe pro Besucher	Durch- schnitt _100
normal	5_Fakten	1785800	12556	661	419	7722,00	18,43	0,007031	0,0002346	0,0333705	0,63389	0,004324	11,682300	18,07
fett	5_Fakten	1805900	14232	716	476	8515,49	17,89	0,007881	0,0002636	0,0334458	0,66480	0,004715	11,893142	17,57

--Tobias Schumann (WMDE) (Diskussion) 14:27, 19. Nov. 2012 (CET)[Beantworten]

Test 13: Formulierung Fakten-Banner III (Google/Yahoo/FB)

Freitag, 16.11.2012; 12:30-15:30

Diesmal arbeiteten wir am Text des Banners und testeten alternative Formulierungen rund um den Vergleich zu anderen populären Webseiten. Die explizite Nennung von Google/Yahoo oder Google/Facebook (statt "anderer Top-Webseiten") scheint zu einer leichten Steigerung der Spendenzahlen zu führen (+9%). Jedoch ist der Unterschied nicht signifikant (Chi-Quadrat-Test). Angesichts des knappen Ergebnisses entschieden wir uns dafür unseren aktuellen Text beizubehalten.

Banner	Landingpage	Impressions	Klicks Banner	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.	Summe pro Besucher	Durch- schnitt _100
ctrl	5_Fakten	702500	4753	271	194	4169,50	21,49	0,006766	0,0002762	0,0408163	0,71587	0,005935	15,385609	21,49
go_yahoo	5_Fakten	705800	5203	293	213	3944,50	18,52	0,007372	0,0003018	0,0409379	0,72696	0,005589	13,462457	17,81
go_fb	5_Fakten	802100	6030	323	237	4276,00	18,04	0,007518	0,0002955	0,0393035	0,73375	0,005331	13,238390	18,04
no_go2	5_Fakten	808900	5869	297	184	4059,51	22,06	0,007256	0,0002275	0,0313512	0,61953	0,005019	13,668384	20,43

--Tobias Schumann (WMDE) (Diskussion) 15:27, 25. Nov. 2012 (CET)[Beantworten]

Test 14 und Test 15: Bannerfarbe & Aufrufslänge

Test 14 am Freitag, 16.11.2012, 18:30-20:45 Uhr und Test 15 am Montag, 19.11.2012, 14:40-16:30 Uhr

Mit dem Text des Banners wird versucht die Wikipedia Leser direkt von einer Spende zu überzeugen. Wenn Sie auf das Banner klicken, sind sie dann schon fest von einer Spende überzeugt? Wie wichtig ist der lange Spendernaufruf von Jimmy - wird er überhaupt vollständig gelesen? Wir testeten eine gekürzte Version des Aufrufs im aufgeklapptem Banner (Test 14, "kurz/grün") und sahen, dass dies einen negativen Einfluss hat.

Der wesentliche Fokus in Test 14 und 15 lag jedoch auf der Farbe des Banners. Zwar hatten wir bereits einmal gesehen, dass Grün erfolgreicher als Blau und Grau ist. Angesichts des Erfolgs von Blau in den Bannern der WMF wollten wir noch einmal auf Nummer sicher gehen. In Test 14 lief dann tatsächlich Blau besser als Grün. Diese gegensätzlichen Ergebnisse sind nicht vertrauenswürdig. Technischer Nachteil unserer Testkonfiguration ist, dass einem Besucher alle Banner nacheinander angezeigt werden. So können wir nicht ausschließen, dass sie sich gegenseitig beeinflussen. Im Farbentest könnte nun genau solch ein Fall vorliegen. Sind wie in Test 14 zwei Drittel der angezeigten Banner grün, dann sticht die seltenere blauere Abwechslung hervor und könnte dadurch eine erhöhte Aufmerksamkeit erzeugen. Mit Test 15 versuchten wir eine alternative Testkonfiguration. Üblicherweise testen wir parallel A/B, um den Einfluss unterschiedlicher Uhrzeiten auszuschließen. Nun testeten wir A/B/A/B sequenziell im Halbstundentakt. So konnten wir realisieren, dass ein Leser beim Klicken durch Wikipedia nur ein Banner sieht. Durch die kurzen Zeitabstände von 30 Minuten hofften wir zeitliche Schwankungen der Wikipedia-Nutzung klein zu halten. Zuletzt aggregierten wir die Spendenzahlen der halbstündigen Testabschnitte. Laut den Ergebnissen hat ist der Unterschied zwischen den beiden Farben doch nicht so stark wie gedacht, dennoch liegt Grün leicht vorn. Auch wenn wir hier auf methodisch unsicherm Fuß stehen, entschieden wir uns für das zwei mal erfolgreiche Grün.

Test 14

Banner	Landingpage	Impressions	Klicks Banner	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Summe pro Imp.
grün/lang	5_Fakten	684100	5125	237	4179,00	17,63	0,007492	0,0003464	0,0462439	0,006109
blau/lang	5_Fakten	689900	5633	255	5062,33	19,85	0,008165	0,0003696	0,0452690	0,007338
grün/kurz	5_Fakten	695000	5249	203	3652,00	17,99	0,007553	0,0002921	0,0386740	0,005255

Test 15

Banner	Landingpage	Impressions	Klicks Banner	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Summe pro Imp.
grün	5_Fakten	1375900	8503	216	4230,01	19,58	0,006180	0,0001570	0,0254028	0,003074
blau	5_Fakten	1395200	8431	195	3556,24	18,24	0,006043	0,0001398	0,0231289	0,002549

--Tobias Schumann (WMDE) (Diskussion) 15:27, 25. Nov. 2012 (CET)[Beantworten]

Test 16: Aufrufe im Banner

Montag, 19.11.2012; 19:00-21:00 Uhr

Welch ein Rekord: 1.500.000. Nein, die Rede ist nicht von Spendeneinnahmen. Gemeint ist die Anzahl der Artikel in der deutschen Wikipedia, die diesen Meilenstein überschritten hat. Aus diesem Anlass schalteten wir im Rahmen des Tests für kurze Zeit ein Banner, dass den vielen ehrenamtlichen Autoren Danke sagt.

Das aktuelle grüne Textbanner überzeugt einen Großteil der Menschen von einer Spende, bevor sie auf das Banner klicken. Zuletzt hatten wir in Test 14 gesehen, dass dennoch der aufklappende Aufruf eine wichtige Rolle spielt. Im aktuellen Test wollten wir sehen, wie unterschiedliche persönliche Spendenaufrufe im Zusammenhang mit dem Textbanner wirken. Dazu testeten wir Jimmys Aufruf gegen den Aufruf von Gunther Tutein, einem Wikipedia Spender, dessen Text bereits recht gut funktionierte. Die Ergebnisse sind sehr vielversprechend: War der Unterschied zwischen beiden Aufrufen in Test 6 noch sehr deutlich, so lief der Aufruf von Gunther Tutein diesmal fast genauso gut wie der von Jimmy. Unsere These ist, dass der Bannertext das wesentliche Element zur Spenderüberzeugung ist, so dass Aufrufe, die für sich allein genommen weniger stark überzeugend sind, nun an Überzeugungskraft gewinnen.

Banner	Landingpage	Impressions	Klicks Banner	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.	Summe pro Besucher	Durch- schnitt _100
Fakten_Jimmy	5_Fakten	945900	5686	265	196	4026,00	20,54	0,006011	0,0002072	0,0344706	0,73962	0,004256	15,192453	18,91
Fakten_Gunther	5_Fakten	909600	5512	241	185	3947,00	21,34	0,006060	0,0002034	0,0335631	0,76763	0,004339	16,377593	19,71
Artikeljubiläum	5_Fakten	433100	1074	56	32	620,00	19,37	0,002480	0,0000739	0,0297952	-	-	-	19,37

--Tobias Schumann (WMDE) (Diskussion) 15:27, 25. Nov. 2012 (CET)[Beantworten]

Dienstag 20.11.2012; 10:30-13:00 Uhr

Nach einer Woche Kampagnenlaufzeit sahen wir, dass die tägliche Spendenzahl unverhofft stark abfiel. Wäre es möglich, dass wir mit dem klassischen Jimmy-Banner aus dem letzten Jahr mittlerweile eine größere Anzahl von Menschen von einer Spende überzeugen könnten? Einen Versuch war es wert - und tatsächlich stieg die Zahl der Spenden deutlich an. In unserem ersten Test des Jimmy Aufrufs gegen das Fakten-Banner hatte letzteres noch 185% mehr Spenden erzeugt. Nun steigert der Jimmy Banner die Spendenzahl um mehr als 30%. (Anz./Imp. statistisch signifikant, Chi-Quadrat-Test: p=0,00009) Zusätzliche Sicherheit hinsichlich des Ergebnisses gibt uns eine neue technische Funktion der Bannerschaltung, mit der Lesern in einem Test jeweils nur eines der zu testenden Banner angezeigt wird.

Banner	Landingpage	Impressions	Klicks Banner	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.	Summe pro Besucher	Durch- schnitt _100
Fakten_grün	5_Fakten	1374800	8242	398	271	5593,00	20,64	0,005995	0,0001971	0,0328804	0,68090	0,004068	14,052764	18,63
Jimmy	Aufruf Jimmy	1364300	x	15464	367	8492,00	23,14	0,01133	0,0002690	x	0,02373	0,006224	0,549146	22,32

--Tobias Schumann (WMDE) (Diskussion) 18:00, 26. Nov. 2012 (CET)[Beantworten]

Test 18: Layout Jimmy Banner

Mittwoch, 22.11.; 14:45-16:15 Uhr

Heute versuchten wir ein neues Layout des Jimmy Banners, das mit einem farblichen Hintergrund und weißer Schrift versucht mehr Aufmerksamkeit zu erzeugen. Leider führt das neue Layout zu einer geringeren Klickrate und daher zu weniger Spenden.

Banner	Landingpage	Impressions	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro LP	Summe pro Imp.
Jimmy ctrl	Jimmy Aufruf	978200	9323	155	3292,50	21,24	0,00953	0,0001585	0,01663	0,003366
Jimmy grün	Jimmy Aufruf	972800	7121	118	2566,62	21,75	0,00732	0,0001213	0,01657	0,002638

(Unterschiede Anz./Imp. & Klicks/Imp. statistisch signifikant; Chi-Quadrat-Test: p= 0,028 und p= 2,2e-16)

--Tobias Schumann (WMDE) (Diskussion) 18:00, 26. Nov. 2012 (CET)[Beantworten]

Test 19 und Test 20: Integration Fakten-Banner auf Spendenseite

Test 19: Mitttwoch, 21.11., 16:15 - Donnerstag, 22.11., 10:00 Uhr; Test 20: Donnerstag, 22.11., 15:00-17:00 Uhr

In diesen zwei Tests integrierten wir das Fakten-Banner auf unserer Landing Page um zu sehen, ob auf diese Weise mehr Menschen überzeugt werden können. Es konnte tatsächlich eine leichte Steigerung erreicht werden. Eine zweite, umformulierte Variante in Test 20 lief dagegen nicht so gut.

Test 19

Banner	Landingpage	Impressions	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro LP	Summe pro Imp.
Jimmy	default	5619200	52544	1030	22368,94	21,72	0,00935	0,0001833	0,01960	0,003981
Jimmy	Fakten	5660000	52409	1120	26269,10	23,45	0,00926	0,0001979	0,02137	0,004641

Anzahl Spenden pro LP statistisch signifikant (Chi Quadrat, p=0,04323)

Test 20

Banner	Landingpage	Impressions	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro LP	Summe pro Imp.
Jimmy	Fakten_ctrl	1232400	10984	184	4166,01	22,64	0,00891	0,0001493	0,01675	0,003380
Jimmy	Fakten_alt	1236800	10938	161	3473,36	21,57	0,00884	0,0001302	0,01472	0,002808

Anzahl Spenden pro LP statistisch nicht signifikant (Chi-Quadrat-T., p=0,2267)

--Tobias Schumann (WMDE) (Diskussion) 18:00, 26. Nov. 2012 (CET)[Beantworten]

Test 21: neue Aufrufe

Freitag, 23.11., 12:10-14:30 Uhr

Heute testeten wir die zweite Runde neuer Aufrufe. Wieder zeigten wir einen Aufruf von je einem Wikipedia-Autor, einer Wikipedia-Spenderin und einem Wikimedia-Mitarbeiter. Autor Harald Krichel beschreibt seinen ersten Kontakt mit Wikipedia und die Faszination, die dies auslöste. Spenderin Solveig Wehking erklärt die gesellschaftliche Bedeutung der Online-Enzyklopädie. Till Mletzko vergleicht Wikipedia mit einer klassischen Bibliothek, um ihre einmaligen Eigenschaften zu verdeutlichen. Leider gelang es uns wiederum nicht einen Aufruf zu finden, der besser als Jimmys läuft, konnten aber tiefere Einsicht in das Schreiben von Aufrufen erlangen.

Banner	Landingpage	Impressions	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro LP	Summe pro Imp.	Durch- schnitt _100
Jimmy	Aufruf Jimmy	515900	4274	99	2005,00	20,25	0,00828	0,0001919	0,02316	0,003886	20,25
Till	Aufruf Till	583000	5368	74	1838,00	24,84	0,00921	0,0001269	0,01379	0,003153	24,84
Solveig	Aufruf Solveig	583300	5001	57	2235,00	39,21	0,00857	0,0000977	0,01140	0,003832	23,42
Harald	Aufruf Harald	493100	4562	58	1057,00	18,22	0,00925	0,0001176	0,01271	0,002144	18,22

--Tobias Schumann (WMDE) (Diskussion) 11:51, 28. Nov. 2012 (CET)[Beantworten]

Test 22, 23 und 24: Gelbe Version des Faktenbanners

Freitag, 23.11.; Test 22: 14:30-16:00 Uhr; Test 23: 16:00-17:30 Uhr; Test 24: 17:30-20:15 Uhr

Mit dieser Testrunde prüften wir die Wirkung des Fakten-Banners mit gelbem Hintergrund und schwarzer Schrift. Sowohl der direkte Vergleich zwischen grünem und gelbem Banner (Test 22) als auch zwischen dem Banner mit Jimmy's persönlichem Aufruf und der gelben Version des Textbanners (Test 23) zeigten einen klaren Anstieg der Spenden. Folglich schalteten wir das Faktenbanner im neuen farblichen Gewand live. Angesichts dieses Ergebnisses - lagen wir in den letzten Tagen falsch mit Entscheidung für das Jimmy Banner? Nein, denn an den Ergebnissen können wir sehen, dass Jimmy's Banner weiterhin besser läuft als die grüne Faktenversion: Während mit der neuen Farbvariante in Test 22 eine Steigerung der Spende/Imp. um 123,6 % erreicht wurde, waren es in Test 23 nur 87,3 %.

Angesichts der Steigerung durch Jimmy's Aufruf Anfang dieser Woche, vermuteten wir, dass auf das Faktenbanner und den Jimmy Banner unterschiedliche Zielgruppen reagieren. Wäre es vielleicht möglich, beide Gruppen zur gleichen Zeit anzusprechen, in dem beide Banner für alle Besucher nacheinander angezeigt werden? Dies versuchten wir in Test 24 zu analysieren. Leider gelang uns kein Erfolg. Gruppe B, der beide Banner angezeigt wurden, schnitt schlechter ab als Gruppe A, die nur das gelbe Faktenbanner sah.

Test 22

Banner	Landingpage	Impressions	Klicks Banner	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.
Fakten_gelb	5_Fakten	768400	6485	328	263	5257,44	19,99	0,008440	0,0003423	0,0405551	0,80183	0,006842
Fakten_grün	5_Fakten	777500	4160	173	119	3356,00	28,20	0,005350	0,0001531	0,0286058	0,68786	0,004316

Anzahl Spenden pro Imp. statistisch signifikant (Chi Quadrat, p = 7.221e-14)

Test 23

Banner	Landingpage	Impressions	Klicks Banner	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.
Fakten_gelb	5_Fakten	714600	5677	329	223	3949,00	17,71	0,00794	0,0003121	0,0392813	0,67781	0,005526
Jimmy	Aufruf Jimmy	726300	x	6260	121	2321,00	19,18	0,00862	0,0001666	x	0,01933	0,003196

Anzahl Spenden pro Imp. statistisch signifikant (Chi Quadrat, p=1.596e-08)

Test 24

Banner	Landingpage	Impressions	Klicks Banner	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.
Gruppe A Fakten_gelb	5_Fakten	1193800	9279	602	414	9473,63	22,88	0,007773	0,0003468	0,0446169	0,68771	0,007936
Gruppe B		1200900	4819	6127	341	7394,54	21,68	0,008875	0,0002840	x	x	0,006157
Fakten_gelb	5_Fakten	603100	4819	288	196	3768,54	19,23	0,007990	0,0003250	0,0406723	0,68056	0,006249
Aufruf Jimmy	Aufruf Jimmy	597800	x	5839	145	3626,00	25,01	0,00977	0,0002426	x	0,02483	0,006066

Unterschied Anzahl Spenden pro Imp. Gruppe A und B statistisch signifikant (Chi Quadrat, p=0,006169)

--Tobias Schumann (WMDE) (Diskussion) 11:51, 28. Nov. 2012 (CET)[Beantworten]

Ein neues Layout des Faktenbanners der WMF schien äußerst gut zu funktionieren. Es ist dezenter gestaltet mit kleinerer Schrift und geringerer Höhe. Völlig neu ist, dass es für den Leser sichtbar bleibt, auch wenn er den Bildschirm nach unten scrollt. In Tests prüften wir das neue Design, einmal mit (Test 25) und einmal ohne "Klebefunktion" (Test 26). Da das neue Design einen Fließtext enhält, testen wir zusätzlich eine Version, bei der der Text wie gehabt in Balken formatiert ist (Test 27).

Das neue Banner ist sehr erfolgreich, allerdings nur in Kombination mit der neuen Funktion (Test 26). Eine schlichte Layoutänderung bringt keine Verbesserung der Spendeneinnahmen (Test 25). Überraschend für uns ist, dass die Balkenformatierung, von der wir uns eine leichtere Lesbarkeit erhofft hatten, schlechter läuft als Fließtext.

Test 25, Montag, 26.11., 14:15 - 16:30 Uhr

Banner	Landingpage	Impressions	Klicks Banner	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.	Durch- schnitt _100
ctrl Fakten_gelb	5_Fakten	1480200	9011	345	214	4174,77	19,51	0,006088	0,0001446	0,0237488	0,62029	0,002820	19,51
var Fakten_gelb	5_Fakten	1501700	2821	334	219	4367,35	19,94	0,001879	0,0001458	0,0776320	0,65569	0,002908	19,94

Test 26, Montag, 26.11., 16:30 - 19:00 Uhr

Banner	Landingpage	Impressions	Klicks Banner	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.	Durch- schnitt _100
Fakten_gelb_ctrl	5_Fakten	1655300	10616	454	311	7213,83	23,20	0,006413	0,0001879	0,0292954	0,68502	0,004358	22,23
Fakten_gelb_sticky	5_Fakten	1434400	7718	887	624	14304,51	22,92	0,005381	0,0004350	0,0808500	0,70349	0,009972	21,32

Differenz Anzahl/Imp. statistisch signifikant (Chi-Quadrat-Test, p-value < 2.2e-16 )

Differenz Klick/Imp. statistisch signifikant (Chi-Quadrat-Test, p-value < 2.2e-16 )

Differenz Spende/Klick statistisch signifikant (Chi-Quadrat-Test, p-value < 2.2e-16 )

Test 27, Dienstag, 27.11., 13:00-14:45 Uhr

Banner	Landingpage	Impressions	Klicks Banner	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.
Fließtext	5_Fakten	830900	13140	526	383	7311,07	19,09	0,015814	0,0004609	0,0291476	0,72814	0,008799
Balken	5_Fakten	816100	13018	428	295	5923,05	20,08	0,015951	0,0003615	0,0226609	0,68925	0,007258

Differenz Anzahl/Imp. statistisch signifikant (Chi-Quadrat-Test, p-value = 0.00165)

--Tobias Schumann (WMDE) (Diskussion) 13:12, 30. Nov. 2012 (CET)[Beantworten]

Dienstag, 27.11., 14:45-17:00 Uhr

Erneut prüften wir die Wirkung verschiedener Aufrufe im aufgeklappten Banner. Neben Jimmy testeten wir unsere bisher zwei besten Texte: den Aufruf von Wikipedia-Spender Gunther Tutein und von Till. Auch dieses Mal lag Jimmy vorn. Jedoch ist der Unterschied nicht gravierend, weshalb wir uns dazu entschieden, zu Gunsten einer abwechslungs- und perspektivenreicheren Kampagne Jimmy's Aufruf durch den von Till zu ersetzen.

Banner	Landingpage	Impressions	Klicks Banner	Be- sucher	Anzahl	Summe	Durch- schnitt	Klick- Rate	Anzahl pro Imp.	Anzahl pro Klick	Anzahl pro LP	Summe pro Imp.
Jimmy	5_Fakten	1107000	18898	663	484	11005,50	22,74	0,017071	0,0004372	0,0256112	0,73002	0,009942
Till	5_Fakten	1112400	18970	593	411	7890,00	19,20	0,017053	0,0003695	0,0216658	0,69309	0,007093
Gunther	5_Fakten	1112600	18940	619	407	8411,02	20,67	0,017023	0,0003658	0,0214889	0,65751	0,007560

--Tobias Schumann (WMDE) (Diskussion) 13:12, 30. Nov. 2012 (CET)[Beantworten]

Test 29 & 30: Wer spricht da?

Mit dem Aufruf, der aktuell in den Bannern zu lesen ist, haben wir einen recht erfolgreichen Text geschrieben. Da er noch nicht ganz mit dem Aufruf von Jimmy mithalten kann, gilt es weitere Erkenntnisse über die Wirkung von Aufrufe zu gewinnen. In den kommenden Tests werden wir nun stärker inhaltlich mit und an Aufrufstexten arbeiten. In Test 29 sahen wir, dass die explizite Nennung von Kosten einen kleinen Effekt zu haben scheint. In Test 30 untersuchten wir die Wirkung unterschiedlicher Sprecher. Da der aktuelle Aufruf keine individuell biographische Geschichte enthält, gab er uns dazu die Möglichkeit. Interessanterweise spielt es bei diesem Text praktisch keine Rolle, wer als Sprecher des Texts erscheint. Ein möglicher Effekt könnte aber sein, dass ein leicht größerer Anteil von Frauen spendet, wenn der Sprecher ebenso eine Frau ist.

test 29, Mittwoch, 28.11., 13:00-15:00 Uhr

Banner	LandingPage	Impressions	Banner- Klicks	Besucher	Spenden	Summe	Durch- schnitt	Banner- Klick/ Impression	Spende/ Imp	Spende/ Banner- Klick	Spende/ Besucher
ctrl	5_Fakten	905400	13511	475	331	6430.50	19.13	0.014923	0.0003656	0.02450	0.69684
ohne_Kosten	5_Fakten	912100	13323	440	315	7624.06	21.35	0.014607	0.0003454	0.02364	0.71591

Differenz Spende/Klick nicht statistisch signifikant (Chi-Quadrat-Test, p-value= 0.6477)

test 30, Mittwoch, 28.11., 15:00 - 00:00 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	% Frauen
Till	5_Fakten	1736700	31829	959	694	16802.61	24.21	0.018327	0.0003996	0.02180	0.72367	21.38
Alice	5_Fakten	1994900	35740	1105	774	17175.25	22.19	0.017916	0.0003880	0.02166	0.70045	24.29
Pavel	5_Fakten	1980100	36148	1058	733	14918.02	20.35	0.018256	0.0003702	0.02028	0.69282	22.30
Elly	5_Fakten	1757800	31780	986	699	14908.77	21.33	0.018079	0.0003977	0.02199	0.70892	27.35

--Tobias Schumann (WMDE) (Diskussion) 13:12, 30. Nov. 2012 (CET)[Beantworten]

Test 31: Text Faktenbanner: Liebe Leser

Donnerstag, 29.11., 11:00-16.00 Uhr

Eine direkte Ansprache kann eine starke Überzeugungsfunktion besitzen. Mit diesem Test analysierten wir eine Textänderung der WMF im Faktenbanner. Nun beginnt der Text mit der Anrede: "Liebe Wikipedia-Leser" und endet mit einem "Vielen Dank". Anhand der Ergebnissen können wir sehen, dass diese Änderung tatsächlich zu mehr Spenden führt. Die Spendenrate (Anzahl/Imp) konnte um 18% gesteigert werden.

Banner Tracking	Landing Page	Impressions	Banner Klicks	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	LP- Besucher	Anzahl pro Besucher	Betrag pro Imp
ctrl.	5_Fakten	2057500	28137	674	14027.00	20.81	0.013675	0.0003276	0.02395	995	0.67739	0.0068175
Liebe Leser	5_Fakten	2046900	28728	791	16356.02	20.68	0.014035	0.0003864	0.02753	1134	0.69753	0.0079906

Unterschied Anz/Imp. statistisch signifikant (p-value = 0.001456)

--Tobias Schumann (WMDE) (Diskussion) 17:45, 7. Dez. 2012 (CET)[Beantworten]

Test 32: Scroll-Down-Button

Donnerstag, 29.11.2012, 16:00-20:30 Uhr

Es ist schon erstaunlich, wie kleine Änderungen große Auswirkung haben können. Wir testeten diesmal eine winzige Grafik, die in der Lasche des Fakten-Banners anzeigen soll, dass sich das Banner nach unten öffnet. Die Grafik war bereits zuvor in der großen Faktenbanner-Versionen zum Einsatz gekommen, nun aber in der kleineren Variante nicht mehr enthalten. Nach unserem Test wollen wir nicht mehr auf sie verzichten. Die Klick-Rate erhöhte sich um ganze 35%. Natürlich sind darunter auch viele Wikipedia-Leser, die lediglich neugierig sind. Dennoch erreichen wir mit unserem Aufruf viel mehr Menschen, so dass auch die Spendenrate (Anzahl/Imp) um 13% anstieg.

Banner Tracking	Landing Page	Impressions	Banner Klicks	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Betrag pro Imp
ctrl	5_Fakten	1840000	30927	752	16412.84	21.83	0.016808	0.0004087	0.02432	0.0089200
Icon	5_Fakten	1813500	41087	842	18885.76	22.43	0.022656	0.0004643	0.02049	0.0104140

Unterschied Anz/Imp. statistisch signifikant (p-value = 0.01095)

Unterschied Klick/Imp. statistisch signifikant (p-value < 2.2e-16)

--Tobias Schumann (WMDE) (Diskussion) 17:45, 7. Dez. 2012 (CET)[Beantworten]

Test 33: Sicherheits-Hinweis

Freitag, 30.11., 15:30-19:00 Uhr

Im aktuellen Spedenprozess mit dem Drop-down Banner werden die Spender nach Ausfüllen des Formulars auf unsere verschlüsselte Landing Page geleitet, wo sie mit sicherer Verbindung ihre Daten eingeben können. Leider gibt es hier eine 30%ige Abbrecherquote. Darunter sind Personen, die sich einen Spaß machen möchten und an unserer Plausibiltätsüberprüfung scheitern und Spender, deren Transaktionen nicht zustande kommen. Dennoch ist die Zahl der Abbrecher recht hoch. In Test 8 konnten wir bereits sehen, dass das Layout der LP vermutlich nicht der Grund der Abbrecher ist. Eine weitere Vermutung war die potentielle Verwunderung der Spender, dass sie auf eine andere Seite weitergeleitet werden. Diese wollten wir verringern, in dem beim Klick auf das Spenden-Button im Banner nun ein Hinweis auf die Weiterleitung aus Sicherheitsgründen erfolgt. Zu einer Minderung der Abbrecherquote führte dies leider nicht, jedoch immerhin zu dem Erkenntnisgewinn, dass die Weiterleitung auf die Landing Page kein Grund für einen Abbruch ist.

Banner Tracking	Landing Page	Impressions	Banner Klicks	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Betrag pro Imp
ctrl.	5_Fakten	1317700	27244	644	15553.04	24.15	0.020675	0.0004887	0.02364	0.0118032
ssl-Hinweis	5_Fakten	1326600	26887	619	13942.21	22.52	0.020268	0.0004666	0.02302	0.0105097

--Tobias Schumann (WMDE) (Diskussion) 17:45, 7. Dez. 2012 (CET)[Beantworten]

Test 34, 35 & 37: Formulierungen + Sprecher Aufrufstext

In diesen Tests über längere Zeiträume versuchten wir verschiedene kleinere Textänderungen am Aufrufstext. Wir änderten die explizite Spendenaufforderung (Test 34) und ergänzten einen zusätzlichen Appell (Test 35). Alle versuchten Textänderungen hatten praktisch keine Auswirkung. Ebenso führte ein Wechsel der Sprecherrolle (Pavel als Mitarbeiter vs. Vorstand) zu keiner signifikanten Änderung (Test 36).

Test 34, Freitag, 30.11., 20:00 Uhr - Sonntag, 2.12., 14:30 Uhr

Banner Tracking	Landing Page	Impressions	Banner Klicks	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Betrag pro Imp
ctrl	5_Fakten	3266600	87677	1904	42850.45	22.51	0.026840	0.0005829	0.02172	0.0131178
var_2	5_Fakten	3747700	99776	2187	48507.85	22.18	0.026623	0.0005836	0.02192	0.0129434
var_3	5_Fakten	3766500	99841	2194	50402.21	22.97	0.026508	0.0005825	0.02197	0.0133817
var_1	5_Fakten	3287500	87253	1928	44210.40	22.93	0.026541	0.0005865	0.02210	0.0134480

Test 35, Sonntag, 2.12., 14:30 Uhr - Montag, 3.12., 14:45 Uhr

Banner Tracking	Landing Page	Impressions	Banner Klicks	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Betrag pro Imp
ctrl	5_Fakten	5849500	131660	2588	60299.82	23.30	0.022508	0.0004424	0.01966	0.0103085
var_1	5_Fakten	5911200	132308	2638	59400.66	22.52	0.022383	0.0004463	0.01994	0.0100488

Test 37, Montag, 3.12., 19:15 Uhr - Dienstag, 4.12., 11:30 Uhr

Banner Tracking	Landing Page	Impressions	Banner Klicks	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Betrag pro Imp	% Frauen
Till	5 Fakten	1766100	42743	840	19087.72	22.72	0.024202	0.0004756	0.01965	0.0108078	25.37
Pavel_Vo	5_Fakten	1738100	42567	815	17461.23	21.42	0.024491	0.0004689	0.01915	0.0100462	25.24
Pavel_Mi	5_Fakten	1777200	43077	797	19646.53	24.65	0.024239	0.0004485	0.01850	0.0110548	22.69

alle Tests nicht statistisch signifikant

--Tobias Schumann (WMDE) (Diskussion) 17:45, 7. Dez. 2012 (CET)[Beantworten]

Test 36 & 43: Sticky-Funktionstest

Unser aktuelles Banner bleibt sichtbar, wenn man den Bildschirm nach unten scrollt. Die technische Umsetzung dieses Prinzips läuft jedoch nicht völlig sauber, das Banner "springt" beim Scrollen erst in die feste Position. Eine überarbeitete Programmierung korrigiert diesen Effekt nun. Ungetestet wollten wir die neue Variante jedoch nicht übernehmen.

Erstaunlicherweise reagieren die Wikipedia-Leser tatsächlich unterschiedlich auf die zwei Varianten. Während die umspringende Version zwischen 8% und 6% mehr Menschen zum Klicken animierte, spendeten in der statischen Variante ein größerer Anteil derjenigen, die das Banner öffneten (rund 10%). Der Zuwachs in der Klickrate lässt sich eventuell erklären, durch eine höhere Aufmerksamkeit, die das springende Banner generiert. Allerdings scheinen diese zusätzlich erreichten Menschen wenig von einer Spende überzeugt zu sein, denn insgesamt laufen beide Versionen des Banner gleicht gut und erreichen nahezu identische Werte bei der Spende pro Impression.

Da uns die Ergebnisse bei einem ersten kürzeren Test überraschten, wiederholten wir ihn für einen sehr langen Zeitraum, so dass wir nun Gewissheit hinsichtlich des identischen Erfolgs haben. Angesichts der angenehmeren Wahrnehmung zeigen wir ab jetzt die überarbeitete Variante.

Test 36, Montag, 3.12., 14:45-19:15 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher
ctrl	5_Fakten	1912200	37550	903	628	14793.68	23.56	0.019637	0.02405	0.0003284	0.01672	0.69546
sticky_neu	5_Fakten	1940300	35669	923	601	13498.50	22.46	0.018383	0.02588	0.0003097	0.01685	0.65114

Test 43, Sonntag, 9.12., 14:30 - Dienstag, 11.12., 16:45 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher
ctrl	5_Fakten	12612500	211079	5718	3977	87053.16	21.89	0.016736	0.02709	0.0003153	0.01884	0.69552
sticky neu	5_Fakten	12854800	199427	5907	4080	94801.39	23.24	0.015514	0.02962	0.0003174	0.02046	0.69071

Klick-Rate: -7,30% (statistisch signifikant, p-value < 2.2e-16)

Besucher/Klick: +9,34% (statistisch signifikant, p-value = 1.035e-06)

Spende/Imp: +0,66% (statistisch nicht signifikant, p-value = 0.7691)

--Tobias Schumann (WMDE) (Diskussion) 17:18, 14. Dez. 2012 (CET)[Beantworten]

Test 38 & 42: Formulierung Text Faktenbanner

In den letzten Tests konnten wir oft feststellen, dass leichte Änderungen im Text des Aufrufs keinen Unterschied hinsichlich der Spendenanzahl machten. In diesen zwei Tests arbeiteten wir daher am Text des Banners. Lässt man den die fehlenden Gebühren unerwähnt, dann sinken Klickrate und Spendenbereitschaft in einem geringen Maße (Test 38). Die explizite Nennung von Kostenpunkten und das Weglassen des Hinweises auf die Selbstverständlichkeit im Alltag (aus Platzgründen) führt dagegen zu einer leichten Steigerung der Spendenrate (Spende/Imp: + ~7%).

Test 38, Dienstag, 4.12., 11:30-15:15 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher
ctrl	5_Fakten	1510200	26277	750	515	11470.05	22.27	0.017400	0.000497	0.02854	0.0003410	0.01960	0.68667
var	5_Fakten	1542200	25423	710	460	9694.95	21.08	0.016485	0.000460	0.02793	0.0002983	0.01809	0.64789

Klick Rate: -5,26 % (p-value = 5.918e-10)

Test 42, Freitag, 7.12., 13:20 - Sonntag, 9.12., 14:30 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher
ctrl	5_Fakten	9069600	166528	4906	3708	83480.55	22.51	0.018361	0.0004088	0.02227	0.75581
mit_Kosten	5_Fakten	9035800	166669	5253	3940	91454.85	23.21	0.018445	0.0004360	0.02364	0.75005

Spende/Imp: +6,69%; Differenz statistisch signifikant (p-value = 0.004679)

--Tobias Schumann (WMDE) (Diskussion) 17:18, 14. Dez. 2012 (CET)[Beantworten]

Test 39: Blauer Link im Banner

Dienstag, 4.12., 15:15 - 19:15 Uhr

Um den wirkmächtigen Aufruf, einen kleinen Beitrag zu leisten, optisch stärker hervorzuheben, testeten wir eine Layoutveränderung der WMF: der Satz wird blau und als Link formatiert. Zwar klicken nicht mehr Menschen auf das Banner, dennoch ist die neue Formatierung offenbar viel überzeugender. Um immerhin 21% konnte die Spendenrate (Spende/Imp.) erhöht werden.

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher
ctrl	5_Fakten	1658800	31490	712	484	10360.99	21.41	0.018984	0.0002918	0.01537	0.67978
Link	5_Fakten	1653800	30078	849	584	13420.51	22.98	0.018187	0.0003531	0.01942	0.68787

Spende/Imp.: Differenz statistisch signifkant (p-value = 0.001872)

--Tobias Schumann (WMDE) (Diskussion) 17:18, 14. Dez. 2012 (CET)[Beantworten]

Test 40 & 41: Aufruf Harald Krichel: Text + Foto

Mit diesem Test prüften wir verschiedene Varianten des Texts von Wikipedia-Autor Harald Krichel innerhalb des Faktenbanners. Wir freuen uns, dass wir nach dem Test nun endlich einen Autoren-Aufruf für längere Zeit schalten können. Im Großen und Ganzen scheinen der Aufruf von Pavel und von Harald im Faktenbanner gleich gut zu funktionieren, eine unserer Aufrufsvarianten sogar ein wenig besser. Auch wenn der Test fast 24 Stunden lief - bei derartig knappen Ergebnissen sind die resultierenden Unterschiede jedoch nicht signifikant. In einem anschließenden Test überprüften wir die Wirkung der Personalisierung durch ein Foto. Im Rahmen des Faktenbanners scheint eine Abbildung des Sprechers keinen Unterschied zu machen.

Test 40, Dienstag, 4.12., 19:15 - Mittwoch, 5.12., 17:00 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp
Pavel_ctrl	5_Fakten	2504300	44977	1303	945	19281,92	20,40	0,017960	0,000520	0,02897	0,0003774	0,0210107	0,72525	0,007700
Harald_1 (lang)	5_Fakten	2770600	49827	1489	1066	23455.49	22.00	0.017984	0.000537	0.02988	0.0003848	0.02139	0.71592	0.0084659
Harald_2 (kurz)	5_Fakten	2763300	49477	1448	1004	20418,48	20,34	0,017905	0,000524	0,02927	0,0003633	0,0202923	0,69337	0,007389
Harald_ctrl	5_Fakten	2517500	45238	1320	914	19171,12	20,97	0,017969	0,000524	0,02918	0,0003631	0,0202043	0,69242	0,007615

Spende/Klick: +1,81% - nicht statistisch signifikant (p-value = 0.6826)

Test 41, Mittwoch, 5.12., 19:15 - Donnerstag, 6.12., 16:30 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp
Photo	5_Fakten	4618200	77639	2383	1721	36460.45	21.19	0.016812	0.000516	0.03069	0.0003727	0.02217	0.72220	0.0078949
kein_Photo	5_Fakten	4642200	77766	2488	1753	38080.87	21.72	0.016752	0.000536	0.03199	0.0003776	0.02254	0.70458	0.0082032

--Tobias Schumann (WMDE) (Diskussion) 12:05, 27. Dez. 2012 (CET)[Beantworten]

Test 44 & 50: Banner Layouts persönliche Aufrufe

Diese zwei Tests prüften verschiedene Formen der Präsentation persönlicher Aufrufe. In der zweiten Kampagnenwoche hatten wir gesehen, dass ein Zeitpunkt existiert, bei dem Jimmys persönlicher Aufruf mehr Menschen überzeugt als das Faktenbanner (Test 17). Durch die Verbesserung des Layouts des Faktenbanners kehrte sich dieses Ergebnis wieder um (Test 23). Doch warum sollten wir nicht mittlerweile erneut an dem Punkt sein, an dem ein persönlicher Aufruf durch mehr Aufmerksamkeit (höhere Klickrate) besser funktioniert?

Um das herauszufinden testeten wir den Aufruf von Wikipedia-Autor Harald Krichel innerhalb des Faktenbanners gegen ein Banner, das den persönlichen Aufruf direkt ankündigt (Test 44). Zwar erhält das Aufrufsbanner tatsächlich mehr Aufmerksamkeit, ersichtlich an einer Steigerung der Klick-Rate um 16 %. Andererseits können dennoch weit weniger Menschen von einer Spende überzeugt werden (Spende/Impression -53%). Liegt dies vielleicht am Layout des Banners? Wir hatten den persönlichen Aufruf im gleichen Format gestaltet, wie das aktuelle Faktenbanner. Dadurch wird beispielsweise das Foto kleiner dargestellt als in den Bannern des letzten Jahres. Also testeten wir das Aufrufsbanner in der neuen und in der alten ("inline") Variante gegeneinander (Test 50). Es zeigt sich dabei klar, dass das neue Design (gelb, top, sticky) besser funktioniert. Es klicken weitaus weniger Menschen auf das alte Bannerlayout (-40%) und ebenso sinkt die Spendenrate (Spende/Imp.: -21%).

Test 44, Dienstag, 11.12., 16:45 - 19:15 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp
Fakten_ctrl	5_Fakten	986200	15736	422	297	6370.99	21.45	0.015956	0.000428	0.02682	0.0003012	0.01887	0.70379	0.0064601
pAufruf	5_Fakten	1001200	18564	241	142	3978.01	28.01	0.018542	0.000241	0.01298	0.0001418	0.00765	0.58921	0.0039732

Differenz Klick-Rate statistisch signifikant (p-value < 2.2e-16)
Differenz Spende/Imp statistisch signifikant(p-value = 4.127e-14)

Test 50, Freitag, 14.12., 9:30 - 11:45 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp
pA_top	5_Fakten	726300	11214	241	139	4490.00	32.30	0.015440	0.000332	0.02149	0.0001914	0.01240	0.57676	0.0061820
pA_inline	5_Fakten	809100	0	7446	123	4193.00	34.09	0.000000	0.009203	0.00000	0.0001520	0.00000	0.01652	0.0051823

Differenz Klick-Rate statistisch signifikant (p-value < 2.2e-16)
Differenz Spende/Imp statistisch signifikant (p-value = 0.06229)

--Tobias Schumann (WMDE) (Diskussion) 12:05, 27. Dez. 2012 (CET)[Beantworten]

Wikipedia den Lesern aus ganz verschiedenen Perspektiven näher zu bringen und sie auf diese Weise von einer Spende zu überzeugen, das ist eines der Ziele, die wir uns für diese Spendenkampagne vorgenommen hatten. Daher wollten wir auch Leser von Wikipedia zu Wort kommen lassen. Zudem war es unser Ziel neue Wege in der Spenderkommunikation zu gehen. Mit der Produktion eines Kampagnen-Videos versuchten wir beide Ziele miteinander zu verbinden. In unserem zweiminütigen Video schildert ein bunte Mischung ganz unterschiedlicher Leser ihre Erfahrungen mit der digitalen Enzyklopädie und beschreibt, warum sie Wikipedia mögen. Anschließend ruft Pavel Richter als Vorstand von Wikimedia Deutschland zur Unterstützung von Wikipedia auf.

Aber würde das Video tatsächlich Menschen dazu animieren zu spenden? Nach dem mit Spannung erwarteten Test freuen wir uns, dass der Spendenaufruf im bewegten Bild wirklich zu einer Steigerung der Spenden führt (Test 45). Im aufgeklappten Faktenbanner positioniert, konnte das Video rund 12% mehr der Leser, die auf das Banner klickten, überzeugen, als der Aufruf von Wikipedia-Autor Harald Krichel. Folglich schalteten wir das Video, nachdem innerhalb des Faktenbanners eine gute Woche lang ein Wikipedianer-Aufruf gezeigt wurde.

Kritisch für den Erfolg eines Videos ist dessen Dauer. Je länger es läuft, desto höher ist die Wahrscheinlichkeit, dass es nicht angesehen wird oder Zuschauer zwischendurch abbrechen. Mit zwei Minuten ist unser Video relativ lang. Da es aus zwei Bestandteilen besteht, lag es nahe zu testen, wie eine auf den Spendenaufruf reduzierte Version abschneiden würde (Test 52). Laut unseren Testergebnissen konnte die Spendenrate pro Bannerklick mit der gekürzten Variante um weitere 7,7% gesteigert werden. Grundsätzliche Aussagen über das Video lassen sich jedoch nicht ableiten, da hier eine große Rolle spielt, dass das Video innerhalb des Faktenbanners platziert ist.

Test 45, Mittwoch, 12.12., 14:45 - 18:45 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Betrag pro Imp
ctrl	5_Fakten	1606000	24412	528	349	7732.74	22.16	0.015200	0.0002173	0.01430	0.0048149
Video	5_Fakten	1596200	25077	611	403	8798.28	21.83	0.015710	0.0002525	0.01607	0.0055120

Chi-Quadrat Spende/Klick: p-value = 0.1067

Test 52, Freitag, 14.12., 19:30 - Samstag, 15.12., 14:00 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp
Video_kurz	5_Fakten	2783500	48063	1319	1012	21565.91	21.31	0.017267	0.0003636	0.02106	0.76725	0.0077478
Video_komplett	5_Fakten	2794800	47875	1296	936	19848.08	21.21	0.017130	0.0003349	0.01955	0.72222	0.0071018

Chi-Quadrat Spende/Klick - p-value = 0.09847

--Tobias Schumann (WMDE) (Diskussion) 14:47, 9. Jan. 2013 (CET)[Beantworten]

Test 46, 47, 48 & 49: Faktenbanner vs. Videobanner

Ein zentrales Anliegen des Videos und der persönlichen Aufrufe ist es durch den Wechsel der Kampagnenelemente neue Aufmerksamkeit zu erzeugen und möglichst verschiedene Zielgruppen zu erreichen. Zwar ist die bisherige Kampagne bereits durch den Wechsel verschiedener Aufrufe geprägt. Jedoch geschah dies stets innerhalb des Faktenbanners, so dass die große Anzahl der Wikipedia-Leser es gar nicht bemerken konnte. Auf diese Weise ist es weder möglich die Aufmerksamkeit zu steigern noch neue Zielgruppen anzusprechen. Mit großer Spannung verfolgten wir daher den ersten Test eines Banners, dass statt des Faktentextes das Video direkt ankündigt (Test 46). Leider waren die Ergebnisse ebenso ernüchternd - eine Senkung des Spendenrate (Anzahl/Imp) um 70%. Nicht einmal mehr Klicks erzielte das neue Banner.

In den folgenden drei Tests veränderten wir Text und Layout des Banners auf Grundlage unserer bisherigen Erkenntnisse. Wir verstärkten die direkte Ansprache der Leser und fügten den Faktentext in das aufgeklappte Banner ein (Test 47). Dann änderten wir das Preview-Bild des Videos im Banner, formulierten einen neuen Bannertext und veränderten die Position des Faktentextes im aufgeklappen Banner (Test 48). Zuletzt ergänzten wir im aufgeklapptem Banner zwei ausdrückliche Spendenaufrufe (49). Stück für Stück konnten wir auf diese Weise das Video-Banner verbessern, welches nun auch weitaus mehr Klicks erzielte als das Faktenbanner. Zwar gelang es uns trotz allem nicht mit einer optimierten Version den Erfolg des Faktenbanner zu erreichen. Mit einer Senkung um 27,86% schnitt das Videobanner aus Test 48 jedoch um mehr als 100% besser ab als im ersten Test. Diese Steigerung stimmt uns zuversichtlich auf kommende Weiterentwicklungen der Banner.

Test 46, Mittwoch, 12.12., 19:00 - 20:45 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Betrag pro Imp
Fakten_Video	5_Fakten	622200	10595	247	170	3517.88	20.69	0.017028	0.0002732	0.01605	0.0056539
Video_1	5_Fakten	642000	10218	91	52	1335.00	25.67	0.015916	0.0000810	0.00509	0.0020794

Test 47, Donnerstag, 13.12., 12:00 - 14:00 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Betrag pro Imp
ctrl	5_Fakten	719400	9654	253	167	3365.22	20.15	0.013420	0.0002321	0.01730	0.0046778
Video_2	5_Fakten	717400	9868	142	72	1738.50	24.15	0.013755	0.0001004	0.00730	0.0024233

Test 48, Donnerstag, 13.12., 16:15 - 19:15 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Betrag pro Imp
Fakten_Video	5_Fakten	1091600	16435	372	264	5533.50	20.96	0.015056	0.0002418	0.01606	0.0050692
Video_3	5_Fakten	1066300	20898	305	186	3805.50	20.46	0.019599	0.0001744	0.00890	0.0035689

Chi-Quadrat Anz./Imp: p-value = 0.0006062 (statistisch signifikant)

Test 49, Freitag, 14.12., 12:30 - 15:30 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Betrag pro Imp
Fakten_Video	5_Fakten	1010400	13345	348	250	5663.00	22.65	0.013208	0.0002474	0.01873	0.0056047
Video_4	5_Fakten	969000	15139	266	169	3478.33	20.58	0.015623	0.0001744	0.01116	0.0035896

--Tobias Schumann (WMDE) (Diskussion) 14:47, 9. Jan. 2013 (CET)[Beantworten]

Test 51: persönliche Aufrufe von Wikipedia-Autoren

Freitag, 14.12., 15:30 - 19:30 Uhr

In dieser dritten Runde von persönlichen Aufrufen zeigten wir drei Wikipedia-Autoren und umspannten dabei das ganze Altersspektrum der ehrenamtlichen Enzyklopädisten. Mit 86 Jahren hat Dr. Peter Cueppers bereits 19.000 Editierungen vorgenommen. In seinem Aufruf beschreibt er, wie er noch in hohem Alter dazu kam, Wikipedia-Autor zu werden. Dass man sich auch in jungen Jahren in Wikipedia engagieren kann, zeigt Tobias Klenze, der mit 16 in der Online-Enzyklopädie zu schreiben begann. Als wesentliche Motivation beschreibt er den Wunsch anderen helfen zu können und stellt in seinem Aufruf die Besonderheit der freiwilligen Mitarbeit in Wikipedia heraus. Als Familienvater mit einer vollen Arbeitswoche ist es für Gereon Kalkuhl mit Aufwand verbunden über sein Faszinationsthema Schach zu schreiben. In seinem Aufruf hebt er vor allem die Bedeutung des freien Zugangs zu Wissen für Menschen aller Bevölkerungsschichten hervor.

Über die Ergebnisse des Tests sind wir sehr erfreut. Der Aufruf von Dr. Cueppers kam so nahe an den Erfolg an Jimmys Aufruf heran, wie es uns noch mit keinem Text in diesem Jahr gelungen ist (-7,8% Anzahl/Imp). Auch der Aufruf von Tobias lief ganz ordentlich (-24,54% Anzahl/Imp), während der von Gereon die Leser deutlich weniger überzeugte (-42,9% Anzahl/Imp). Ein genauerer Blick auf die Ergebnisse zeigt, dass die Gründe für den Erfolg wieder einmal in der Klickrate respektive Aufmerksamkeit liegen, die die Banner generieren. Während Gereons und Tobias Aufrufstexte ungefähr gleich gut laufen, klicken weitaus mehr Menschen auf das Banner von Tobias (+31% im Vergleich zu Jimmy). Eine mögliche Erklärung könnte sein, dass Tobias und Dr. Cueppers aufgrund ihres Alters als ungewöhnliche Autoren erscheinen und so Interesse erzeugen. Neben hoher Klickzahlen (+33% im Vergleich zu Jimmy) überzeugt bei Dr. Cueppers aber auch der Text stärker als bei den anderen beiden.

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Jimmy	5_Fakten	563400	10911	211	153	3425.00	22.39	0.019366	0.000375	0.01934	0.0002716	0.01402	0.72512	0.0060792	27.74
Tobias	5_Fakten	648900	16415	241	133	4492.56	33.78	0.025297	0.000371	0.01468	0.0002050	0.00810	0.55187	0.0069233	26.32
Dr.Cueppers	5_Fakten	571200	14715	227	143	3433.00	24.01	0.025762	0.000397	0.01543	0.0002504	0.00972	0.62996	0.0060102	25.00
Gereon	5_Fakten	645300	12710	158	100	2740.00	27.40	0.019696	0.000245	0.01243	0.0001550	0.00787	0.63291	0.0042461	19.10

--Tobias Schumann (WMDE) (Diskussion) 14:47, 9. Jan. 2013 (CET)[Beantworten]

NOTIZ: Mittlerweile konnten wir die Spendenkampagne 2012 erfolgreich abschließen. Unter anderem trugen gerade die mehr als 
60 Kampagnentests zu diesem Erfolg bei. Bisher sind leider noch einige Auswertungen schuldig geblieben. In den kommenden Tagen
werden wir jedoch Stück für Stück weitere Analysen nachtragen, so dass hier am Ende eine umfangreiche Dokumentation des Kampagnenverlaufs
vorliegt.

Im Rahmen der Vorbereitung auf den Endspurt der Kampagne testeten wir hier den erfolgreichsten Bannertext aus dem letzten Jahr ("Wenn jeder 5€ ..."). In abgewandelter Form ist dieser bereits im Faktenbanner enthalten (in blauer Schrift hervorgerufen). Uns interessierte nun aber die Wirkung des isolierten Texts auf dem Banner (im aktuellen Layout), wobei der gesamte Faktentext nach dem Aufklappen erneut angezeigt wurde (Test 53).

Es zeigte sich, dass sich die Ergebnisse aus dem letzten Jahr wiederholten. Das "5€-Banner" senkt die Klickrate (-27%), führt aber zu einer Erhöhung der Spenden (+64% Spende/Imp, statistisch signifikant). Das ist dennoch sehr bemerkenswert, da es noch mit keinem Banner des letzten Jahres gelungen war, das Faktenbanener zu schlagen. Nun galt es noch zu prüfen, welcher Inhalt im ausgeklapptem Banner optimalerweise angezeigt werden sollte: das Spendenvideo oder der Aufruf von Dr. Cueppers, Pavel oder Jimmy? Am besten schnitt Pavels Aufruf ab, jedoch ist das Resultat nicht vertrauenswürdig, da keine signifikanten Ergebnisse vorliegen. Erstaunlich ist, dass Jimmys Aufruf am schlechtesten lief.

Test 53, Samstag, 15.12., 14:00 - 17:00 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp
Fakten_Video	5 Fakten	822200	13578	346	257	5625.30	21.89	0.016514	0.02548	0.0003126	0.01893	0.74277	0.0068418
5€_Video	5 Fakten	840400	10111	563	432	8449.93	19.56	0.012031	0.05568	0.0005140	0.04273	0.76732	0.0100547

Klick-Rate: -27.15% (p-value < 2.2e-16)
Spende/Klick: +125.70% (p-value < 2.2e-16)
Spende/Imp: +64.44% (p-value = 1.756e-10)

Test 54, Samstag, 15.12., 17:00 - 22:00 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp
5€_Video	5F	789000	9610	531	403	7271.00	18.04	0.012180	0.05525	0.0005108	0.04194	0.75895	0.0092155
5€_Pavel	5F	799500	9711	584	446	8563.41	19.20	0.012146	0.06014	0.0005578	0.04593	0.76370	0.0107110
5€_Cueppers	5F	713400	8551	492	369	6273.00	17.00	0.011986	0.05754	0.0005172	0.04315	0.75000	0.0087931
5€_Jimmy	5F	701700	8432	458	332	5144.50	15.50	0.012017	0.05432	0.0004731	0.03937	0.72489	0.0073315

5€_Pavel: Spende/Klick: +9.51%, Spende/Imp: +9.21% - nicht signifikant (p-value = 0.1993)

--Tobias Schumann (WMDE) (Diskussion) 14:07, 23. Mai 2013 (CEST)[Beantworten]

Test 55 & 56: Bannerlayout Aufruf Dr. Cueppers

Mit dem Aufruf von Dr. Cueppers haben wir einen sehr erfolgreichen persönlichen Aufruf gefunden. In Test 55 und 56 prüften wir verschiedene Möglichkeiten den Aufruf im Banner zu präsentieren. Zunächst schalteten wir zwei Varianten eines Banners, dass den persönlichen Aufruf direkt ankündigt. Dabei enthielt eines der Banner zusätzlich ein Zitat aus dem Aufruf, wovon wir eine Aufmerksamkeitssteigerung erhofften. Es zeigte sich aber, dass die Klickraten praktisch identisch sind und auch im Spendenverhalten keine Änderung eintritt.

Aufgrund der großen Aufmerksamkeit für den Aufruf von Dr. Cueppers wollten wir zusätzlich sehen, wie sich ein Banner mit persönlichem Aufruf gegen ein Faktenbanner mit dem Aufruf im aufgeklapptem Bereich schlägt. Wie zu erwarten klickten mehr Menschen auf den Aufrufsbanner, insgesamt spendeten dort jedoch weniger Menschen. Immerhin ist gegenüber einem ähnlichen Test (Test44) mit dem Aufruf von Harald Krichel das Ausmaß der Senkung der Spendenrate mit -32% statt -53% ein gutes Stück geringer.

Test 55, Montag, 17.12., 16:00 - 19:00 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp
pA_Cuepp	5F	1254300	30691	457	276	6190.11	22.43	0.024469	0.01489	0.0002200	0.00899	0.60394	0.0049351
pA_Cuepp_Zitat	5F	1267500	31018	451	275	6294.00	22.89	0.024472	0.01454	0.0002170	0.00887	0.60976	0.0049657

Klick-Rate: +0.01%
Spende/Imp: -1.38% (p-value = 0.8686)

Test 56, Dienstag, 18.12., 12:15 - 15:00 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher
Fakten_Cuepp	5_Fakten	1033100	19338	492	366	8517.62	23.27	0.018718	0.000476	0.02544	0.0003543	0.01893	0.74390
pA_Cuepp	5_Fakten	1056100	23810	441	254	6366.95	25.07	0.022545	0.000418	0.01852	0.0002405	0.01067	0.57596

Klick-Rate: + 20,45% (p-value < 2.2e-16)
Spende/Klick: -43,63% (p-value = 7.569e-13)
Spende/Imp: -32,12% (p-value = 1.814e-06)

--Tobias Schumann (WMDE) (Diskussion) 14:07, 23. Mai 2013 (CEST)[Beantworten]

Test 57: neue persönliche Aufrufe

Dienstag, 18.12., 15:00 - 18:45 Uhr

Weitere interessante Perspektiven auf Wikipedia wurden mit den neuen Aufrufen eröffnet, die wir hier testeten. Robin Müller beteiligte sich schon als Schüler in der größten freien Enzyklopädie der Welt, Christoph Meineke stellt als Bürgermeister und Wikipedianer die Bedeutung von Wikipedia auf lokaler Ebene heraus und Spenderin Cornelia Dietz schreibt über Qualität und Nützlichkeit der Inhalte. Analog zu anderen persönlichen Aufrufen stieg die Klickrate im Vergleich zu Jimmy und dennoch spendeten mehr Menschen bei dem Aufruf des Wikipedia-Gründers. Während Cornelia Dietz die höchste Aufmersamkeit erzielte (+33%), lief (jenseits von Jimmy) der Aufruf von Robin am besten (Spende/Imp -27%).

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	% Frauen
Jimmy	5F	697200	13532	262	160	4040.55	25.25	0.019409	0.0002295	0.01182	0.61069	26.43
Robin Müller	5F	805600	20080	261	134	4214.00	31.45	0.024926	0.0001663	0.00667	0.51341	22.88
Christoph Meineke	5F	812700	18809	255	121	3326.00	27.49	0.023144	0.0001489	0.00643	0.47451	25.23
Cornelia Dietz	5F	706900	18319	194	104	4378.18	42.10	0.025915	0.0001471	0.00568	0.53608	20.93

Robin Müller: Klick-Rate: +28.42%, Spende/Klick: -43.54%, Spende/Imp: -27.52% (p-value = 0.005769)
Christoph Meineke: Klick-Rate: +19.24%, Spende/Klick: -45.57%, Spende/Imp: -35.13% (p-value = 0.0002949)
Cornelia Dietz: Klick-Rate: +33.52%, Spende/Klick: -51.97%, Spende/Imp: -35.89% (p-value = 0.0003719)

Test 58: Faktenbanner Pavel vs. Dr. Cueppers

Dienstag, 18.12., 20:00 Uhr - Mittwoch, 19.12., 13:15 Uhr

Angesichts des Erfolgs von Dr.Cueppers' Aufruf und dem guten Abschneiden von Pavels Aufruf im Test des 5€-Banners wollten wir sehen, wie die beiden Texte im direkten Vergleich dastehen. Dazu verglichen wir zwei Faktenbanner, die jeweils einen der beiden Aufrufe nach dem Aufklappen zeigen. Das Ergebnis: Mit einer Steigerung von knapp 10% bei der Spendenrate überzeugte der Aufruf von Dr. Cueppers mehr Menschen von der Notwendigkeit einer Spende.

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	% Frauen
Fakt_Cueppers	5F	3293000	60851	1747	1285	28382.53	22.09	0.018479	0.0003902	0.02112	0.73555	25.58
Fakt_Pavel	5F	3300300	61264	1650	1174	25596.74	21.80	0.018563	0.0003557	0.01916	0.71152	25.47

Klick-Rate: -0.45%
Spende/Imp: +9.71% (p-value = 0.02180)

Test 59: Layout Persönlicher Aufruf: Integration Fakten

Donnerstag, 20.12., 12:45 - Freitag, 21.12., 11:00 Uhr

Ein äußerst spannender Test! Nach wie vor arbeiteten wir daran, das Bannerlayout für persönliche Aufrufe zu optimieren. Das Problem war folgendes: Zwar konnten wir innerhalb des Faktenbanners individuelle und interessante Geschichten von Autoren und Spendern zeigen. Doch allein anhand des Banners mit dem Faktentext war nicht erkennbar, dass nach dem Klicken verschiedene Aufrufe gezeigt werden. Bisher gelang es jedoch nie einen Aufrufsbanner zu gestalten, der ebenso erfolgreich ist.

In den Tests rund um das Spendenvideo konnten wir sehen, dass die Verlagerung des Faktentextes in den drop-down-Bereich einen sehr positiven Effekt hat. Unser Ziel war nun, mehr Aufmerksamkeit auf diesen Text zu legen. Daher modifizierten wir das Layout von Hintergrundfarbe (rot) und Schrift (weiß, 3D-Effekt) des Faktentextes. Dank dieser Umgestaltung verbesserte sich der Erfolg des Aufrufsbanners enorm. Mit einer Senkung der Spendenrate um 6,7% ist der Unterschied zum Faktenbanner nur noch gering - im Vergleich zu bis zu -50% in älteren Tests (Vergleich Test 44 und Test 56). Durch kontinuierliche Verbesserungen des Bannerdesigns verfügten wir nun über eine erfolgreiche Möglichkeit persönliche Aufrufe direkt im Banner anzukündigen. Für den geplanten Abschluss der Kampagne mit der Präsentation einer Vielzahl von Aufrufen von Autoren und Spendern war diese Weiterentwicklung von zentraler Bedeutung.

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	% Frauen
Fakten_Cueppers	5F	4558900	84225	2157	1592	35548.10	22.33	0.018475	0.0003492	0.01890	0.73806	22.89
pA_Cueppers_rot	5F	4614300	95496	2246	1503	36993.23	24.61	0.020696	0.0003257	0.01574	0.66919	23.20

Klick-Rate: +12.02% (p-value < 2.2e-16)
Spende-Klick: -16.73% (p-value = 2.700e-07)
Spende/Imp: -6.72% (p-value = 0.05285)

Test 60: neue persönliche Aufrufe

Freitag, 21.12., 11:00 - 16:00 Uhr

Wie man an Weihnachten zum Wikipedianer wird oder wieso man schon mit 12 Software programmiert - wir freuten uns weitere Aufrufe von Wikipedianern und Wikimedia-Mitarbeitern zu veröffentlichen. Dirk Franke war digitaler Enzyklopädist der ersten Stunde und berichtet über die Entstehung von Wikipedia. Jens Ohlig und Denny Vrandečić entwickeln als Wikimedia-Mitarbeiter die Sofware rund um Wikipedia weiter und erklären in ihren Aufrufen, was sie wichtig und besonders an Wikipedia finden.

Die Ergebnisse des Tests ähnelten generell den anderer persönlicher Aufrufe: gesteigerte Klickraten, aber geringere Spendenzahlen als beim Aufruf von Jimmy. Allerdings erfreute uns, wie gut die Aufrufe dennoch abschnitten. Vor allem die Texte von Dirk Franke und Jens Ohlig lagen mit Senkungen von 4% und 8% auf einem ähnlichen Niveau wie Jimmy.

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	% Frauen
Jimmy	5F	802300	13831	393	259	6039.70	23.32	0.017239	0.0003228	0.01873	0.65903	28.13
Dirk Franke	5F	775800	15601	366	239	4803.00	20.10	0.020110	0.0003081	0.01532	0.65301	21.95
Jens Ohlig	5F	683300	12727	286	203	5420.79	26.70	0.018626	0.0002971	0.01595	0.70979	21.74
Denny Vrandečić	5F	700900	12137	257	167	4317.50	25.85	0.017316	0.0002383	0.01376	0.64981	16.08

Dirk Franke: Klick-Rate: +16.65%, Spende/Klick: -18.21%, Spende/Imp: -4.56% (p-value = 0.6019)
Jens Ohlig: Klick-Rate: +8.04%, Spende/Klick: -14.84%, Spende/Imp: -7.97% (p-value = 0.3753)
Denny Vrandečić: Klick-Rate: +0.45%, Spende/Klick: -26.54%, Spende/Imp: -26.19% (p-value = 0.002122)

In diesen zwei Tests verglichen wir die bisher erfolgreichsten Autoren- und Mitarbeiteraufrufe. Sowohl die Aufrufe von Jens Ohlig als auch von Dirk Franke liefen beide hinsichtlich der Spendenrate zwischen 13% und 15 % schlechter als Dr. Cueppers' Text.

Test 61: Freitag, 21.12., 16:15 - Samstag, 22.12., 12:30 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	% Frauen
pA_Dr_Cueppers	5F	3028500	65157	1533	1059	26708.93	25.22	0.021515	0.02353	0.0003497	0.01625	0.69080	20.70
pA_Dirk_Franke	5F	3027600	61302	1350	905	20761.10	22.94	0.020248	0.02202	0.0002989	0.01476	0.67037	21.69

Klick-Rate: -5.89% (p-value < 2.2e-16), Spende/Klick: -9.15% (p-value = 0.03222), Spende/Imp: -14.52%(p-value = 0.0005225)

Test 62, Samstag, 22.12., 12:30 - Sonntag, 23.12., 13:00 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	% Frauen
pA_Dr_Cueppers	5F	4308900	90930	2011	1455	36632.47	25.18	0.021103	0.02212	0.0003377	0.01600	0.72352	20.92
pA_Jens_Ohlig	5F	4362400	82325	1769	1287	33033.07	25.67	0.018871	0.02149	0.0002950	0.01563	0.72753	19.54

Klick-Rate: -10.57% (p-value < 2.2e-16), Spende/Klick: -2.29% (p-value = 0.5398), Spende/Imp: -12.64% (p-value = 0.0004124)

Test 63: 5€-Banner - Dr.Cueppers vs. Dirk Franke

Sonntag, 23.12., 13:00 - Mittwoch, 26.12., 13:30 Uhr

Nachdem mittlerweile seit gut drei Tagen statt Faktenbanner nur Aufrufsbanner gezeigt wurden, entschieden wir uns über die Weihnachtsfeiertage - die unserer Erfahrung nach eher wenig Spenden bringen - das sehr erfolgreiche 5€-Banner zu schalten. Nach dem Aufklappen zeigten wir die Aufrufe von Dr. Cueppers und Dirk Franke und nutzten die Gelegenheit für einen Test über mehrere Tage. Die beiden Aufrufe unterscheiden sich in ihrer Wirkung kaum, Dirk Frankes Botschaft senkte die Spendenrate um 3,5%. Interessant zu sehen ist, dass wir aufgrund der Länge des Tests eine so hohe Stichprobe erreichten, dass selbst dieser geringe Unterschied statistisch signifikant ist. Die zweite interessante Beobachtung betrifft die Wechselwirkung von Bannertext und Spendenaufruf. Aus anderen Tests wissen wir, dass Aufrufe nicht allein für sich, sondern immer in Kombination mit dem Bannertext wirken. In diesem Fall milderte der Bannertext die Unterschiede in der Wirkung der Aufrufe - in Tests mit Aufrufsbanner waren die Unterschiede zwischen beiden Aufrufen weitaus stärker.

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	% Frauen
5€_Dr_Cueppers	5F	13694900	152822	6840	5307	100731.12	18.98	0.011159	0.04476	0.0003875	0.03473	0.77588	19.07
5€_Dirk_Franke	5F	13680500	152959	6641	5112	99742.54	19.51	0.011181	0.04342	0.0003737	0.03342	0.76976	18.04

Spende/Klick: -3.77% (p-value = 0.04656)
Spende/Imp: -3.57% (p-value = 0.0633)

--Tobias Schumann (WMDE) (Diskussion) 18:04, 27. Mai 2013 (CEST)[Beantworten]

Bevor wir den Startschuss gaben für die letzten fünf Tage der Kampagne mit Präsentation aller 15 persönlichen Aufrufe von Autoren, Spendern und Wikimedia-Mitarbeitern, ging es hier nocheinmal darum letzte Erkenntnisse zu gewinnen. Wir verglichen die Wirkung des Textes von Dr. Cueppers, jeweils dargestellt im 5€-Banner und im Aufrufs-Banner (Test 64). Im Prinzip sind die Ergebnisse identisch mit dem strukturell ähnlichen Test 53 (5€-Banner vs. Faktenbanner), allerdings nicht in konkreten Zahlen. Hatten in Test 53 nur 27% weniger Menschen auf das 5€-Banner geklickt, waren es nun 51%. Auch die Steigerung der Spendenrate fällt geringer aus (+64% vs. +26%). Unklar ist allerdings die Ursache für diese Unterschiede: handelt es sich um einen zeitlichen Abnutzungseffekt oder liegt die Begründung im Unterschied Fakten-/Aufrufsbanner.

Im zweiten Test (65) prüften wir erneut die Wirkung der Sticky-Funktion. Auch hier gleichen sich die Ergebnisse in der Grundaussage, aber nicht in konkreten Zahlen. Sicher ist, dass die Sticky-Funktion zu einer Verringerung der Klicks und zu einer beträchtlichen Steigerung der Spendenrate führt (Test 26: +128%, Test 65: +68%).

Test 64, Mittwoch, 26.12., 13:30 - 15:45 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher
5€_Cueppers	5F	699000	7289	310	227	4424.60	19.49	0.010428	0.04253	0.0003247	0.03114	0.73226
pA_Cueppers	5F	670600	14355	227	173	4060.00	23.47	0.021406	0.01581	0.0002580	0.01205	0.76211

Spende/Imp: p-value = 0.02225

Test 65, Mittwoch, 26.12., 15:45 - Donnerstag, 27.12., 14:45 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher
sticky	5F	4952600	98570	1853	1388	35532.50	25.60	0.019903	0.01880	0.0002803	0.01408	0.74906
non-sticky	5F	5669000	45621	1305	947	26481.50	27.96	0.008047	0.02861	0.0001670	0.02076	0.72567

Spende/Imp: p-value < 2.2e-16

--Tobias Schumann (WMDE) (Diskussion) 11:29, 28. Mai 2013 (CEST)[Beantworten]

Wikipedia:Fundraiser 2012/Tests

Informationen rund um den Fundraiser

Warum wird getestet?

Wie wird getestet?

Wann wird getestet?

Aktuelle Testergebnisse

Test 1: Mehr als Tausend Worte?

Test 2: Spenden-Summen

Test 3: Näher dran am Leser

Test 4: Geheimnis Grün

Test 5: Jimmy und die Fakten

Test 6: neue Aufrufe: Wikipedia aus verschiedenen Perspektiven

Test 7: Formulierung Fakten-Banner

Test 8: Layout Formular und Spendenseiten

Test 9: Spendenaufforderungen

Test 10: Formulierung Banner II

Test 11: Spendenaufforderungen

Test 12: Bannerlayout: Schriftdicke

Test 13: Formulierung Fakten-Banner III (Google/Yahoo/FB)

Test 14 und Test 15: Bannerfarbe & Aufrufslänge

Test 16: Aufrufe im Banner

Test 17: Jimmy's Aufruf vs. Fakten-Banner

Test 18: Layout Jimmy Banner

Test 19 und Test 20: Integration Fakten-Banner auf Spendenseite

Test 21: neue Aufrufe

Test 22, 23 und 24: Gelbe Version des Faktenbanners

Test 25, 26 & 27: neues Design Fakten-Banner

Test 28: Aufrufe im Fakten-Banner: Jimmy, Gunther, Till

Test 29 & 30: Wer spricht da?

Test 31: Text Faktenbanner: Liebe Leser

Test 32: Scroll-Down-Button

Test 33: Sicherheits-Hinweis

Test 34, 35 & 37: Formulierungen + Sprecher Aufrufstext

Test 36 & 43: Sticky-Funktionstest

Test 38 & 42: Formulierung Text Faktenbanner

Test 39: Blauer Link im Banner

Test 40 & 41: Aufruf Harald Krichel: Text + Foto

Test 44 & 50: Banner Layouts persönliche Aufrufe

Test 45 & 52 : Fundraising-Video im Fakten-Banner

Test 46, 47, 48 & 49: Faktenbanner vs. Videobanner

Test 51: persönliche Aufrufe von Wikipedia-Autoren

Test 53 & 54: das 5€-Banner

Test 55 & 56: Bannerlayout Aufruf Dr. Cueppers

Test 57: neue persönliche Aufrufe

Test 58: Faktenbanner Pavel vs. Dr. Cueppers

Test 59: Layout Persönlicher Aufruf: Integration Fakten

Test 60: neue persönliche Aufrufe

Test 61 & 62: pA-Banner: Dr. Cueppers, Dirk Franke & Jens Ohlig

Test 63: 5€-Banner - Dr.Cueppers vs. Dirk Franke

Test 64 & 65: Aufruf Dr.Cueppers: 5€-Banner, Aufrufs-Banner & Non-Sticky