Bei der Gestaltung und Durchführung der jährlichen Spendenkampagne für Wikipedia und Freies Wissen stellen Kampagnentests einen wichtigen Grundpfeiler dar. Mit Hilfe von Bannern und Spendenaufrufen versuchen wir möglichst viele Leser von einer Unterstützung zu überzeugen. Grüne, gelbe oder blaue Banner, Aufrufe als Text oder Video, mit kurzen oder langen Botschaften - die Möglichkeiten der Kampagnengestaltung sind vielfältig. Es bedarf daher einer verlässlichen Orientierungshilfe, die sicher stellt, dass man auf dem richtigen Weg ist. Das Testen der Kampagnenelemente ist hierbei unser Kompass. Es ist die wichtigste Entscheidungsgrundlage für die Auswahl von Bannern und des Designs der Spendenseiten.

Auf dieser Portalseite veröffentlichen wir unsere Testergebnisse. Wenn ihr also wissen wollt, warum die aktuellen Banner so aussehen wie sie aussehen oder warum die Spendenseite dieses und nicht jenes Layout hat, seid ihr hier genau richtig. Ihr seid natürlich herzlich dazu eingeladen, auf der Diskussionseite Testergebnisse zu diskutieren. Natürlich könnt ihr auch eigene Testideen vorschlagen.


Wie wird getestet?

Anders als die meisten anderen gemeinnützigen Organisationen können wir die Elemente unserer Kampagnen aufgrund des hohen Besucheraufkommens umfassend und valide testen. Dazu führen wir A/B-Tests durch, bei denen zwei oder mehr Versionen eines Banners oder einer Spendenseite gleichzeitig geschaltet werden und für jeweils eine Hälfte der Nutzer sichtbar sind. Anhand verschiedener Kennzahlen können wir anschließend evaluieren, welche Version erfolgreicher war. Mithilfe eines statistischen Signifikanztests (i.d.R. Chi-Quadrat-Test) prüfen wir, ob wir dem Ergebnis vertrauen können.

Als eingeloggter Nutzer wird man von den Kampagnentests nichts merken, da wir die Banner nur nicht angemeldeten Lesern zeigen. Zudem werden wir in diesem Jahr die Sichtbarkeit der Tests zusätzlich einschränken und einige Bannertests nur auf 1% bis 5% der in Wikipedia geladenen Seiten schalten. Um eine genügend große Stichprobe zu erhalten, müssen die Tests dadurch über einen längeren Zeitraum laufen. Ein wichtiger Vorteil dieser Methode besteht darin die Repräsentativität des Samples zu erhöhen, da nun Nutzer aus unterschiedlichen Uhrzeiten und Wochentagen einfließen.


Wann wird getestet?

Zur Vorbereitung der Spendenkampagne werden wir ab August regelmäßig Tests durchführen. Auf unserer Portalseite werden wir die Tests in der Regel ankündigen.



Testergebnisse de.wp.org

Bearbeiten

Test 1: Faktenbanner: Aufruf im Dropdown

Bearbeiten

Montag, 5.8. 2013, 11:00 bis Freitag, 9.8. 2013, 10:00

An den Beginn unserer Testreihe zur Vorbereitung der Spendenkampagne stellten wir eine konzeptionelle Fragestellung. Im letzten Jahr konnten wir sehen, dass beim Faktenbanner eine Änderung der Inhalte nach dem Aufklappen des Dropdowns kaum Einfluss auf das Spendenverhalten hatte. Auch die WMF verzichtete auf zusätzliche Inhalte im Dropdown. Daher testeten wir zwei Versionen des Faktenbanners. In der einen Variante wurde der Aufruf von Dr. Cueppers angezeigt, in der zweiten war nur noch das nun in der Mitte zentrierte Spendenformular zu sehen. Das Testergebnis steht in Kontinuität mit den Erkenntnissen des letzten Jahres. Mit oder ohne Aufrufe - beim Faktenbanner macht dies kaum einen Unterschied. Beide Varianten liefen nahezu auf dem selben Niveau.

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
mit_Aufruf 5F 1082000 18500 1113 828 14190.77 17.14 0.017098 0.001029 0.06016 0.0007652 0.04476 0.74394 0.0131153 19.34
nur_Form 5F 1055500 18485 1184 865 14185.39 16.40 0.017513 0.001122 0.06405 0.0008195 0.04679 0.73057 0.0134395 18.31
  • Spende/Klick: +4,55% (p-value = 0.3704)


Test 2: Faktenbanner: Fakten- vs. 5€-Banner

Bearbeiten

Dienstag, 27.8.2013, 16:15 - Donnerstag, 29.8.2013, 19:00 (1% der WP-Seitenladungen)

Weniger ist manchmal mehr - das erfolgreichste Banner im letzten Jahr zeigte lediglich einen einzigen Satz: den wirkungsstarken "5€-Spruch". Unsicher waren wir uns allerdings, ob dieser Erfolg darauf basierte, dass wir das Banner zum Ende der Kampagne schalteten. Viele Leser hatten zuvor vermutlich das Faktenbanner gelesen und kannten wesentliche Informationen bereits. In diesem Jahr war es daher für uns wichtig gleich zu Beginn der Kampagnentests die Wirkung des 5€-Banners zu prüfen. An den Ergebnissen können wir nun sehen, dass für den Erfolg des Banners der Zeitpunkt der Kampagne keine Rolle zu spielen scheint. Mit 45% Steigerung der Spendenrate (Spende/Imp) stellt sich wie zuvor das 5€-Banner als viel erfolgreicher als das Faktenbanner dar. Bei einem genauen Blick lassen sich jedoch Unterschiede zu den Tests im letzten Jahr feststellen: Die aktuelle Steigerung beruht wesentlich auf einer enorm erhöhten Klickrate, im Gegensatz zu 2012, wo weniger Menschen zum Klicken bewegt werden konnten, von denen jedoch ein viel höherer Anteil spendete - eine gänzlich andere Wirkungsweise, die eventuell auf den Kampagnenzeitpunkt zurückzuführen ist.

Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Faktenbanner 379600 9725 493 418 7668.52 18.35 0.025619 0.001299 0.05069 0.0011012 0.04298 0.84787 0.0202016 15.06
5€-Banner 378300 15576 698 604 9250.32 15.32 0.041174 0.001845 0.04481 0.0015966 0.03878 0.86533 0.0244523 20.67
  • Klick-Rate: p-value < 2.2e-16; Spende/Imp: p-value = 4.382e-09; Spende/Klick: p-value = 0.1127


--Tobias Schumann (WMDE) (Diskussion) 14:48, 3. Sep. 2013 (CEST)[Beantworten]


Test 3: Liebe Leserinnen und Leser

Bearbeiten

Mittwoch, 4.9., 12:00 - Samstag, 7.9., 14:00

Im letzten Jahr konnten wir sehen, wie wirksam die direkte Ansprache der Leser im Banner ist. Im aktuellen Test wollten wir herausfinden, ob die regelmäßig niedrige Quote weiblicher Spender - und damit die gesamte Spendenquote - im Rahmen der Ansprache gesteigert werden kann. Wir verglichen daher "Liebe Leser" mit "Liebe Leserinnen und Leser". Leider wirkt sich, wie die Testergebnisse zeigen, die geänderte Ansprache nicht positiv aus.

Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Leser 1448000 19912 963 852 16496.29 19.36 0.013751 0.000665 0.04836 0.0005884 0.04279 0.88474 0.0113925 20.24
Leserinnen und Leser 1452000 19784 1097 886 18534.21 20.92 0.013625 0.000756 0.05545 0.0006102 0.04478 0.80766 0.0127646 21.76
  • Spende/Imp: p-value = 0.4486

--Tobias Schumann (WMDE) (Diskussion) 14:13, 12. Sep. 2013 (CEST)[Beantworten]


Test 4: 5€-Banner: Aufruf im Dropdown

Bearbeiten

Mittwoch, 11.9., 11:45 - Montag, 16.9., 11:30

Wie bereits im ersten Test diesen Jahres prüften wir hier die Wirkung eines persönlichen Aufrufs. Diesmal wollten wir sehen, welchen Effekt der Aufruf von Dr. Cueppers in Kombination mit dem 5€-Banner hat. Erneut mussten wir feststellen, dass es praktisch keinen Unterschied für das Spendenverhalten macht, ob ein Aufruf nach dem Aufklappen des Banners angezeigt wird oder nicht.

Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
mit_Aufruf 1435400 12427 770 632 9813.79 15.53 0.008658 0.000536 0.06196 0.0004403 0.05086 0.82078 0.0068370 18.31
kein_Aufruf 1460500 12299 776 636 9345.00 14.69 0.008421 0.000531 0.06309 0.0004355 0.05171 0.81959 0.0063985 16.73
  • Spende/Klick: +1,7% (p-value = 0.7607)


Test 5: Größe Spendenbutton

Bearbeiten

Donnerstag, 19.9., 14:00 - Dienstag, 24.9., 11:00 Uhr

In den kommenden Wochen werden wir uns verstärkt mit dem Bezahlprozess der Spendenseite beschäftigen und unter anderem verstärkt am Layout des Spendenformulars arbeiten. Als einen ersten Schritt testeten wir diese Mal vier verschiedene Größen des Spendenbuttons im Formular. Laut den Ergebnissen unseres Tests wirkt sich dies nicht auf die Spendenrate aus.


Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ctrl 1178200 14922 789 667 12969.00 19.44 0.012665 0.000670 0.05287 0.0005661 0.04470 0.84537 0.0110075 22.12
groß 1183200 15215 811 675 13449.48 19.93 0.012859 0.000685 0.05330 0.0005705 0.04436 0.83231 0.0113670 22.73
größer 1188200 14854 803 675 12896.59 19.11 0.012501 0.000676 0.05406 0.0005681 0.04544 0.84060 0.0108539 22.39
am größten 1175600 15031 806 674 12664.31 18.79 0.012786 0.000686 0.05362 0.0005733 0.04484 0.83623 0.0107726 25.90


Test 6: Rollo-Funktion

Bearbeiten

Donnerstag, 26.9., 12:00 - Samstag, 28.9., 0:00 Uhr

Aus der Evaluation der Tests des letzten Jahres wissen wir, dass es einer der wichtigsten Erfolgsfaktoren ist, die Aufmerksamkeit der Leser zu erreichen. Entsprechende Änderungen des Bannerlayouts waren häufig erfolgreich. Mit dem aktuellen Test gingen wir in diesem Bereich neue Wege und prüften die Wirkung eines Banners, dass nach dem Laden der Webseite ähnlich eines Rollo in seine Position heruntergleitet. Die Ergebnisse bestätigen unsere These: Die Klick-Rate konnte wesentlich gesteigert werden, so dass auch insgesamt die Spenden-Rate steigt - und das um ganze 22%!


Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Ctrl 848500 31211 1011 841 16243.62 19.31 0.036784 0.001192 0.03239 0.0009912 0.02695 0.83185 0.0191439 23.85
Rollo 817500 35920 1175 988 19383.55 19.62 0.043939 0.001437 0.03271 0.0012086 0.02751 0.84085 0.0237108 21.71
  • Klick Rate: +15,1% (p-Wert < 2.2e-16)
  • Spende/Imp: +21,9% (p-Wert = 2.275e-05)


Test 7, 8 und 9: kleiner Beitrag, 1€, 5€ oder 10€?

Bearbeiten

Im Oktober konzentrierten wir uns auf eine kleine Variation mit großer Wirkung. Unser aktuell erfolgreichstes Banner enthält lediglich den einen Satz: "Wenn jeder 5€ spenden würde,...". Schon aus dem letzten Jahr wissen wir, dass eine Veränderung des Betrags Auswirkung auf die Spendenbereitschaft der Leser hat. Nun prüften wir, welchen Unterschied es macht, wenn man den Satz mit 1€, 10€ oder einem "kleinen Beitrag" variiert. Im Hintergrund steht dabei die Überlegung, dass mit einem kleineren Beitrag die Hürde zu spenden deutlich gesenkt wird. Andererseits verändert sich einhergehend der Spendendurchschnitt. Dies ist an den Testergebnissen deutlich zu sehen: Je höher der genannte Betrag, desto höher der Spendendurchschnitt. Am höchsten ist der Wert bei der offenen Formulierung vom "kleinen Beitrag." Aber auch die Spendenrate verändert sich je nach genannter Spendenhöhe stark. Mit der "1€"-Variante können sogar so viele Menschen von einer Spende überzeugt werden, dass der Nachteil des niedrigen Durchschnitts wettgemacht werden kann. In unserem Fall heißt es also: "Masse statt Klasse".


Test 7, Dienstag, 1.10., 16:30 - Montag, 7.10., 18:00 Uhr

Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
5€ 2953100 20813 1413 1202 21055.43 17.52 0.007048 0.000478 0.06789 0.0004070 0.05775 0.85067 0.0071299 18.78
kl.Beitrag 2932200 22060 1052 832 16914.83 20.33 0.007523 0.000359 0.04769 0.0002837 0.03772 0.79087 0.0057686 21.38


Test 8, Freitag, 18.10., 12:15 - Dienstag, 22.10., 16:00 Uhr

Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
5€ 2182600 15738 1030 823 12660.66 15.38 0.007211 0.000472 0.06545 0.0003771 0.05229 0.79903 0.0058007 20.18
1€ 2210700 18132 1438 1168 15061.13 12.89 0.008202 0.000650 0.07931 0.0005283 0.06442 0.81224 0.0068128 21.44


Test 9, Mittwoch, 23.10., 12:00 - Dienstag, 29.10., 11:00 Uhr

Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
1€ 3203800 23320 1801 1403 18152.33 12.94 0.007279 0.000562 0.07723 0.0004379 0.06016 0.77901 0.0056659 20.81
10€ 3262600 21032 1135 880 16387.12 18.62 0.006446 0.000348 0.05397 0.0002697 0.04184 0.77533 0.0050227 21.55

--Tobias Schumann (WMDE) (Diskussion) 10:48, 4. Nov. 2013 (CET)[Beantworten]


Test 10 und 11: Formular im Banner

Bearbeiten

Von den Tests der WMF wissen wir, dass ein Formular direkt im Banner ein großes Potential darstellt. Hier nun prüften wir dies in unseren Bannern. Und: Tatsächlich führt das neue Bannerkonzept zu einer enormen Steigerung der Spendenrate. Im ersten Test versuchten wir den Effekt der Integration des Formulars möglichst isoliert zu betrachten und passten unser Faktenbanner (mit Drop) dem Formularbanner graphisch stark an. Erwartungsgemäß sankt die Klick-Rate enorm. Doch die Spendenrate wurde um ganze 98% gesteigert. Im zweiten Test ließen wir dann das Formularbanner gegen unser aktuell bestes Banner laufen. Auch hier kam es zu einer immer noch 79%igen Steigerung der Spendenanzahl pro Impression.


Test 10 Donnerstag 30.10., 14:00 - Freitag 01.11., 14:30 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ohne_Formular_mod 5F 1034000 10862 663 513 9733.50 18.97 0.010505 0.000641 0.06104 0.0004961 0.04723 0.77376 0.0094134 23.04
mit_Formular 5F 1023700 0 1904 1006 18746.33 18.63 0.000000 0.001860 0.00000 0.0009827 0.00000 0.52836 0.0183123 14.56


Test 11

Freitag 01.11. 14:30 - Dienstag 05.11. 16:00 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ohne_Formular_1€ 5F 2276500 17836 1466 1131 14962.16 13.23 0.007835 0.000644 0.08219 0.0004968 0.06341 0.77149 0.0065724 19.41
mit_Formular 5F 2276400 0 4515 2027 38018.39 18.76 0.000000 0.001983 0.00000 0.0008904 0.00000 0.44895 0.0167011 20.66
  • Signifikanz Anz/Imp: p=2,80648183729183E-57 (Chi-Quadrat)


Test 12: Rollo-Effekt II

Bearbeiten

Freitag 08.11., 11:30 - 18:20 Uhr

Bei diesem Test handelt es sich im Prinzip um eine Wiederholung von Test 6, bei dem wir die Rollo-Funktion prüften. Sicherheitshalber wollten wir aber sehen, ob diese Form der Bannerdarstellung beim neuen Bannerkonzept mit integriertem Formular die selbe Wirkung erzielt. In der Tat scheint das Banner so eine höhere Aufmerksamkeit zu erhalten, denn wie in Test 6 erhöht sich die Klick-Rate (+17%, Test6: +19%). In der Folge konnte so auch die Spendenrate (Anz/Imp) um 12% gesteigert werden.


Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ohne_Rollo 5F 2396200 0 6640 3163 57011.12 18.02 0.000000 0.002771 0.00000 0.0013200 0.00000 0.47636 0.0237923 23.18
mit_Rollo 5F 2368200 0 7697 3485 65047.40 18.66 0.000000 0.003250 0.00000 0.0014716 0.00000 0.45277 0.0274670 24.92
  • Signifikanz Anz/Imp: Chi-Quadrat p=0,00000936


Bearbeiten

Montag 11.11., 12:45 - 20:00 Uhr

Um den wichtigen Satz "Wenn jeder..." stärker hervorzuheben, griffen wir hier auf eine Gestaltungsmöglichkeit zurück, die sich im letzten Jahr bewährt hatte: die blaue Formatierung als Link. In Test 39 konnten wir sehen, wie sich zwar die Klick-Rate nicht veränderte, jedoch ein größerer Teil der Klickenden für eine Spende entschied. Wir folgerten, dass der Bannertext durch die optische Hervorhebung dieses zentralen Satzes insgesamt überzeugender wirkte. In unserem aktuellen Test kommen wir jedoch zu einem völlig unterschiedlichen Ergebnis: starke Steigerung der Klick-Rate aber enorme Senkung der Spende/Besuch auf der Landing Page, so dass insgesamt die Spendenrate gleich bleibt. Es sieht also so aus, als ob die Link-Formatierung in der aktuellen Bannerkonstellation (kein Drop, kein persönlicher Aufruf) ein Interesse erzeugt, dass nach dem Klick nicht befriedigt werden kann und daher zu einem Abbruch führt. In der Überarbeitung der Landing Page sehen wir daher noch viel Potenzial, jene Abbrecher zu überzeugen.


Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
no_link 5F 1043100 0 3189 1326 22973.51 17.33 0.000000 0.003057 0.00000 0.0012712 0.00000 0.41580 0.0220243 23.43
link 5F 1052400 0 4788 1332 24933.00 18.72 0.000000 0.004550 0.00000 0.0012657 0.00000 0.27820 0.0236916 24.69

--Tobias Schumann (WMDE) (Diskussion) 14:54, 15. Nov. 2013 (CET)[Beantworten]


Update: Aufgrund der Ergebnisse von Test 13 vermuteten wir, dass Menschen, die auf einen zusätzlichen Link im Formularbanner klicken, mehr Informationen suchen. Da wir nicht wissen, was sie interessieren könnte, testeten wir dies hier mit einer Spendenseite mit dem Spendenaufruf von Jimmy. Diese sahen nur diejenigen, die auf den Link klickten. Die Anderen sahen dagegen die Standard-Spendenseite, welche keinen Aufruf enthält. Am Ergebnis änderte dies aber nichts. Wie auch in Test 13 ging eine Erhöhung der Klickrate mit einer komplementären Senkung der Konversion auf der Spendenseite einher, so dass es insgesamt keine Änderung bei der Spendenrate gab. Sollte es ein Informationsbedürfnis geben, so konnten wir es mit dem Spendenaufruf von Jimmy nicht befriedigen.


Test 18, Dienstag 19.11., 20:00 - Donnerstag 21.11., 12:00 Uhr

Banner Landing
Page
Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ohne_Link 5F 6599600 10053 4730 97075.61 20.52 0.001523 0.0007167 0.47051 0.0147093 29.43
mit_Link 5F&Jimmy 6616800 11805 4793 94320.97 19.68 0.001784 0.0007244 0.40601 0.0142548 28.97
  • Chi-Quadrat-Test Besuch/Imp: p = 0,000000
  • Chi-Quadrat-Test Anzahl/Besuch: p = 0,000000
  • Chi-Quadrat-Test Anzahl/Imp: p = 0,60391893





Test 14: Formularbanner: Fakten vs. 1€

Bearbeiten

Dienstag 12.11., 17:45 - Mittwoch 13.11., 10:45 Uhr

Aus Test 2 wissen wir, dass die Reduzierung des Bannertextes auf den "Wenn jeder..."-Satz sehr erfolgreich sein kann. Daher lag es nahe, dies auch bei dem aktuellen Formularbanner zu versuchen. Allerdings wurde in Test 2 nach dem Klick im Dropbanner, also noch vor dem Aschluss der Spende, der wichtige Faktentext angezeigt. Anhand der aktuellen Testergebnisse sehen wir, dass dies ein entscheidender Faktor war. Denn im Formularbanner führt die Reduzierung des Faktentextes auf den "Wenn jeder"-Satz zu einer starken Verringerung des Erfolgs: Die Spendenrate sinkt um rund 30%. Kombiniert mit einem geringeren Spendendurchschnitt sinkt der Erfolg des Banner sogar noch stärker.

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Fakten 5F 1195100 0 3835 1680 30328.84 18.05 0.000000 0.003209 0.00000 0.0014057 0.00000 0.43807 0.0253777 23.11
1€ 5F 1202200 0 3094 1190 14973.45 12.58 0.000000 0.002574 0.00000 0.0009899 0.00000 0.38462 0.0124550 19.26
  • Signifikanz Anzahl/Imp: p = 1,26892988247306E-20 (Chi-Quadrat)

--Tobias Schumann (WMDE) (Diskussion) 15:22, 18. Nov. 2013 (CET)[Beantworten]


Test 15, 16, 28, 30, 53: Textarbeit Faktentext

Bearbeiten

Während der Kampagne arbeiteten wir mehrmals am Text des Faktenaufrufs. Zunächst versuchten wir eine neue Variante des Faktentextes, orientiert am aktuellen Text der WMF (Test 15). Dieser längere Text ist tatsächlich erfolgreicher und konnte im Test die Spendenrate (Anzahl/Imp) um rund 20% steigern.

In Test 16 gingen wir wieder einmal der Frage nach, welcher Betrag in der Spendenaufforderung genannt werden soll. Zwar bestätigte sich erneut das Prinzip, dass bei "1€" mehr Menschen mit einer kleineren Durchschnittsspende spenden als bei "kleiner Beitrag". Doch in Kombination mit dem Faktentext verändert sich das Verhältnis von Spendenanzahl und Spendenhöhe und die geringere Durchschnittsspende scheint stärker ins Gewicht zu fallen. Daher schnitt überraschender Weise insgesamt die Variante mit dem "kleinen Betrag" besser ab.

Um den recht langen Text etwas zu verkürzen, strichen wir in Test 28 mehrere Sätze rund um den Vergleich von Wikipedia mit einer Bibliothek und einem öffentlichen Park. Dabei gingen wir von der Annahme aus, dass eine kürzerer Text eine höhere Wahrscheinlichkeit erzeugt, gelesen zu werden. Tatsächlich lief die gekürzte Variante im Test jedoch um wenige Prozent schlechter bei der Spendenrate (-2,7%).

In Test 30 erweiterten wir dagegen den Bannertext um einige, erfahrungsgemäß überzeugende Aspekte (keine Gebühren, kein kommerzielles Interesse, Selbstverständlichkeit im Alltag). Die Änderungen wirkten sich zwar positiv aus (+2,7%), jedoch in einem so geringen Umfang, dass die Ergebnisse nicht statistisch signifkant waren.

Je konkreter und auf einen bestimmten Anlass bezogen eine Ansprache ist, desto eher ist sie überzeugend. An Weihnachten testeten wir daher einen Bannertext, der das akutelle Datum direkt anspricht und baten die Leser "an diesem Weihnachtstag" etwas zurückzugeben (Test 53). Mit einer Steigerung der Spendenrate um 13% war diese Verortung im Jetzt sehr erfolgreich. Für die nächste Spendenkampagne ist das Ergebnis sehr lehrreich, da sich viele Möglichkeiten denken lassen, anlassbezogen zu kommunizieren.


Test 15, Freitag 15.11., 10:00 - 14:00 Uhr

Banner Landing
Page
Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Ctrl 5F 1273900 1452 701 12162.50 17.35 0.001140 0.0005503 0.48278 0.0095475 24.50
Text_neu 5F 1282800 1667 866 18364.49 21.21 0.001300 0.0006751 0.51950 0.0143159 25.40

Chi-Quadrat Anzahl/Imp: p = 0,00005538


Test 16, Freitag 15.11., 17:00 - Sonntag 17.11., 18:30 Uhr

Banner Landing
Page
Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
kl.Beitrag 5F 8055800 19299 10180 207503.16 20.38 0.002396 0.0012637 0.52749 0.0257582 24.50
1€ 5F 8065800 21927 11807 194619.86 16.48 0.002719 0.0014638 0.53847 0.0241290 23.96

Chi-Quadrat Anzahl/Imp: p = 0,00000000


Test 28, Montag 02.12., 13:15 - Dienstag 03.12., 13:15 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ctrl 4182300 5391 2696 49653.99 18.42 0.001289 0.0006446 0.50009 0.0118724 29.08
kein_Park 4228700 5481 2652 49195.98 18.55 0.001296 0.0006271 0.48385 0.0116338 30.48

Chi-Quadrat Anzahl/Imp: p = 0,314689


Test 30, Donnerstag 05.12., 12:00 - Freitag 06.12., 18:30

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Text_Ctrl 5221100 6015 2876 54755.30 19.04 0.001152 0.0005508 0.47814 0.0104873 28.41
Text_Var 5169400 6160 2925 57276.78 19.58 0.001192 0.0005658 0.47484 0.0110800 29.26

Chi-Quadrat Anzahl/Imp: p = 0,3065


Test 53, Dienstag 24.12., 00:00 - Mittwoch 25.12., 10:00 Uhr

Banner Impressions LP-
Besucher
Spendenanzahl Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Ctrl 2042900 4126 2156 45632.07 21.17 0.002020 0.0010554 0.52254 0.0223369 19.59
Weihnachtshinweis 2041600 4395 2439 51387.08 21.07 0.002153 0.0011947 0.55495 0.0251700 19.58

Chi-Quadrat Anzahl/Imp: p = 0,00003123



Test 17, 19, 20, 23, 41, 44, 55, 56: zeitverzögerte Banneranzeige

Bearbeiten

Mit dieser umfassenden Testreihe schauten wir uns die Wirkung einer zeitverzögerten Banneranzeige auf die Spendenrate gründlich an. Die Idee dahinter: Mit unserer Bannerkommunikation unterbrechen wir den Leser in seiner Suche nach Information. Wäre es daher nicht viel besser, wenn das Banner angezeigt wird, nachdem der Leser gefunden hat, wonach er sucht? Ohne Störung bei der Recherche und mit befriedigtem Informationsbedürfniss wäre der Leser vermutlich eher bereit unsere Botschaft zu lesen. So einleuchtend das klingt, so schwierig ist die Umsetzung dieser Idee. Denn mit unterschiedlichen Informationsinteressen geht eine unterschiedliche Lesedauer einher. Auch schwankt die durchschnittliche Verweildauer aller Wikipedia-Leser vermutlich je nach Tageszeit und Wochentag. Letztlich blieb uns also nicht anderes übrig als - der Methode trial and error folgend - verschieden lang andauernde Verzögerungen zu testen. Insgesamt 8 mal wendeten wir uns diesem Element der Kampagnengestaltung zu und können nun mit großer Sicherheit sagen: Eine Zeitverzögerung zwischen 7,5 und 15 Sekunden führt in der Tat zu einer Steigerung der Spendenrate.

Die verschiedenen Intervalle, die wir testeten, betrugen 60, 30, 15 und 7,5 Sekunden. Laut den Ergebnissen sieht es so aus, als ob die Klick Rate um so stärker sinkt, je später das Banner angezeigt wird. Andererseits steigt die Konversion auf der Spendenseite mit der Zeitverzögerung, wobei dieser Effekt offenbar bei 15 Sekunden stagniert. Mit einer Zeitverzögerung sehen also vermutlich weniger Menschen das Banner, aber der Anteil vom Spenden überzeugter Personen nimmt zu - entsprechend unserer Annahmen zur Wirkung des Zeipunkts der Banneranzeige. Dies wirkt sich auf die Spendenrate aus. Während eine längere Verzögerung der Banner nicht erfolgreich war, steigt die Spendenrate um bis zu 14% bei einer Verzögerung bis zu 15 Sekunden. Wegen der vermuteten Unterschiede der durchschnittlichen Verweildauer je nach Wochentag wiederholten wir die Tests zu unterschiedlichen Zeitpunkten und testeten auch die beiden Zeitintervalle von 7,5 und 15 Sekunden gegeneinander. Als Fazit der Testreihe stellt sich eine Verzögerung von 7,5 Sekunden als die beste Variante dar.


Test 17, Montag 18.11., 22:00 - Dienstag 19.11., 21:00 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
kein_Delay 3926400 6226 2873 58464.06 20.35 0.001586 0.0007317 0.46145 0.0148900 28.76
30_Sek. 4006000 6018 3090 61968.11 20.05 0.001502 0.0007713 0.51346 0.0154688 29.14
  • Chi-Quadrat-Test Besuch/Imp: p = 0,002766
  • Chi-Quadrat-Test Anzahl/Besuch: p = 0
  • Chi-Quadrat-Test Anzahl/Imp: p = 0,041739


Test 19, Freitag 22.11., 12:45 - 18:30 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
kein_Delay 1322800 1687 748 15063.53 20.14 0.001275 0.0005655 0.44339 0.0113876 25.33
60_Sek. 1399000 1308 643 13453.00 20.92 0.000935 0.0004596 0.49159 0.0096162 28.30
  • Chi-Quadrat-Test Besuch/Imp: p = 0,000000
  • Chi-Quadrat-Test Anzahl/Besuch: p = 0,008710
  • Chi-Quadrat-Test Anzahl/Imp: p = 0,000112


Test 20, Freitag 22.11., 18:30 - Sonntag 24.11., 14:00 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
kein_Delay 5090000 8329 4088 83313.43 20.38 0.001636 0.0008031 0.49082 0.0163681 25.05
15_Sek. 4990400 8549 4570 90724.19 19.85 0.001713 0.0009158 0.53457 0.0181797 24.90
  • Chi-Quadrat-Test Besuch/Imp: p = 0,002885
  • Chi-Quadrat-Test Anzahl/Besuch: p = 0,000000
  • Chi-Quadrat-Test Anzahl/Imp: p = 0,000000


Test 23, Donnerstag 28.11., 20:00 Uhr - Freitag 29.11., 11:30 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
kein_Delay 1593500 1982 841 17522.50 20.84 0.001244 0.0005278 0.42432 0.0109962 27.12
15_Sek. 1602300 1961 964 20222.34 20.98 0.001224 0.0006016 0.49159 0.0126208 27.50
  • Chi-Quadrat-Test Besuch/Imp: p = 0,611696
  • Chi-Quadrat-Test Anzahl/Besuch: p = 0,000022
  • Chi-Quadrat-Test Anzahl/Imp: p = 0,005454


Test 41, Sonntag 15.12., 14:45 - Montag 16.12., 14:15 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
15_Sek. 3564200 4361 2062 43676.14 21.18 0.001224 0.0005785 0.47283 0.0122541 25.12
7,5_Sek. 3529100 4809 2233 45783.13 20.50 0.001363 0.0006327 0.46434 0.0129730 25.69
  • Chi-Quadrat-Test Besuch/Imp: p = 0,000000
  • Chi-Quadrat-Test Anzahl/Besuch: p = 0,415859
  • Chi-Quadrat-Test Anzahl/Imp: p = 0,003341


Test 44, Montag 16.12., 23:00 - Dienstag 17.12., 17:30

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
kein_Delay 2474800 2840 1157 24763.58 21.40 0.001148 0.0004675 0.40739 0.0100063 27.41
7,5_Sek. 2385900 2513 1106 22826.46 20.64 0.001053 0.0004636 0.44011 0.0095672 25.34
  • Chi-Quadrat-Test Besuch/Imp: p = 0,001727
  • Chi-Quadrat-Test Anzahl/Besuch: p = 0,015594
  • Chi-Quadrat-Test Anzahl/Imp: p = 0,839830


Test 55, Samstag 28.12., 15:45 - Sonntag 29.12., 19:00 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
kein_Delay 3356500 6884 3873 82483.04 21.30 0.002051 0.0011539 0.56261 0.0245741 23.45
7,5_Sek. 3318700 7114 4260 88047.13 20.67 0.002144 0.0012836 0.59882 0.0265306 23.98
  • Chi-Quadrat-Test Besuch/Imp: p = 0,008877
  • Chi-Quadrat-Test Anzahl/Besuch: p = 0,000014
  • Chi-Quadrat-Test Anzahl/Imp: p = 0,000002


Test 56, Sonntag 29.12., 19:00 - Montag 30.12., 24:00

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
15_Sek 3771900 6877 4290 90130.42 21.01 0.001823 0.0011374 0.62382 0.0238952 22.15
7,5_Sek 3761100 7304 4344 91444.13 21.05 0.001942 0.0011550 0.59474 0.0243131 21.55
  • Chi-Quadrat-Test Besuch/Imp: p = 0,000170
  • Chi-Quadrat-Test Anzahl/Besuch: p = 0,000391
  • Chi-Quadrat-Test Anzahl/Imp: p = 0,474747





Test 21, 31, 52: Neues Layout Spendenseite

Bearbeiten

Eine uns immer wieder beschäftigende Problematik ist die Abbrecherquote auf unserer Spendenseite. Bereits in der Herbstkampagne 2012 lag ein Schwerpunkt auf verschiedenen Anpassungen der Spendenseite mit dem Ziel die Abbrecherquote zu verändern. Auch in der aktuellen Kampagne mit dem Spendenformular im Banner kommt es auf der Spendenseite zu rund 50% Abbrechern, obwohl der Spendenprozess schon im Banner durch das Ausfüllen des Formulars beginnt und damit eine klare Spendenabsicht erkennbar wird.

In der Vorbereitung der diesjährigen Spendenkampagne haben wir uns eingehend mit den Prozessen von Online-Zahlungsabschlüssen beschäftigt und viele der diese begünstigenden Faktoren in eine komplette Neugestaltung der Spendenseite einfließen lassen. Zum Beispiel sollte das Design möglichst aufgeräumt und klar sein, der Zahlungsprozess möglichst mit positiven Reizen verstärkt werden (grüne Häkchen nach Ausfüllen) oder wichtige Informationen genau an der Stelle im Prozess angezeigt werden, wo das Bedürfnis nach ihnen entsteht. Zufrieden mit dem neuen Design prüften wir gespannt in mehreren Tests dessen Wirkung. Einem ersten Test mit leicht negativem Ergebnis (Test 21) konnte nicht vertraut werden, da sich herausstellte, dass es auf der neuen Spendenseite zu technischen Fehlern gekommen war. Der zweite Test beinhaltete im Banner ein der Spendenseite graphisch angelehntes Formular (T31). Dies führte zu überraschenden Ergebnissen: Einer 15%igen Senkung der Klickrate stand eine 13%ige Steigerung auf der Spendenseite gegenüber, so dass im Ergebnis beide Testgruppen hinsichtlich der Spendenrate etwa gleich gut liefen. Während die Erklärung für den Rückgang an Klicks im Dunkeln blieb, konnte dieser Test auch keine verlässliche Aussage über die Wirkung der neuen Spendenseite liefern. Erst ein dritter und vierter Test auf Wikipedia und Wikipedia.de über längere Zeiträume brachten am Ende die Gewissheit, dass die neu gestaltete Spendenseite die Abbrecherquote tatsächlich verringert. Allerdings fällt die Steigerung der Konversion auf der Spendenseite mit +6% und + 5% geringer aus, als wir uns erhofft hatten.


Test 21 , Mittwoch, 27.11., 14:00 - Donnerstag 28.11., 13:00 Uhr

Banner Landing
Page
Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ctrl Layout_alt 3513000 4036 1897 37924.00 19.99 0.001149 0.0005400 0.47002 0.0107953 29.05
ctrl Layout_neu 3484600 4040 1851 37210.64 20.10 0.001159 0.0005312 0.45817 0.0106786 26.81

Chi-Quadrat-Test Anzahl/Besuch: p = 0,285606


Test 31 , Freitag 06.12., 18:30 - Montag 09.12., 12:30 Uhr

Banner Landing
Page
Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Formular_alt Layout_alt 8482300 11442 5747 112457.79 19.57 0.001349 0.0006775 0.50227 0.0132579 26.39
Formular_neu Layout_neu 8314500 9501 5392 108190.45 20.06 0.001143 0.0006485 0.56752 0.0130123 25.41

Chi-Quadrat-Test Anzahl/Besuch: p = 0,000000


Test 52, Montag 23.12., 10:00 - Freitag 27.12., 13:15 Uhr

Banner Landing
Page
Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ctrl Layout_alt 6713400 13451 7437 157678.19 21.20 0.002004 0.0011078 0.55290 0.0234871 24.25
ctrl Layout 6773400 13080 7662 160878.99 21.00 0.001931 0.0011312 0.58578 0.0237516 18.56

Chi-Quadrat-Test Anzahl/Besuch: p = 0,00000006




Test 22, 34, 35, 40, 42: Formular im Banner <--> Fakten_Drop/Jimmy_Drop/5€_Drop

Bearbeiten

Zu Beginn der Kampagne hatten wir gesehen, dass die Integration des Formulars in das Banner zu einer enormen Steigerung der Spendenrate führt (siehe Tests 10 und 11). Wir konnten uns aber nicht sicher sein, dass dies über den gesamten Zeitlauf der Kampagne so bleiben würde. Beispielsweise könnte es sein, dass zu Beginn der Kampagne der Anteil an sehr spendenbereiten Lesern noch sehr hoch ist und diese positiv auf den verkürzten Spendenprozess reagieren. Im Laufe der Zeit hätten immer mehr dieser Menschen bereits gespendet und ein größerer Teil der Leser wünschte sich vielleicht mehr Informationen, würde also mit größerer Wahrscheinlichkeit auf ein Banner reagieren, dass mehr Informationen vor dem Abschluss der Spende vermittelt. Um also in Bezug auf die Wirksamkeit des Formularbanners sicher zu gehen, testeten wir es über den Verlauf der Spendenkampagne mehrmals gegen verschiedene Drop-Down-Banner. Diese zeigten entweder den Faktentext, den 5€-Satz oder den Jimmy-Aufruf. In den insgesamt fünf Tests schnitt das Formularbanner jedoch stets am erfolgreichsten ab. Nur in Test 35 konnte der Aufruf von Jimmy nahezu mithalten, auch wenn das Formularbanner im Vergleich die Spendenrate minimal um 1,9% steigerte.


Test 22 , Donnerstag 28.11., 13:00 - 20:00 Uhr

Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
FA_drop 1702100 16669 849 695 14382.10 20.69 0.009793 0.000499 0.05093 0.0004083 0.04169 0.81861 0.0084496 30.77
FA_Formular 1678600 0 1794 821 16807.50 20.47 0.000000 0.001069 0.00000 0.0004891 0.00000 0.45764 0.0100128 27.31

Chi-Quadrat Anzahl/Imp: p = 0,000452


Test 34 , Dienstag 10.12., 17:00 - Mittwoch 11.12., 10:00 Uhr

Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Fakten_Drop 2200900 20954 1302 1039 20584.55 19.81 0.009521 0.000592 0.06214 0.0004721 0.04958 0.79800 0.0093528 31.63
Fakten_Formular 2132200 0 2432 1140 23216.45 20.37 0.000000 0.001141 0.00000 0.0005347 0.00000 0.46875 0.0108885 31.32

Chi-Quadrat Anzahl/Imp: p = 0,003674


Test 35 Mittwoch 11.12., 12:30 - Mittwoch 11.12., 18:00 Uhr

Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
pA_Jimmy_Drop 1452200 35205 751 569 11637.00 20.45 0.024243 0.000517 0.02133 0.0003918 0.01616 0.75766 0.0080134 35.42
Fakten_Form 1420300 0 1349 567 11454.00 20.20 0.000000 0.000950 0.00000 0.0003992 0.00000 0.42031 0.0080645 30.40

Chi-Quadrat Anzahl/Imp: p = 0,752729


Test 40 , Freitag 13.12., 18:45 - Sonntag 15.12., 01:00 Uhr

Banner Impressions Banner
Klicks
LP-
Besucher
Spenden
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
5€_Drop_blau 4026900 70876 3517 2878 49334.77 17.14 0.017601 0.000873 0.04962 0.0007147 0.04061 0.81831 0.0122513 26.42
Fakten_Form 3263200 0 5113 2581 49811.50 19.30 0.000000 0.001567 0.00000 0.0007909 0.00000 0.50479 0.0152646 24.87

Chi-Quadrat-Test Anzahl/Imp: p = 0,000182


Test 42 , Montag 16.12., 14:15 - 23:00 Uhr

Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
5€_Drop 2257200 42680 1444 1128 20286.29 17.98 0.018908 0.000640 0.03383 0.0004997 0.02643 0.78116 0.0089874 24.95
Fakten_Formular 1926400 0 2379 1053 22332.01 21.21 0.000000 0.001235 0.00000 0.0005466 0.00000 0.44262 0.0115926 26.10

Chi-Quadrat-Test Anzahl/Imp: p = 0,036274




Test 24 und 38: Layout Banner: Hightlight von Text

Bearbeiten

In vielen Tests haben wir festgestellt, wie überzeugend der "Wenn jeder"-Satz Leser wirkt. Um ihn optisch hervorzuheben und so mehr Aufmerksamkeit auf ihn zu lenken, übernahmen wir von der WMF eine Layoutänderung des Banners: eine gelbe Highlight-Markierung ähnlich dem Strich eines Textmarkers. Die Hervorhebung war sehr erfolgreich: Die Spendenrate stieg um 46%! Daher wollten wir diesen Effekt in einem späteren Test nutzen und die mittlerweile im Banner integrierte Bankverbindung (siehe Test 29) hervorheben. Wir wissen durch Umfragen, dass viele Leser gerne spenden würden, aber Online-Zahlungen nicht vertrauen. Jedes Jahr schreiben uns hunderte Leser E-Mails, um unsere Bankverbindung zu erfragen, weswegen wir diese bereits direkt im Banner anzeigen. Dennoch gingen noch viele E-Mails bei uns ein, so dass wir uns für ein Hervorhebung der Bankverbindung entschieden. In Test 38 interessierte uns lediglich, ob die Hervorhebung einen negativen Effekt hat, aber die Spendenrate wird kaum beeinflusst.

Test 24 Freitag 29.11., 13:00 - 19:45 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ohne_Highlight 1320200 1461 733 15002.00 20.47 0.001107 0.0005552 0.50171 0.0113634 25.98
mit_Highlight 1288100 1894 1047 21336.95 20.38 0.001470 0.0008128 0.55280 0.0165647 24.62

Chi-Quadrat Anzahl/Imp: p = 0,00000000


Test 38, Donnerstag 12.12., 20:00 - Freitag 13.12., 14:30 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
kein_Highlight 2105300 3183 1510 29505.31 19.54 0.001512 0.0007172 0.47440 0.0140148 27.17
Highlight 2084700 2956 1403 26351.69 18.78 0.001418 0.0006730 0.47463 0.0126405 27.07

Chi-Quadrat Anzahl/Imp: p = 0,08583915




Test 25: Anrede in Großbuchstaben

Bearbeiten

Freitag 29.11., 19:45 - Samstag 30.11., 18:00 Uhr

Die direkte Ansparache des Lesers ist ein wichtiges Erfolgselement des Bannertextes. Um mehr Aufmerksamkeit darauf zu lenken, probierten wir hier eine Variante mit Großbuchstaben. Leider führte dies zu keiner Änderung der Spendenrate.

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Ctrl 2250500 3848 2130 39670.52 18.62 0.001710 0.0009465 0.55353 0.0176274 23.60
Typo_groß 2254300 3873 2137 40256.00 18.84 0.001718 0.0009480 0.55177 0.0178574 24.13

Chi-Quadrat Anzahl/Imp: p=0,95846222




Test 26, 27, 29: Hover-Element

Bearbeiten

Das Formularbanner bietet relativ wenig Informationen vor dem Ausfüllen des Spendenformulars, also der Entscheidung zu spenden. Aus der Annahme, dass für einige Spendeninteressierte jedoch bestimmte Informationen relevant sind, suchten wir nach einem Weg diese im Banner unterzubringen. So kamen wir auf den Gedanken einige wichtige Aspekte im Hoverelement - dem unteren Bereich des Banners, der erst erscheint, wenn man mit der Maus darüberfährt - unterzubringen. In der Testgruppe informierten wir dort nun zusätzlich zur Kontoverbindung über die steuerliche Absetzbarkeit, verlinkten Informationen zur Verwendung der Spendengelder und eine Kontakmöglichkeit sowie erweiterten die Zahlmöglichkeiten um die Unterstützung per SMS (Test 26). Dies führte tatsächlich zu einer gewissen Änderung des Verhaltens: einige Menschen klickten auf die zusätzlichen Informationsmöglichkeiten, so dass die Klickrate des Banners um rund 17% erhöht wurde. Doch von diesen Menschen spendete leider nur ein kleiner Teil. Daher führte die gesteigerte Klickrate nicht zu einer Erhöhung der Spendenrate.

Mit dem Ziel die Aufmerksamkeit stärker auf die Inhalte im Hoverelement zu lenken, änderten wir dessen Hintergrundfarbe in hellblau (Test 27). Dies führte aber zu keiner grundsätzlichen Änderung der Ergebnisse. Da der Farbwechsel praktisch keine Auswirkungen hatte, fragten wir uns nun, ob der Hover als graphisches Element überhaupt zu mehr Aufmerksamkeit führt. Wir hatten es immer als einen Faktor verstanden, der die Aufmerksamkeit für das gesamte Banner steigert. Also testeten wir in Test 29 Banner mit und ohne Hoverlement gegeneinander. Letzteres hat den Vorteil, dass die Bankverbindung für jeden Leser sichtbar ist, ohne dass mit der Maus über das Banner gefahren werden muss. Auch in diesem Test ergab sich keine Unterschied in der Spendenrate. Für den weiteren Verlauf der Kampagne wechselten wir auf Banner ohne Hoverelement mit der verbesserten Sichtbarkeit der Bankverbindung.


Test 26 , Samstag 30.11., 20:15 - Sonntag 01.12., 18:30 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Hover_Ctrl 2979400 4939 2699 50797.57 18.82 0.001658 0.0009059 0.54647 0.0170496 25.35
Hover_Var 2946200 4665 2525 49549.99 19.62 0.001583 0.0008570 0.54126 0.0168183 24.77
Info-Links - 1023 72 1472.01 20.44 0.00000 0.0000000 0.07038 0.0000000 27.42

Chi-Quadrat-Test Anzahl/Imp: p = 0,320062


Test 27 , Sonntag 01.12., 18:30 - Montag 02.12., 13:15 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Hover_Ctrl 2754100 3760 1901 37246.49 19.59 0.001365 0.0006902 0.50559 0.0135240 29.11
Hover_blau 2754900 3736 1873 35349.27 18.87 0.001356 0.0006799 0.50134 0.0128314 28.64
Info-Links - 460 27 1000.00 37.04 0.000000 0.0000000 0.05870 0.0000000 23.81

Chi-Quadrat-Test Anzahl/Imp: p = 0,992855


Test 29 , Mittwoch 04.12., 16:15 - Donnerstag 05.12., 12:00 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Ctrl_Hover 2808400 3491 1777 34244.78 19.27 0.001243 0.0006327 0.50902 0.0121937 29.84
Kto_keinHover 2786500 3541 1748 34222.71 19.58 0.001271 0.0006273 0.49365 0.0122816 29.72

Chi-Quadrat-Test Anzahl/Imp: p = 0,797848

--Tobias Schumann (WMDE) (Diskussion) 14:33, 20. Jan. 2014 (CET)[Beantworten]



Test 32: Sticky unten

Bearbeiten

Montag 09.12., 12:30 - Montag 09.12., 18:00 Uhr

Für das erfolgreiche Schalten von Bannern ist es notwendig die Aufmerksamkeit des Lesers zu erreichen. Da die Lektüre des Artikeltextes ein sich nach unten fortsetzender Prozess ist, konzentriert sich die Aufmerksamkeit des Leser vermutlich eher auf den unteren Bildschirmbereich. Eine Positionierung des Banners am unteren Bildschirmrand schien uns folglich sehr erfolgsversprechend. Dies prüften wir mit Test 32. Laut den Ergebnissen scheint jedoch eine Bannerdarstellung am oberen Bildschirmrand mehr Aufmerksamkeit zu erhalten. Mit der graphischen Verschiebung nach unten sank gleichsam die Klick-Rate um rund 12%. Insgesamt verringerte sich die Spendenrate um 10%.


Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
sticky_oben 1539100 1562 700 12760.50 18.23 0.001015 0.0004548 0.44814 0.0082909 30.45
sticky_unten 1428100 1277 585 10972.30 18.76 0.000894 0.0004096 0.45810 0.0076831 26.97
  • Chi-Quadrat-Test Besucher/Imp: p = 0,0007806
  • Chi-Quadrat-Test Anzahl/Imp: p = 0,061650





Test 33: Spenderkommentare auf Landing Page

Bearbeiten

Montag 09.12., 23:00 - Dienstag 10.12., 17:00 Uhr

Obwohl der Spendenprozess bereits im Banner durch das Ausfüllen des Formulars beginnt - und damit eine klare Spendenabsicht erkennbar wird -, schließen nur rund die Hälfte eine Spende tatsächlich ab. Die anderen fünfzig Prozent brechen den Prozess leider auf der Spendenseite ab. Nachdem eine vollständige Neugestaltung keine Verbesserung gebracht hatte, versuchten wir in diesem Test eine inhaltliche Änderung der Spendenseite: Wir integrierten eine Art Spendenticker mit den jeweils aktuellsten fünf Spenderkommentaren auf der Spendenseite. Dem Prinzip der Sozialen Bewährtheit folgend, erhofften wir durch das Anzeigen existierender Spender bei potentiellen Gebern Vertrauen zu schaffen und zudem mit den Kommentaren weitere Überzeugungsarbeit zu leisten. Leider stellte sich der Spendenticker im Test nicht als probates Mittel heraus. Die Spendenrate blieb praktisch unverändert.

Update: Ein parallel laufender, identischer Test auf wikipedia.de kommt zu dem gleichen Ergebnis.


Banner Landing
Page
Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ctrl ohne_Kommentare 2610300 2704 1179 22559.77 19.13 0.001036 0.0004517 0.43602 0.0086426 28.57
ctrl mit_Kommentaren 2552800 2709 1216 21889.62 18.00 0.001061 0.0004763 0.44887 0.0085747 31.27

Chi-Quadrat-Test Anzahl/Besuch: p = 0,193106



Test 36: Text und Layout Banner: kurz und groß

Bearbeiten

Mittwoch 11.12., 18:00 - Donnerstag 12.12., 12:30 Uhr

Hier testeten wir eine kürzere Variante des Faktentextes, die es erlaubt die Schriftgröße des Texts zu erhöhen. Diese einfache, von der WMF erprobte Änderung erhöhte die Spendenquote um 10%. Die Vermutung liegt nahe, dass die leichter lesbare Textmenge von mehr Menschen gelesen wird.


Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
text_ctrl 2221500 2648 1244 26283.42 21.13 0.001192 0.0005600 0.46979 0.0118314 28.56
text_kurz_bold 2195500 2889 1355 28422.00 20.98 0.001316 0.0006172 0.46902 0.0129456 28.44

Chi-Quadrat-Test Anzahl/Imp: p = 0,013206

--Tobias Schumann (WMDE) (Diskussion) 14:42, 20. Jan. 2014 (CET)[Beantworten]


Test 37 und 46: Bannerfarbe: gelb vs. blau

Bearbeiten

In den letzten Jahren führte eine Änderung der Bannerfarbe zum Teil zu starken Verbesserungen der Spendenraten, vermutlich aufgrund einer damit erzielten Aufmerksamkeitssteigerung. In der diesjährigen Kampagne erzielten wir mit Farbänderungen dagegen widersprüchliche Ergebnisse. Ein Test der Farben grün gegen gelb auf wikipedia.de ergab einen deutlichen positiven Effekt der Signalfarbe Gelb (Test 2: Spende/Imp +22%). Eine weitere Farbänderung - von gelb zu blau - evaluierten wir in mehreren Tests auf de.wikipedia.org und wikipedia.de. Während diese im ersten Test sehr erfolgreich war (Test 37: Spende/Imp +28%), brachte eine Testwiederholung lediglich eine Steigerung der Spendenrate von 3% (Test 46), also praktisch keinem Unterschied. Ein identischer Test auf wikipedia.de ergab ebenso keinen wirklichen Unterschied (Test 4: Spende/Imp: -3%). Unklar bleibt leider, ob es sich beim ersten Test um einen tatsächlichen Effekt handelt oder ob das Ergebnis - trotz statistischer Signifikanz - nicht glaubwürdig ist.


Test 37, Donnerstag 12.12., 12:30 - 20:00 Uhr

Banner Impressions LP-
Besucher
Spenden
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
gelb 1565900 1780 764 15324.00 20.06 0.001137 0.0004879 0.42921 0.0097861 23.60
blau 1561200 2189 977 20816.09 21.31 0.001402 0.0006258 0.44632 0.0133334 29.84

Chi-Quadrat-Test Anzahl/Imp: p = 0,000000


Test 46, Dienstag 17.12., 20:10 - Mittwoch 18.12., 16:30 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
gelb 2674600 2947 1296 28011.05 21.61 0.001102 0.0004846 0.43977 0.0104730 27.08
blau 2684200 2955 1339 27263.11 20.36 0.001101 0.0004988 0.45313 0.0101569 26.40

Chi-Quadrat-Test Anzahl/Imp: p = 0,455724



Test 39: Dialog-Banner

Bearbeiten

In diesem Test prüften wir die Wirkung eines völlig neuen Ansatzes. Das Ziel war es, stärker mit den Wikipedia-Lesern in Dialog zu treten und potentiell mehr Menschen zu erreichen. Dazu zeigten wir ein Banner, das im Wesenlichen dannach fragt, ob man Wikipedia helfen möchte - ohne genauer zu spezifizieren, was das bedeutet. Statt dessen werden zwei Buttons zur Wahl gestellt. Möchte man nicht helfen, verschwindet das Banner. Möchte man helfen, erscheint das Standard-Formularbanner. Leider hat diese Herangehensweise zu einer krassen Senkung der Spendenrate geführt (Anzahl/Imp: -61%). Dennoch war dieser Versuch lehrreich und hat vielleicht Potential für die Zukunft. Denn tatsächlich reagierten mehr Leser auf das Banner: 32% mehr Menschen klicken auf den Helfen-Button als im Faktenbanner das Formular ausfüllen.


Freitag 13.12., 14:30 - 17:30 Uhr

Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Fakten_Formular 532500 0 594 275 5967.21 21.70 0.000000 0.001115 0.00000 0.0005164 0.00000 0.46296 0.0112060 23.79
Dialog-Banner 585800 789 177 118 2335.11 19.79 0.001347 0.000302 0.22433 0.0002014 0.14956 0.66667 0.0039862 24.00

Chi-Quadrat-Test Anzahl/Imp: p = 0,0000



Test 47, 49, 57: Spenden-Barometer

Bearbeiten

Im Vergleich über die Jahre betrachtet ähnelt der diesjährige Verlauf der Spendenkampagne eher dem Auf und Ab des Jahres 2011 als 2012. In der letzten Kampagne gelang es relativ frühzeitig mit mehreren erfolgreichen Weiterentwicklungen den typischen Niedergang der Spendeneinnahmen nach Kampagnenbeginn umzukehren, was uns ermöglichte zum Ende hin auch Banner und Geschichten vom Wikipedianern zu zeigen, die zwar auf großes Interesse stießen und über den Hintergrund der größten Enzyklpoädie aufklärten, aber nicht so stark von einer Spende überzeugten. Im Jahr 2011 dagegen dauerte es bis in die letzten Wochen hinein etwas zu finden, dass die Spendeneinnahmen aus dem Tal anhob und einen erfolgreichen Abschluss ermöglichte. Mit dem erstmaligen Einsatz des 5€-Banners konnte damals für die letzten Wochen eine fast dramatische Steigerung der Spenden erreicht werden.

Auch dieses Jahr bedurfte es eines Rettungsankers, nachdem mit verschiedenen kleineren Verbesserungen die Einnahmen zwar auf einem gewissen Niveau gehalten werden konnten, dies aber klar nicht ausreichte, um das Spendenziel zu erreichen. Warum also nicht kommunizieren, dass es mit der Erreichung des Spendenziels knapp wird? Wir griffen auf eine alte Idee zurück und integrierten ein Spendenbarometer ins Banner, dass den täglichen Fortschritt bei den Einnahmen zeigte. Aber eben auch, wie viel noch fehlt. Das Layout des Barometers ließen wir von unserem Grafiker überarbeiten und testeten es zunächst in einem 5€-Banner, da dort mehr Platz für die Darstellung zur Verfügung stand (Test 47). Das Ergebnis spiegelt mehr als einen rettenden Strohhalm wieder: Die Spendenrate steigerte sich um 83% gegenüber dem Faktenbanner. Dieses erweiterten wir wiederum in einem nächsten Test um das Barometer (Test 49). Auch damit konnten wir die Spendenrate um weitere 24% steigern. Doch da das verglichene 5€-Banner zu einem weit niedrigeren Durchschnittsbetrag führt, fiel die tatsächliche Steigerung weitaus stärker aus (Betrag/Imp: +49%). Unser dritter und letzter Test rund um das Spendenbarometer fokussierte auf die Angabe der verbleibenden Zeit. Am letzten Tag der Kampagne testeten wir die Formulierung "Heute endet unsere Spendenkampagne" gegen einen automatischen Countdown der letzten 24 Stunden. Hier scheint Einfachheit zu überzeugen. Die tickende Restzeit senkte die Spendenrate um 20%.

Dank des Spendenbarometers konnten wir den Verlauf der Herbstkampagne 2013 noch einmal nachhaltig drehen. Nur so gelang es, das diesjährige Spendenziel zu erreichen und die Kampagne planmäßig am 31.12. zu beenden.



Test 47, Mittwoch 18.12., 16:30 - Donnerstag 19.12., 11:30 Uhr

Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
5€_Drop_mitBaro 2316000 25184 2666 2227 39153.21 17.58 0.010874 0.001151 0.10586 0.0009616 0.08843 0.83533 0.0169055 25.40
Fakten_Formular 2165400 0 2486 1135 21990.00 19.37 0.000000 0.001148 0.00000 0.0005242 0.00000 0.45656 0.0101552 27.72

Chi-Quadrat-Test Anzahl/Imp: p = 0,0000


Test 49, Donnerstag 19.12., 18:30 - Freitag 20.12., 11:30 Uhr

Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
Fakten_Form_Baro 1606600 0 3396 1992 43127.06 21.65 0.000000 0.002114 0.00000 0.0012399 0.00000 0.58657 0.0268437 23.79
5€_Drop_Baro 1661000 16922 1925 1660 29984.78 18.06 0.010188 0.001159 0.11376 0.0009994 0.09810 0.86234 0.0180522 24.74

Chi-Quadrat-Test Anzahl/Imp: p = 0,0000


Test 57, Montag 30.12., 24:00 - Dienstag 31.12., 14:45 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
"heute_endet" 1028100 2393 1597 35672.43 22.34 0.002328 0.0015534 0.66736 0.0346974 21.46
"noch_xy_stunden" 1046000 2024 1302 27188.33 20.88 0.001935 0.0012447 0.64328 0.0259927 19.15
  • Chi-Quadrat-Test Besuch/Imp: p = 0,0000
  • Chi-Quadrat-Test Anzahl/Besuch: p = 0,093128
  • Chi-Quadrat-Test Anzahl/Imp: p = 0,0000



Test 48: Layout und Text von Faktenaufruf im Drop

Bearbeiten

Donnerstag 19.12., 12:45 - 17:30 Uhr


Kurzzeitig sah es während der Herbstkampagne so aus, als ob die Drop-Version der Banner wieder die erfolgreichste Variante darstellt. Dabei klappt sich das Banner nach dem Klick quasi auf und fährt runter, so dass Spendenformular und Aufrufe sichtbar werden. Aus dem vergangenen Jahr wissen wir, dass der Faktenaufruf im Drop eine große Rolle spielt. In Test 48 prüften wir nun zwei in Textlänge und Layout verschiedene Varianten des Faktentextes im Drop-Banner. Mit einer minimalen Steigerung bei Anzahl/Klick von 3,7% liegt die blaue und kurze Variante zwar vorn. Angesichts des geringen Unterschieds und dem nicht statistisch signifikanten Ergebnis muss man aber eher davon ausgehen, dass zwischen den beiden Varianten kein Unterschied besteht.


Banner Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
rot_und_lang 986300 9574 950 786 15047.00 19.14 0.009707 0.000963 0.09923 0.0007969 0.08210 0.82737 0.0152560 24.77
blau_und_kurz 1042000 9934 984 846 14543.54 17.19 0.009534 0.000944 0.09905 0.0008119 0.08516 0.85976 0.0139573 24.89
  • Chi-Quadrat-Test Klick/Imp: p = 0,205996
  • Chi-Quadrat-Test Anzahl/Klick: p = 0,597
  • Chi-Quadrat-Test Anzahl/Besuch: p = 0,049813
  • Chi-Quadrat-Test Anzahl/Imp: p = 0,706822



Bearbeiten

Angesichts einer Abbrecherquote von rund 50% auf unserer Spendenseite lag ein Schwerpunkt der Herbstkampagne auf deren Weiterentwicklung. Eine unserer Vermutungen war, dass das prominent platzierte Wikimedia-Logo einen Teil der spendeninteressierten Besucher verwirrte. Wir können davon ausgehen, dass das institutionelle Gefüge rund um Wikipedia nicht allen Lesern bekannt ist und so die skeptische Frage auftaucht, wieso plötzlich auf der Spendenseite das Logo von Wikipedia verschwindet. Um diese Vermutung zu überprüfen, ersetzten wir in zwei Tests das WMDE-Logo durch den Puzzleball, jeweils im alten und im neuen Spendenseiten-Layout. Interessanterweise und für uns überraschend hat die Ersetzung in beiden Tests keinerlei Auswirkung auf die Abbrecherquote. Unsere Annahme über die Wirkung des Wikimedia-Logos stellte sich also als falsch heraus.


Test 50 , Freitag 20.12., 14:00 - Samstag 21.12., 20:00 Uhr

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
WMDE_Logo 2997700 7056 4097 87600.11 21.38 0.002354 0.0013667 0.58064 0.0292224 21.83
WP_Logo 3008900 7118 4143 88668.95 21.40 0.002366 0.0013769 0.58205 0.0294689 22.15

Chi-Quadrat Anzahl/Besuch: p = 0,86538749


Test 54, Freitag 27.12., 13:15 - Samstag 28.12., 15:45 Uhr

Banner Landing
Page
Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ctrl wmde_logo 3004100 6052 3618 75559.00 20.88 0.002015 0.0012044 0.59782 0.0251520 21.72
ctrl wp_logo 3003600 6021 3576 77287.15 21.61 0.002005 0.0011906 0.59392 0.0257315 21.57

Chi-Quadrat Anzahl/Besuch: p = 0,66257838



Test 51: Spendenformular: vorausgewählter Betrag

Bearbeiten

Samstag 21.12., 20:00 - Montag 23.12., 15:00 Uhr

Mehr oder weniger historisch gewachsen haben wir in unserem Spendenformular einen Button bei der Betragswahl vorausgewählt. Mit dem Test wollten wir absichern, dass diese Vorauswahl keinen negativen Effekt hat. In der Tat hat das Weglassen der Vorauswahl praktisch keinen Effekt auf die Spendenrate (+2,4%). Jedoch verändern sich sowohl Klick Rate (-15%) als auch Konversion auf der Spendenseite (+20%) in statistisch signifkantem Maß - in der Weise, dass sie sich gegenseitig ausgleichen. Diese Änderung des Verhaltens können wir nicht recht erklären. Eine mögliche Begründung könnte sein: Die Nutzer werden abgechreckt durch eine Warnmeldung, da sie auf einen der Zahlweise-Buttons klicken, ohne vorher einen Betrag ausgewählt zu haben. Sie wollten eventuell nur sehen, wie der Spendenprozess weiter geht oder hoffen mehr Informationen zu finden und haben nun eventuell Angst, dass das Klicken auf das Button eine verbindliche Zahlung auslöst und brechen dann ab.

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ctrl 4206500 9061 5214 112115.67 21.50 0.002154 0.0012395 0.57543 0.0266530 22.75
ohne_Default 4248100 7778 5393 116839.26 21.66 0.001831 0.0012695 0.69337 0.0275039 23.67
  • Chi-Quadrat-Test Besuch/Imp: p = 0,0000
  • Chi-Quadrat-Test Anzahl/Besuch: p = 0,0000
  • Chi-Quadrat-Test Anzahl/Imp: p = 0,217926



Testergebnisse wp.de

Bearbeiten

Test 1: mit vs. ohne Formular im Banner

Bearbeiten

Montag, 28.11.2013 - Mittwoch, 30.11.2013

In einer Vielzahl von Tests konnten wir den positiven Effekt sehen, den die Integration des Spendenformulars direkt in das Banner bewirkt (Vergleich hier und hier). Dennoch wollten wir diese Änderung nicht ungeprüft auf Wikipedia.de übernehmen. Glücklicherweise zeigte sich aber auch hier eine klar positive Veränderung der Spendenrate (Anzahl/Imp: +27%).

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ohne_Formular 172291 634 137 3122.00 22.79 0.003680 0.0007952 0.21609 0.0181205 21.00
mit_Formular 172128 307 174 4069.00 23.39 0.001784 0.0010109 0.56678 0.0236394 18.18



Test 2: Bannerfarbe: grün vs. gelb

Bearbeiten

Mittwoch, 4.12.2013 - Samstag, 7.12.2013

Während der Spendenkampagne haben wir mehrere Tests rund um die Farbe des Banners durchgeführt. Eine ausführliche Auswertung findet ihr hier.

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
grün 290180 447 277 5817.00 21.00 0.001540 0.0009546 0.61969 0.0200462 22.43
gelb 396747 752 463 10122.70 21.86 0.001895 0.0011670 0.61569 0.0255142 21.23



Test 3: Kommentare auf der Landing Page

Bearbeiten

Montag, 9.12.2013 - Sonntag, 15.12.2013

Parallel zu einem identischen Test auf de.wikipedia.org versuchten wir hier die Abbrecherquote auf der Spendenseite durch das Zeigen der neuesten Spenderkommentare zu verringern. Ebenso wie in dem zeitgleich verlaufenden Zwillingstest brachte dies leider keine Veränderung der Spendenrate.

Banner Landing-
Page
Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ctrl ohne_Kommentare 620875 936 584 13559.50 23.22 0.001508 0.0009406 0.62393 0.0218393 20.17
ctrl mit_Kommentaren 619731 998 621 17048.05 27.45 0.001610 0.0010020 0.62224 0.0275088 16.42





Test 4: Bannerfarbe: gelb vs. blau

Bearbeiten

Sonntag, 15.12.2013 - Donnerstag, 19.12.2013

Während der Spendenkampagne haben wir mehrere Tests rund um die Farbe des Banners durchgeführt. Eine ausführliche Auswertung findet ihr hier.

Banner Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
% Frauen
gelb 449946 647 419 13365.68 31.90 0.001438 0.0009312 0.64760 0.0297051 19.58
blau 450710 650 407 11335.00 27.85 0.001442 0.0009030 0.62615 0.0251492 16.92



Test 5: Layout Spendenseite: alt vs. neu

Bearbeiten

Donnerstag, 19.12.2013 - Dienstag, 31.12.2013

Hier testeten wir unsere Spendenseite gegen eine neue, in Konzept und Gestaltung völlig überarbeitete Variante. Da wir diesen Test auch auf de.wikipedia.org durchführten, findet sich die Analyse der Ergebnisse in einer gesammelten Auswertung.

Banner Landing-
Page
Impressions LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Besucher
pro Imp
Anzahl
pro Imp
Anzahl
pro
Besucher
Betrag
pro Imp
% Frauen
ctrl alte LP 1141958 3262 2321 67780.22 29.20 0.002856 0.0020325 0.71153 0.0593544 18.97
ctrl neue LP 1142043 3291 2451 68929.41 28.12 0.002882 0.0021462 0.74476 0.0603562 15.25

Chi-Quadrat-Test Anzahl/Besuch: p = 0,002499

--Tobias Schumann (WMDE) (Diskussion) 14:33, 20. Jan. 2014 (CET)[Beantworten]


Testergebnisse mobil: m.de.wp.org

Bearbeiten

In 2013 haben wir Neuland betreten. Nicht nur zeigten wir erstmalig Banner auf der mobilen Wikipedia-Seite. Wir stiegen zugleich in das A/B-Testen in diesem neuen und spannenden Bereich ein. Bei den Tests konnten wir zum Teil ausgeprägte Steigerungen der Spendenraten erreichen. Da die Nutzungs- und Klickzahlen auf mobilen Geräten jedoch deutlich niedriger liegen als auf der Desktop-Wikipedia, mussten die Tests für aussagekräftige Ergebnisse verhältnismäßig lang laufen. Daher konnten wir während der Herbstkampagne 2013 insgesamt nur sechs Tests realisieren.


Test 1: Sticky-Funktion

Bearbeiten

Mittwoch, 4.12.2013, 22:15 - Donnerstag, 5.12.2013, 22:15

Auf mobilen Geräten dauert es aufgrund der nicht immer optimalen Netzverbindung teils relativ lange bevor das Banner geladen ist. Dadurch kommen viele Nutzer gar nicht in die Gelegenheit es zu sehen, da sie auf der Artikelseite bereits nach unten gescrollt haben. Daher lag es nahe, gleich zu Beginn die Stickyfunktion zu testen. Auf diese Weise wird sichergestellt, dass jeder Nutzer das Banner zu sehen bekommt. Erwartungsgemäß führte dies zu einer Steigerung der Spendenrate, doch über das Ausmaß der Steigerung - rund 220% - waren wir dann doch überrascht.


Banner Impressions Spenden-
anzahl
Summe Durch-
schnitt
Anzahl
pro Imp
Betrag
pro Imp
nicht_sticky 1510100 42 318.00 7.57 0.0000278 0.0002106
Info-Links - 0 0.00 0.00 0.0000000 0.0000000
sticky 1237500 108 705.00 6.53 0.0000873 0.0005697
Info-Links - 2 28.00 14.00 0.0000000 0.0000000
  • p-Wert Anzahl/Impression = 0,000000



Test 2: Layout Text im Drop - Faktentext auf gelb vs. rot

Bearbeiten

Samstag, 7.12.2013, 18:00 - Dienstag, 10.12.2013, 18:00 Uhr

Mit einer Farbänderung versuchten wie auf den kleinen Bildschirmen von Smartphones mehr Aufmerksamkeit zu erreichen: Wir änderten die Hintergrundfarbe des Faktentextes im Drop von gelb auf rot. Dies brachte jedoch offenbar nicht den gewünschten Effekt, die Spendenrate änderte sich nicht.

Banner Impressions Spenden-
anzahl
Summe Durch-
schnitt
Anzahl
pro Imp
Betrag
pro Imp
Ctrl_gelb 4285600 279 1944.00 6.97 0.0000651 0.0004536
Info-Links - 0 0.00 0.00 0.0000000 0.0000000
Var_rot 4203800 277 1741.00 6.29 0.0000659 0.0004141
Info-Links - 0 0.00 0.00 0.0000000 0.0000000
  • p-Wert Anzahl/Impression = 0,88676786



Bearbeiten

Mit diesen zwei Tests konzentrierten wir uns auf das Layout des Banners. Wir ersetzten den Spenden-Button im Banner durch einen blauen Link und ergänzten den highlight-markierten "Wenn jeder..."-Spruch. Dies führte zu einem Einbruch der Klick-Rate um rund 70%, jedoch zu einer enormen Zunahme der Konversion im Drop um 294%. Im Ergebnis schneidet das neue, an der WMF orientierte Layout um 12% besser ab. Allerdings hatte sich bei der Überarbeitung der Bannergestaltung ein Unterschied bei den Schriftgrößen im Drop eingeschlichen. Um wirklich saubere Testergebnisse zu erhalten, wiederholten wir den Test und stellten sicher, dass beide Testgruppen gleiche Textgrößen besaßen. Im diesem zweiten Test erhielten wir praktisch identische Ergebnisse und konnten nun doppelt abgesichert auf das neue Bannerlayout vertrauen.


Test 3, Freitag, 10.12.2013, 21:15 - Montag, 13.12.2013, 16:15 Uhr

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
Button L10h16 2677600 15522 320 186 1129.00 6.07 0.005797 0.000120 0.02062 0.0000695 0.01198 0.58125 0.0004216
Info-Links - - 29 0 0.00 0.00 - 0.000000 0.00000 0.0000000 0.00000 0.00000 0.0000000
Link L10h16 2641000 4362 355 206 1286.00 6.24 0.001652 0.000134 0.08138 0.0000780 0.04723 0.58028 0.0004869
Info-Links - - 21 0 0.00 0.00 - 0.000000 0.00000 0.0000000 0.00000 0.00000 0.0000000

p-wert Anzahl/Impression = 0,25160119


Test 4, Montag, 13.12.2013, 16:15 - Dienstag, 16.12.2013, 15:15

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
Button L10h16 3600000 21112 511 300 2130.00 7.10 0.005864 0.000142 0.02420 0.0000833 0.01421 0.58708 0.0005917
Info-Links - - 40 1 5.00 5.00 - 0.000000 0.00000 0.0000000 0.00000 0.02500 0.0000000
Link L10h16 3652800 5922 546 347 2324.00 6.70 0.001621 0.000149 0.09220 0.0000950 0.05860 0.63553 0.0006362
Info-Links - - 31 0 0.00 0.00 - 0.000000 0.00000 0.0000000 0.00000 0.00000 0.0000000

p-wert Anzahl/Impression = 0,09637155



Test 5: Anzahl Spendenbeträge

Bearbeiten

Donnerstag, 16.12.2013, 15:15 - Montag, 20.12.2013, 1:15 pm UTC

Aus vielen Tests kennen wir die Bedeutung der richtigen Auswahl der im Formular angezeigten Spendenbeträge. Sowohl die Anzahl als auch die angegebenen Summen wirken sich auf die Spendenhäufigkeit und Durchschnittsspende aus. Eine höhere Anzahl vorgegebener Beträge kann dabei das Formular unübersichtlicher wirken lassen oder aber durch mehr Auswahlmöglichkeiten die Bequemlichkeit der Nutzung steigern. Auf den kleinen Smartphonebildschirmen stellt sich diese Frage neu. Hier testeten wir nun vier (3|5|10|20) gegen sechs (5|15|25|50|75|100) Spendenbeträge. (Bisher konnten wir aufgrund des technischen Neulands der mobilen Banner leider noch nicht die Funktionalität eines Freifeldes implementieren.) Im Unterschied zu früheren Ergebnissen bei Tests der Desktop-Seite wurde die Spendenrate (Anzahl/Impression) durch mehr Auswahlmöglichkeiten nicht gesteigert. Eventuell spielt hier die kleine Bildschirmgröße tatsächlich eine Rolle für ein verändertes Verhältnis von Übersichtlichkeit und Usability. Positiv ist aber, dass bei der Variante mit sechs Auswahlbeträgen eine Erhöhung der Durchschnittsspende festgestellt werden konnte, weswegen wir die Änderung in das mobile Banner übernahmen.


Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
vier_Beträge L10h16 3879100 74882 523 284 2020.00 7.11 0.019304 0.000135 0.00698 0.0000732 0.00379 0.54302 0.0005207
Info-Links - - 61 2 15.00 7.50 - 0.000000 0.00000 0.0000000 0.00000 0.03279 0.0000000
sechs_Beträge L10h16 3870100 75166 536 285 2605.00 9.14 0.019422 0.000138 0.00713 0.0000736 0.00379 0.53172 0.0006731
Info-Links - - 45 0 0.00 0.00 - 0.000000 0.00000 0.0000000 0.00000 0.00000 0.0000000



Test 6: Text und Highlight im Drop

Bearbeiten

Montag, 23.12.2013, 17:00 - Dienstag, 31.12.2013, 11:00 pm UTC

Text und Layout des Spendenaufrufs im Dropdown-Bereich des Banners standen im Zentrum dieses Tests. Wir verglichen zwei Varianten des Faktentextes gegeneinander, wobei die Testversion zudem mit einer gelben Higlightmarkierung versehen war. Genau diese Variante steigerte die für diese Testkonstellation entscheidende Metrik Anzahl/Klick um 8% gegenüber der Kontrollvariante. Allerdings ist das Ergebnis knapp nicht statistisch signifkant.

Banner Landing
Page
Impressions Banner
Klicks
LP-
Besucher
Spenden-
anzahl
Summe Durch-
schnitt
Banner-Klick
pro Imp
Besucher
pro Imp
Besucher
pro
Banner-Klick
Anzahl
pro Imp
Anzahl
pro
Banner
Klick
Anzahl
pro
Besucher
Betrag
pro Imp
Ctrl L10h16 10363700 199258 1291 735 7000.00 9.52 0.019227 0.000125 0.00648 0.0000709 0.00369 0.56933 0.0006754
Info-Links - - 114 0 0.00 0.00 - 0.000000 0.00000 0.0000000 0.00000 0.00000 0.0000000
Var L10h16 10344900 199802 1251 791 8322.09 10.52 0.019314 0.000121 0.00626 0.0000765 0.00396 0.63229 0.0008045
Info-Links - - 118 5 190.00 38.00 - 0.000000 0.00000 0.0000000 0.00000 0.04237 0.0000000
  • p-Wert Anzahl/Klick = 0,13141519 (Chi-Quadrat-Test)


--Tobias Schumann (WMDE) (Diskussion) 13:39, 5. Mai 2014 (CEST)[Beantworten]