Hot-Water-Theorem

Das Hot-Water-Theorem kommt bei quantitativen Studien zur Anwendung, welche die Unterscheidungsfähigkeit der Teilnehmer untersuchen. Insbesondere unter Bedingungen, wo dies wiederholt geprüft wird.

Es zeigt in diesem Fall, dass Fehleinschätzungen der Teilnehmer nicht notwendigerweise auf mangelnde Unterscheidbarkeit hindeuten.

Grundprinzip

Das Hot-Water-Theorem besagt, dass insbesondere konstante Fehleinschätzungen eines Teilnehmers an einer Unterscheidbarkeitsstudie auf eine hohe Unterscheidbarkeit hinweisen. Wenn ein Teilnehmer beispielsweise bei der wiederholten Unterscheidung zwischen zwei Objekten, die Objekte jedes Mal vertauscht, bedeutet dies nicht, dass die Objekte für ihn nicht zu unterscheiden sind. Stattdessen erkennt der Teilnehmer jedes Mal den Unterschied, ordnet aber die Eigenschaften konstant falsch zu.

Beispiel

Ein anschauliches Beispiel ist der Geschmack zweier Lebensmittel, wie verschiedener Marken von Nougatcreme. Wenn ein Teilnehmer in einem Test mehrfach zwei Cremes probiert und jedes Mal eine Probe fälschlicherweise der anderen Marke zuordnet, könnte dies darauf hinweisen, dass er Unterschiede zwischen den beiden Produkten gut wahrnimmt, sie jedoch in seiner Bewertung vertauscht. Für die Fragestellung, ob ein wahrnehmbarer Unterschied existiert, wäre dies ein positives Ergebnis, unabhängig davon, ob die Zuordnung korrekt ist.

Statistische Interpretation

Wenn alle Teilnehmer einer Studie entweder konstant richtig oder konstant falsch liegen, deutet dies auf eine hohe Unterscheidbarkeit hin. Eine 50/50-Verteilung (die Hälfte liegt richtig, die andere Hälfte falsch) ist laut dem Hot-Water-Theorem kein Beweis dafür, dass die Unterscheidbarkeit niedrig ist, da die Beobachtungen bei einer Unterscheidbarkeitsstudie nicht zuerst über die Teilnehmer und dann über die Wiederholungen aufsummiert werden dürfen. Stattdessen müssen sie zunächst über die Wiederholungen normiert und dann über die Teilnehmer summiert werden. Bei den meisten anderen Studien ist auch die andere Reihenfolge bzw. eine Kombination zulässig und üblich.

Um getreu dem Hot-Water-Theorem eine Unterscheidbarkeit $U$ zwischen 0 und 1 zu ermitteln, wobei 1 auf maximale Unterscheidbarkeit hindeutet, wird in einer geeigneten Studie mit $N$ Teilnehmern jeweils pro Teilnehmer das Verhältnis richtiger ($z^{t}$) und falscher ($z^{f}$) Einschätzungen wie folgt ausgewertet:

$U={\frac {1}{N}}\sum _{i=1}^{N}f(z_{i}^{t},z_{i}^{f})$

$f:X\rightarrow [0,1]$ darf beliebig gewählt werden. Die Funktion ist sinnvollerweise davon abhängig definiert, ob angenommen wird, dass die Unterscheidung besonders einfach oder schwierig ist, und welche Fehlertoleranz folglich gelten soll. Bei $R$ Wiederholungen wähle bspw.:

$f(z^{t},z^{f})=2{\Bigl (}{\frac {z^{t}}{R}}{\Bigr )}^{2}+2{\Bigl (}{\frac {z^{f}}{R}}{\Bigr )}^{2}-1$

Für einen Fall mit mehr als zwei Möglichkeiten, kann $z^{f}$ in der Formel aufgeteilt werden. Je nachdem ob eine Ordnung vorliegt, d. h. eine Fehleinschätzung 'falscher' als eine andere Fehleinschätzung sein kann, können die Fälle arithmetisch gleichmäßig oder ungleichmäßig gewichtet werden.

Bedeutung der Wiederholungen

Wiederholungen sind notwendig, um die Unterscheidbarkeit sicher festzustellen, insbesondere wenn das Ziel der Studie darin besteht, herauszufinden, ob Unterschiede erlernbar sind und die Unterscheidungsfähigkeit durch wiederholte Tests verbessert werden kann.

Studien ohne Wiederholungen – also Tests, bei denen jeder Teilnehmer nur einen Versuch hat – sind nach dem Hot-Water-Theorem nur dann geeignet, wenn es darum geht, ob die natürliche oder bereits angelernte Fähigkeit von Menschen, Unterschiede zu erkennen in der gleichen Weise ausgeprägt ist. Beispielsweise ist es sehr wahrscheinlich, dass jeder Mensch die Geschmäcker salzig und süß unterscheiden und richtig (dem gesellschaftlichen Konsens entsprechend) zuordnen kann. Angenommen dieser gesellschaftliche Konsens ist tatsächlich etabliert, dann würde der unrealistische Fall einer 50/50-Verteilung in diesem Fall bedeuten, dass die Teilnehmer Geschmäcker kaum unterschieden können.

Anders kann es aussehen, wenn kulturelle Unterschiede vorliegen. Beispielsweise können lokale Gruppen relativ einheitlich zwischen in ihren Augen 'guter' und 'schlechter' Kunst unterscheiden. Eine signifikante Abweichung von einer 50/50-Verteilung würde in diesem Fall bedeuten, dass gesamtgesellschaftlicher Konsens herrscht. Eine gleichmäßige Verteilung würde hingegen nicht zwingend nahelegen, dass eine Unterscheidung sehr schwierig bzw. kaum möglich ist, sondern es könnte ebenso sein, dass die Unterscheidungsfähigkeit zwar hoch ist, aber dass die Studienteilnehmer in ausgeglichener Weise zwei Gruppen angehören, in denen intern Konsens herrscht, jedoch nicht in der Gesamtheit. Dies lässt sich rein über die Resultate unmöglich festzustellen, wenn die Gruppenzugehörigkeit in der Studie nicht vermerkt wird.

Namensherkunft

Das Hot-Water-Theorem verdankt seinen Namen einer Studie, in der untersucht wurde, ob Menschen den Klang von heißem Wasser vom Klang von kaltem Wasser unterscheiden können, wenn dieses in ein Glas gegossen wird. Die ursprüngliche Studie kam zu dem Ergebnis, dass Kinder die Geräusche nicht so zuverlässig zuordnen können wie Erwachsene. Jedoch verblieb die Frage, ob dies am Mangel an akustischer Unterscheidungsfähigkeit im Allgemeinen oder Mangel an Erfahrung mit Wasser verschiedener Temperaturen in diesem Alter lag.

Literatur

• Morten C. Meilgaard, B. Thomas Carr, Gail Vance Civille: Sensory Evaluation Techniques. 0. Auflage. CRC Press, 1999, ISBN 978-1-00-304072-9, doi:10.1201/9781003040729 (taylorfrancis.com [abgerufen am 4. Oktober 2024]). 
• Douglas C. Montgomery: Design and analysis of experiments. Tenth edition Auflage. Wiley, Hoboken, NJ 2020, ISBN 978-1-119-49247-4. 
• Graeme D. Ruxton, Nick Colegrave: Experimental design for the life sciences. 4th ed Auflage. Oxford university press, Oxford 2016, ISBN 978-0-19-871735-5.