Quantenreaktionsgleichgewicht

Das Quantenreaktionsgleichgewicht, auch Quantal-Response-Gleichgewicht genannt (englisch Quantal Response Equilibrium, kurz: QRE), ist ein Begriff aus der Spieltheorie. Es beschreibt in nicht-kooperativen Spielen eine Kombination von Strategien: Jeder Spieler wählt eine Strategie, von der aus es für keinen Spieler sinnvoll ist, von seiner gewählten Strategie abzuweichen, obwohl diese nicht wissen, ob es sich um die beste der Strategien handelt, und Fehler machen. Die Strategien der Spieler sind demnach im besten Fall gegenseitig beste Antworten. Wenn die Spieler vollständig rational spielen, konvergiert das Quantenreaktionsgleichgewicht zum Nash-Gleichgewicht. Das Quantenreaktionsgleichgewicht ist ein statistisches Lösungskonzept der Spieltheorie. Definition und Existenzbeweis des Quantenreaktionsgleichgewichts gehen auf das 1995 veröffentlichte Paper Quantal Response Equilibria for Normal Form Games der Ökonomen Richard McKelvey und Thomas Palfrey zurück. Das Quantenreaktionsgleichgewicht findet unter anderem eine zentrale Bedeutung in wirtschaftswissenschaftlichen Bereichen wie der Ökonometrie und der statistischen Betrachtung inkonsistenter Spieler, zum Beispiel bei Wahlen oder dem Traveler’s Dilemma (Reisenden-Dilemma). Das Quantenreaktionsgleichgewicht ist nur für Spiele mit diskreten Strategien definiert.

Grundidee

Spieler entscheiden sich für eine Strategie von der sie nicht wissen, ob es sich um die beste aller Strategien handelt und sie machen Fehler bei der Auswahl. Sie wählen aus einem diskreten Strategienraum und stellen Vermutungen über die Wahl der Strategie des Gegenspielers an. Diese Vermutung oder Belief bewahrheitet sich in Erwartung. Im Gleichgewicht stimmen die Vermutungen über die Wahl der Strategie des Gegenspielers und die Fehler in der Auswahl sind minimal, sodass sich die Auszahlung jedes Spielers maximiert und gewährleistet, dass Fehler keine Auswirkungen auf die Strategienwahl eines Spielers haben. Bei perfekt rational handelnden Individuen decken sich statistische Vorhersagen mit der theoretischen Gleichgewichtswahl, da niemand Anreiz hat von seiner Gleichgewichtswahl abzuweichen.

Das Konzept des Quantenreaktionsgleichgewichts unterscheidet sich insofern von anderen theoretischen Gleichgewichtsvorhersagen, als dass es sich um eine statistische Prognose einer Gleichgewichtswahl aus diskreten Strategien handelt. Durch die Modellierung eines Fehlerterms kann jegliches Verhalten von Spielern vorhergesagt werden, welche Tatsache die Güte eines Gleichgewichtskonzepts einschränkt. Grundsätzlich können Aussagen des Quantenreaktionsgleichgewichts als deskriptive Gleichgewichtsvorhersage interpretiert werden.

Aufbau des Quantenreaktionsgleichgewicht in Normalform

Verbale Darstellung

Die strikte Annahme der perfekten Rationalität der Spieler, modelliert durch die deterministische Natur einer strategischen Spielumgebung, soll durch die Hinzunahme eines stochastischen Ausdrucks erweitert werden. Als Folge ist mögliche Inkonsistenz der Spieler möglich. In dieser Spielumgebung lassen sich Lösungen des Gleichgewichts, wie in deterministischen Spielumgebungen nur noch in Wahrscheinlichkeiten ausdrücken, da das Gleichgewicht vom stochastischen Teil und einer Wahrscheinlichkeit der deterministischen Wahl abhängt und somit immer dann ökonomisch relevant ist, wenn der Nutzen eines Spielers von der Realisierung der Zufallsvariable bestimmt wird.

Die erwartete Auszahlung eines Spielers aus unterschiedlichen Strategien hängt von den Beliefs der Spieler über die Wahl der Strategie anderer Spieler ab. Beliefs determinieren erwartete Auszahlungen, welche wiederum Auswahlmöglichkeiten und QR-Funktionen generieren. Im Gleichgewicht passen diese Beliefs zu den Gleichgewichtsauswahlmöglichkeiten.

Spieler machen „infinitesimal“ Fehler. Diese Änderung erlaubt es Abweichungen von perfekt rational erwarteten Spielverhalten zu beobachten und mithilfe von logistischer Regression formal zu beschreiben, welche Tatsache signifikant unterschiedliche Ergebnisse zu Nash-Gleichgewichtsvorhersagen haben kann, jedoch mit steigender Wahrscheinlichkeit beziehungsweise Wissen über die Realisierung der Zufallsvariable gegen das Nash-Gleichgewicht konvergiert.

Das Quantenreaktionsgleichgewicht nimmt im Vergleich zum Nash-Gleichgewicht einen Unsicherheitsfaktor hinzu und macht es somit resistenter und allgemeingültiger als das deterministische Modell, da das Verhalten von „noisy players“ modelliert werden kann. Tatsächlich aber handelt es sich beim Quantenreaktionsgleichgewicht um eine Verallgemeinerung des Nash-Gleichgewichts (NGGW), die zu diesem mit sinkendem $\mu$ beziehungsweise mit steigender Rationalität konvergiert und sich der Beste-Antwort-Funktion annähert.

Dies liefert einen nützlichen theoretischen Rahmen für die Beobachtung komparativ statischer Effekte von Parameterveränderungen. Es führt nicht zwingend zu Abweichungen von den Nash-Vorhersagen.

• Spieler wählen nicht die beste Antwort mit Wahrscheinlichkeit 1 (wie im Nash-Gleichgewicht)
• Spieler wählen Antworten mit höherer erwarteter Auszahlung gewichtet mit höherer Wahrscheinlichkeit – bessere Antworten als beste Antworten
• Spieler haben rationale Erwartungen und nutzen wahre erwartete Fehler, wenn sie Strategien anderer Spieler interpretieren.

In dieser Modellierung haben Spieler eine freie Auswahl nach einem Gut (hier: Strategie) und entscheiden unter stochastischem Einfluss. Sie kennen die Auswahlwahrscheinlichkeit p und schätzen diese Wahrscheinlichkeit mit steigender Erfahrung „besser“. Der deterministische Teil einer Strategienwahl des Spielers ist durch beobachtbare Attribute geprägt und der stochastische Teil unterliegt unbeobachtbaren Einflüssen.

Die Präferenz der Spieler besteht darin eine Strategie zu wählen, die eine höhere erwartete Auszahlung generiert als andere, obwohl nicht gegeben ist, dass es sich um die beste aller Strategien handelt, da Auszahlungen nur noch in Erwartungswerten existieren. Eine Annahme im Modell besteht darin, dass die Spieler ihre erwarteten Auszahlungen korrekt schätzen. Das bedeutet, dass Spieler $i$ seine Schätzung der Auszahlung aus Strategie a im Erwartungswert auch erhält unter Berücksichtigung der stochastischen Gleichgewichtswahl der anderen Spieler. Die hinzugenommene stochastische Variable im Einfluss auf die diskrete Wahl ist endogen im Modell.

Im Unterschied zum Nash-Gleichgewicht jedoch liefert das Quantenreaktionsgleichgewicht die Möglichkeit statt deterministischen Aussagen, statistische Prognosen zu treffen. Die Güte dieser statistischen Aussagen hängt signifikant von der Präzision der Beliefs der Spieler über die erwarteten Auszahlungen der unterschiedlichen Strategien ab. Erfahrungen der Spieler und Lernfähigkeit spielen eine besondere Rolle, da diese Faktoren Einfluss auf die Fähigkeit präziser Einschätzungen erwarteter Auszahlungen aus bestimmten Strategien haben. Dieses Phänomen kann auch durch den Effekt steigender Beobachtungen in der Ökonometrie erklärt werden.

Formale Darstellung

Annahmen

Die Normalform eines Spiels mit den folgenden Elementen lautet:

• ;Spieler:

Es existieren $i\in \mathbb {N}$ Spieler, wobei $N=\{1,\ldots ,n\}$

• ;Im Strategieraum:$s_{i}\in S$

existiert für jeden Spieler eine Strategie

$S_{ij}={\begin{pmatrix}s_{11}&\ldots &s_{1i}\\\ldots &&\ldots \\s_{i1}&\ldots &s_{ij}\end{pmatrix}}$

bestehend aus $J_{i}$ reinen Strategien.

• ;Auszahlungsfunktion

Für jeden Spieler $i\in \mathbb {N}$ gibt es eine Auszahlungsfunktion $u_{i}\colon S\to \mathbb {R}$, wo

$\prod _{i\in \mathbb {N} }S_{i}$

• ;Wahrscheinlichkeit

$p_{i}={\mathcal {P}}(X=x_{i})\quad$ und $\quad p_{i}\colon S_{i}\to \mathbb {R}$, wo

$\sum _{s_{ij}\in S_{i}}p_{i}(s_{ij})=1\quad$ und $\quad p_{i}(s_{ij})\geq 0$ für alle $s_{ij}\in S_{i}$

Zur Vollständigkeit sei erwähnt, dass sich alle p in einem Raum $\Delta$ von Wahrscheinlichkeiten befinden, in dem gilt :

Alle Anderen ${\overline {p}}_{i}$, wobei $p_{i}={\mathcal {P}}(X=x_{i})$ und ${\overline {p}}_{i}=1-{\mathcal {P}}(X=x_{i})$, sodass $p_{i}+{\overline {p}}_{i}=1$

also

$\Delta _{i}=\left\{p_{i}=(p_{i1},\ldots ,p_{iJ}):\sum _{j}p_{ij}=1,p_{ij}\geq 0\right\}$

• ;Wahrscheinlichkeit Spieler $i$ wählt Strategie $s_{ij}$

$p_{ij}=p_{i}(s_{ij})$

Daher repräsentiert die Notation $(s_{ij},p_{-i})$ die Strategie, wo i die Strategie $s_{ij}$ wählt und alle anderen Spieler deren Ausprägung von p adaptieren.

• ;Nutzenfunktion

$u_{is}=V_{is}+\varepsilon _{is}$

Wobei $V_{is}$ den deterministischen Teil und $\varepsilon _{is}$ den stochastischen Teil des Modells darstellt.

Weiterhin kann $\varepsilon _{is}$ als weißes Rauschen beschrieben werden und mit folgenden Annahmen versehen werden:

$\mathbb {E} [\varepsilon _{is}]=0$ $\forall {is}$

Sowohl die Verteilungsfunktion als auch die Dichtefunktion sind unbekannt. Der Erwartungswert existiert und ist null.

Im Logit-Modell jedoch ist der stochastische Teil der Nutzenfunktion extremwertverteilt, welche Annahme zu nützlichen Effekten führt. Der extremwertverteilte Fehlerterm kann als Spieler $i$'s Fehler-Vektor definiert werden.

Die Nutzenfunktion der Spieler

Abweichungen von optimalen Entscheidungen sind negativ korreliert mit verbundenen Kosten. In anderen Worten machen Spieler sehr ungern Fehler mit hohen Kosten. Formal bildet die Nutzenfunktion einen Vektor mit einem deterministischen Teil $V_{is}$ und einem stochastischen Teil $\varepsilon _{is}$ mit oben genannten Annahmen. Erwartete Auszahlungen

$u_{i}(p)=p(s_{1})\cdot u_{i}(s_{1})+p(s_{2})\cdot u_{i}(s_{2})+\ldots =\mathbb {E_{p}} [u_{i}]$

oder genauer $u_{i}(p)=\sum p(s)u_{i}(s)$

wiederum sind determiniert von Beliefs über die Aktionen anderer Spieler und bilden den deterministischen Teil der Nutzenfunktion. Die Auszahlungen der Spieler werden mit der Wahrscheinlichkeit, dass die Strategie gespielt wird, gewichtet.

Nash-Gleichgewichte in reinen Strategien existieren unter oben genannten Annahmen nur noch in Erwartungswerten und mit Fehlerterm. Die Auszahlungen können durch den Vektor

${\overline {u}}(p)={\begin{pmatrix}u_{1}(p)\\u_{2}(p)\\\vdots \\u_{j}(p)\end{pmatrix}}$

wo,

${\overline {u}}_{ij}(p)=u_{i}(s_{ij},p_{-i})$

verständlicher gemacht werden.

Der Spieler $i$ wählt Strategie j, wenn ${\overline {u}}_{ij}\geq {\hat {u}}_{ik}\forall k\in J$ und ${\overline {u}}_{ij}$ maximal wird. Zudem kommt der Fehlerterm $\varepsilon$, sodass für jedes u für jeden Spieler $i$ eine {ij}-Antwort-Menge R existiert:

$R_{ij}({\overline {u}}_{i})=\{\varepsilon _{i}\in \mathbb {R} \mid {\overline {u}}_{ij}+\varepsilon _{ij}\geq {\overline {u}}_{ik}+\varepsilon _{ik}\ \forall k=1,\ldots ,J_{i}\}$

Eine Menge $R_{ij}({\overline {u}}_{i}(p))$ mit gegebenen p gibt die Region der Fehler an, die Spieler $i$ zu Strategie j führt:

$\sigma _{ij}({\overline {u}}_{i})=\int _{R_{ij}({\overline {u}}_{i})}f(\varepsilon )\ \mathrm {d} \varepsilon$

was der Wahrscheinlichkeit, dass Spieler $i$ Strategie j gegeben ${\overline {u}}$ wählt und dem Quantenreaktionsgleichgewicht entspricht.

Es entsteht eine mit Wahrscheinlichkeit gewichtete Auszahlung aller Strategien unter Berücksichtigung der Ausprägung des Residuums. Es existiert eine zufällige Beste-Antwort-Funktion für alle Spiele in Normalform und somit auch ein Quantenreaktionsgleichgewicht. Die Gleichgewichts-Wahlmöglichkeiten bilden das Quantenreaktionsgleichgewicht. Im Gleichgewicht sind die Beliefs der Spieler richtig. Eine Modellierung ist durch das Logit-Gleichgewicht möglich, da unbeobachtete Störterme Abweichungen des Nutzens der Spieler zur Folge haben und als Ziel der Modellierung so klein wie möglich gehalten werden sollen.

Logit-Quantenreaktionsgleichgewicht

Die gängigste Angabe eines Quantenreaktionsgleichgewichts (QRE) ist das Logit-Quantenreaktionsgleichgewicht (englisch Logit Quantal Response Equilibrium, kurz: LQRE):

Gumbel-Verteilungsfunktion

Kerngedanke der Logit-Modellierung der Wahl der Strategie von Spielern bildet ein diskretes Entscheidungsmodell. Somit ist es möglich Aussagen bezüglich der Auswahl von alternativen Strategie der Spieler zu treffen. Spieler $i\in \mathbb {N}$ wählt aus dem Strategienraum $s_{i}\in S$ ohne Berücksichtigung der Zeit $t\in T$, da es sich um ein einmaliges Spiel handelt. Der Spieler präferiert Strategie $s$ vor ${\overline {s}}$, wenn gilt:

Gumbel-Dichtefunktion

$u_{is}\geq u_{i{\overline {s}}}\forall s,{\overline {s}}\in S,s\neq {\overline {s}}$

Unter Logit-Modellen versteht man eine Form der binären Auswahlprobleme, in der der stochastische Teil der Nutzenfunktion $\varepsilon _{is}$ aus unabhängig und identisch verteilten Störtermen, die einer Extremwertverteilung folgen $e\;{\stackrel {\mathrm {i.i.d} }{\sim }}\;{\mathcal {E}}(\lambda ,\gamma )$. Nach dem Fisher-Tippett Theorem (später Fisher-Tippett Gnedenko Theorem) nähern sich diese einer Extremwertverteilung an.

Gumbel-Realisierungen (Standard)

Die Verteilungsfunktion (Über-Extremwertverteilung) erfüllt diese Annahmen und ist eine Klasse der Extremwertverteilung. Die Verteilungsfunktion (Graphik 1) zeigt an, wie wahrscheinlich ein Ergebnis ist, das höchstens der auf der x-Achse stehender Wert beobachtet wird. Die Realisierungen (Graphik 3,4) dieser Verteilung zeigen die Beobachtungen im Zeitverlauf. Unter Standard ist hier die Gumbel-Verteilung (0,1) definiert und (mu,beta) gibt eine anders skalierte Ausprägung der Realisierungen an. Der Flächeninhalt unter der Dichtefunktion (Graphik 2) bis zu einer Realisierung korrespondiert zur Wahrscheinlichkeit, zu der höchstens dieser Wert eintritt.

Gumbel-Realisierungen (mu,beta)

Daher sind stochastische Störterme als Maximum der Zufallszahlen zu verstehen. Die Form des Logit-Modells erlaubt Schätzungen mithilfe der Maximum-Likelihood-Methode über die Wahl der Spieler zu schätzen. Durch extremverteilte stochastische Störterme ergibt sich die Auswahlwahrscheinlichkeit:

${\mathcal {P}}_{i}^{MNL}(s|S)={\mathcal {P}}(u_{is}\geq u_{i{\overline {s}}}\forall s\neq {\overline {s}})={\frac {e^{\mu V_{is}(\beta )}}{\sum _{{\overline {s}}\in S}e^{\mu V_{is}(\beta )}}}$

$\mu \in \mathbb {R} ^{+}$ kann in diesem Fall als Rationalitätsparameter identifiziert werden und gibt an, wie rational die Spieler entscheiden. Ein Spieler mit $\mu \to 0$ entscheidet perfekt rational und alle Vorhersagen konvergieren zum Nash-Gleichgewicht.

Problematisch allerdings ist die Annahme der unabhängig und identisch verteilten Störterme. Die resultierende Korrelation von 0 zwischen den Störtermen hat ein Verhältnis der Auswahlwahrscheinlichkeiten zur Folge.

Für die Alternativen $s\neq s^{\dagger }$ gilt das Verhältnis:

${\frac {{\mathcal {P}}_{i}^{MNL}(s|S)}{{\mathcal {P}}_{i}^{MNL}(s^{\dagger }|S)}}={\frac {\frac {e^{\mu V_{is}(\beta )}}{\sum _{s\in S}e^{\mu V_{is}(\beta )}}}{\frac {e^{\mu V_{is^{\dagger }}(\beta )}}{\sum _{s^{\dagger }\in S}e^{\mu V_{is^{\dagger }}(\beta )}}}}={\frac {e^{\mu V_{is}(\beta )}}{e^{\mu V_{is^{\dagger }}(\beta )}}}$

Die Konstanz dieses Verhältnisses widerspricht der Unabhängigkeit von irrelevanten Alternativen (englisch Independence of irrelevant alternatives, kurz: IIA).

Anwendungen

Das Quantenreaktionsgleichgewicht findet in Spielen mit diskreten Strategien Anwendung. Im Traveler’s Dilemma kann das Quantenreaktionsgleichgewicht beobachtete Daten des Verhaltens der Spieler erklären. Wobei es möglich ist, bei bestimmter Wahl des Rationalitätsparameters, jegliches Verhalten von Spielern zu modellieren.

$s_{i,j}$	$s_{2,1}$	$s_{2,2}$
$s_{1,1}$	(-1,1)	(1,-1)
$s_{1,2}$	(-1,1)	(1,-1)

Spielermenge $N=\{1,2\}$

Strategienmenge $s_{1}\neq s_{2}\in S$

Strategienmenge Spieler 1 $s_{1}=\{T,B\}$

Strategiemenge Spieler 2 $s_{2}=\{L,R\}$

Nullsummenspiel mit diskreten Strategien

Zeilenspielers erwartete Auszahlungsfunktion aus Strategie $T$ ($U_{T}$) ist eine Funktion der Auswahlwahrscheinlichkeit von Spaltenspielers Strategie $R$ ($p_{R}$), welche durch Erwartungswerte gebildet werden kann:

$U_{T}(p_{R})=p_{R}-(1-p_{R})=2p_{R}-1$

Grafische Darstellung, Anwendung

Analog dazu bildet sich Zeilenspielers erwartete Auszahlungsfunktion aus Strategie B aus der Auswahlwahrscheinlichkeit von Spaltenspieler seiner Strategie R :

$U_{B}(p_{R})=1-2p_{R}$

Falls Spaltenspieler lieber R spielt ($p_{R}\geq 1/2$) ist Zeilenspielers beste Antwort Strategie T.

Spaltenspielers erwartete Auszahlungen können analog errechnet werden.

Die QR-Funktion glättet die unstetige errechnete Beste-Antwort-Funktion und repräsentiert monotone und stochastische Wahl als eine Funktion von Auszahlungen. In der Graphik schneiden sich QR-Funktion und Beste-Antwort-Funktion im Nash-Gleichgewicht. Bei einem anderen Rationalitätsparameter verschiebt sich die QR-Funktion und es kommt zu anderen statistischen Vorhersagen bezüglich eines Gleichgewichts. Die QR-Funktion des Gegenspielers errechnet sich analog.

Aufbau des Quantenreaktionsgleichgewichts in Extensivform

Verbale Darstellung

In extensiver Form des Spiels wird der Faktor Zeit in das Modell mit aufgenommen und es entsteht eine Art Stufenspiel. Im deterministischen Modell können auch im unendlich oft wiederholten Stufenspiel Aussagen über ein zeitresistentes Gleichgewicht getroffen werden, da ein Nash-Gleichgewicht immer ein Gleichgewicht bleiben muss. Der stochastische Einfluss und der Störterm jedoch verhindern diese Fähigkeit durch die Abhängigkeit des Gleichgewichts von den Realisierungen verschiedener Zufallsvariablen. Es können lediglich Erwartungswerte angegeben werden, die letztendlich keine sicheren Vorhersagen treffen können. Das Gesetz der großen Zahlen bewirkt, dass mit steigenden Beobachtungen konsistentere Aussagen über Gleichgewichte getroffen werden können. McKelvey und Palfrey definieren für das dynamische Spiel ein Agenten-Quantenreaktionsgleichgewicht (englisch Agent Quantal Response Equilibrium, kurz: AQRE), welches mithilfe von Teilspielperfektheit ermittelt werden kann. In diesem Spiel determiniert jeder Spieler seine erwartete Auszahlung mithilfe einer Modellierung der Zukunft als einen eigenen Spieler mit Kenntnis über die Wahrscheinlichkeitsverteilung über die Strategien.

Weblinks

• McKelvey, Palfrey 1995: URL http://www.dklevine.com/archive/refs4510.pdf
• McKelvey, Palfrey 1998: URL http://fisher.osu.edu/~schroeder.9/AMIS900/McKelvey1998.pdf
• Becker, Carter, Naeve 2005: URL https://www.uni-hohenheim.de/RePEc/hoh/papers/252.pdf
• Goeree, Holt, Palfrey : URL http://people.hss.caltech.edu/~jkg/QRE%20Palgrave.pdf
• Economics 209B , Behavioral / Experimental Game Theory: URL http://eml.berkeley.edu/~kariv/209B_QRE.pdf

Literatur

• McFadden, D., 1973. Conditional logit analysis of qualitative choice behavior
• Fisher, R. A., Tippett, L. H. C., 1928. Limiting forms of the frequency distribution of the largest or smallest member of a sample. In: Mathematical Proceedings of the Cambridge Philosophical Society. Vol. 24. Cambridge Univ. Press
• Train, K. E., 2009. Discrete Choice Methods with Simulation