Benutzer:MikWikHD/arbeit

Quantal Response Gleichgewicht
Bezug	Nash-Gleichgewicht, Logit, Probit
Wissenschaftler	Richard McKelvey and Thomas Palfrey
Anwendungsgebiet	nicht-kooperative Spiele
Beispiel	Alle Spiele in Normalform mit Dichtefunktionen

Das Quantal Response Gleichgewicht (engl. Quantal Response Equilibrium, QRE) ist ein Begriff der mathematischen Spieltheorie. Es beschreibt in nicht-kooperativen Spielen eine Kombination von Strategien: Jeder Spieler wählt eine Strategie, von der aus es für keinen Spieler sinnvoll ist von seiner gewählten Strategie abzuweichen, obwohl diese nicht wissen, ob es sich um die beste der Strategien handelt und Fehler machen. Die Strategien der Spieler sind demnach im besten Fall gegenseitig beste Antworten. Wenn die Spieler vollständig rational spielen konvergiert das QRE zum Nash-Gleichgewicht. Das QRE ist ein statistisches Lösungskonzept der Spieltheorie. Definition und Existenzbeweis des QREs gehen auf das 1995 veröffentlichte Paper „Quantal Response Equilibria for Normal Form Games“ der Ökonomen Richard McKelvey und Thomas Palfrey zurück. Das QRE findet unter anderem eine zentrale Bedeutung in wirtschaftswissenschaftlichen Bereichen wie der Ökonometrie und der statistischen Betrachtung inkonsistenter Spieler zum Beispiel bei Wahlen oder dem Traveler's Dilemma. Das QRE ist nur für Spiele mit diskreten Strategien definiert.

Grundidee

Spieler entscheiden sich für eine Strategie von der sie nicht wissen, ob es sich um die beste aller Strategien handelt und sie machen Fehler bei der Auswahl. Sie wählen aus einem diskreten Strategienraum und stellen Vermutungen über die Wahl der Strategie des Gegenspielers an. Diese Vermutung oder Belief bewahrheitet sich in Erwartung . Im Gleichgewicht stimmen die Vermutungen über die Wahl der Strategie des Gegenspielers und die Fehler in der Auswahl sind minimal, sodass sich die Auszahlung jedes Spielers maximiert und gewährleistet, dass Fehler keine Auswirkungen auf die Strategienwahl eines Spielers haben. Bei perfekt rational handelnden Individuen decken sich statistische Vorhersagen mit der theoretischen Gleichgewichtswahl, da niemand Anreiz hat von seiner Gleichgewichtswahl abzuweichen.

Das Konzept des QRE unterscheidet sich insofern von anderen theoretischen Gleichgewichtsvorhersagen, als dass es sich um eine statistische Prognose einer Gleichgewichtswahl aus diskreten Strategien handelt. Durch die Modellierung eines Fehlerterms kann jegliches Verhalten von Spielern vorhergesagt werden, welche Tatsache die Güte eines Gleichgewichtskonzepts einschränkt. Grundsätzlich können Aussagen des QRE als deskriptive Gleichgewichtsvorhersage interpretiert werden.

Aufbau QRE in Normalform

Verbal

Die strikte Annahme der perfekten Rationalität der Spieler, modelliert durch die deterministische Natur einer strategischen Spielumgebung, soll durch die Hinzunahme eines probabilistischen Ausdrucks erweitert werden. Als Folge ist mögliche Inkonsistenz der Spieler möglich. In dieser Spielumgebung lassen sich Lösungen des Gleichgewichts, wie in deterministischen Spielumgebungen nur noch in Wahrscheinlichkeiten ausdrücken, da das Gleichgewicht vom probabilistischen Teil und einer Wahrscheinlichkeit der deterministischen Wahl abhängt und somit immer dann ökonomisch relevant ist, wenn der Nutzen eines Spielers von der Realisation der Zufallsvariable determiniert wird.

Die erwartete Auszahlung eines Spielers aus unterschiedlichen Strategien hängt von den Beliefs der Spieler über die Wahl der Strategie anderer Spieler ab. Beliefs determinieren erwartete Auszahlungen, welche wiederum Auswahlmöglichkeiten und Quantal Response Funktionen generieren. Im Gleichgewicht passen diese Beliefs zu den Gleichgewichtsauswahlmöglichkeiten .

Spieler machen „infinitesimal“ Fehler. Diese Änderung erlaubt es Abweichungen von perfekt rational erwarteten Spielverhalten zu beobachten und mithilfe von logistischer Regression formal zu beschreiben, welche Tatsache signifikant unterschiedliche Ergebnisse zu Nash-Gleichgewichtsvorhersagen haben kann, jedoch mit steigender Wahrscheinlichkeit beziehungsweise Wissen über die Realisation der Zufallsvariable gegen das Nash-GGW konvergiert .

Das QRE nimmt im Vergleich zum Nash GGW einen Unsicherheitsfaktor hinzu und macht es somit resistenter und allgemeingültiger als das deterministische Modell, da das Verhalten von „noisy players“ modelliert werden kann. Tatsächlich aber handelt es sich beim QRE um eine Verallgemeinerung des Nash-Gleichgewichts (NGGW), die zu diesem mit sinkendem $\mu$ beziehungsweise mit steigender Rationalität konvergiert und sich der Beste-Antwort Funktion annähert .

Dies liefert einen nützlichen theoretischen Rahmen für die Beobachtung komparativ statischer Effekte von Parameterveränderungen. Es führt nicht zwingend zu Abweichungen von den Nash (John Forbes Nash Jr.) Vorhersagen .

• Spieler wählen nicht die beste Antwort mit Wahrscheinlichkeit 1 ( wie im NGGW)
• Spieler wählen Antworten mit höherer erwarteter Auszahlung gewichtet mit höherer Wahrscheinlichkeit - bessere Antworten als beste Antworten
• Spieler haben rationale Erwartungen und nutzen wahre erwartete Fehler, wenn sie Strategien anderer Spieler interpretieren

In dieser Modellierung haben Spieler eine freie Auswahl nach einem Gut (hier: Strategie) und entscheiden unter probabilistischem Einfluss. Sie kennen die Auswahlwahrscheinlichkeit p und schätzen diese Wahrscheinlichkeit mit steigender Erfahrung “besser”. Der deterministische Teil einer Strategienwahl des Spielers ist durch beobachtbare Attribute geprägt und der probabilistische Teil unterliegt unbeobachtbaren Einflüssen.

Die Präferenz der Spieler besteht darin eine Strategie (Spieltheorie) zu wählen, die eine höhere erwartete Auszahlung generiert als andere, obwohl nicht gegeben ist, dass es sich um die beste aller Strategien handelt, da Auszahlungen nur noch in Erwartungswerten existieren . Eine Annahme im Modell besteht darin, dass die Spieler ihre erwarteten Auszahlungen korrekt schätzen. Das bedeutet, dass Spieler i seine Schätzung der Auszahlung aus Strategie a im Erwartungswert auch erhält unter Berücksichtigung der probabilistischen Gleichgewichtswahl der anderen Spieler. Die hinzugenommene probabilistische Variable im Einfluss auf die diskrete Wahl ist endogen im Modell .

Im Unterschied zum NGGW jedoch liefert das QRE die Möglichkeit statt deterministischen Aussagen, statistische Prognosen zu treffen. Die Güte dieser statistischen Aussagen hängt signifikant von der Präzision der Beliefs der Spieler über die erwarteten Auszahlungen der unterschiedlichen Strategien ab. Erfahrungen der Spieler und Lernfähigkeit spielen eine besondere Rolle, da diese Faktoren Einfluss auf die Fähigkeit präziser Einschätzungen erwarteter Auszahlungen aus bestimmten Strategien haben. Dieses Phänomen kann auch durch den Effekt steigender Beobachtungen in der Ökonometrie erklärt werden .

Formal

Annahmen

Die Normalform (Spieltheorie) eines Spiels mit den folgenden Elementen lautet:

• Spieler

Es existieren $i\in \mathbb {N}$ Spieler, wobei $N={1,...,n}$

• Im Strategieraum

  $s_{i}\in S$

existiert für jeden Spieler eine Strategie

$S_{ij}={\begin{pmatrix}s_{11}&...&s_{1i}\\...&&...\\s_{i1}&...&s_{ij}\end{pmatrix}}$

bestehend aus $J_{i}$ reinen Strategien.

• Auszahlungsfunktion

Für jeden Spieler $i\in \mathbb {N}$ gibt es eine Auszahlungsfunktion $u_{i}:S\to \mathbb {R}$, wo

$\prod _{i\in \mathbb {N} }S_{i}$

• Wahrscheinlichkeit

$p_{i}={\mathcal {P}}(X=x_{i})$ und $p_{i}:S_{i}\to \mathbb {R}$, wo

$\sum _{s_{ij}\in S_{i}}p_{i}(s_{ij})=1$ und $p_{i}(s_{ij})\geq 0$ für alle $s_{ij}\in S_{i}$

Zur Vollständigkeit sei erwähnt, dass sich alle p in einem Raum $\Delta$ von Wahrscheinlichkeiten befinden in dem gilt :

alle Anderen ${\bar {p}}_{i}$, wobei $p_{i}={\mathcal {P}}(X=x_{i})$ und ${\bar {p}}_{i}=1-{\mathcal {P}}(X=x_{i})$, sodass $p_{i}+{\bar {p}}_{i}=1$

also

$\Delta _{i}=\{p_{i}=(p_{i1},...,p_{iJ}):\sum _{j}p_{ij}=1,p_{ij}\geq 0\}$

• Wahrscheinlichkeit Spieler i wählt Strategie $s_{ij}$

$p_{ij}=p_{i}(s_{ij})$

Daher repräsentiert die Notation $(s_{ij},p_{-i})$ die Strategie, wo i die Strategie $s_{ij}$ wählt und alle anderen Spieler deren Ausprägung von p adaptieren.

• Nutzenfunktion

$u_{is}=V_{is}+\epsilon _{is}$

Wobei $V_{is}$ den deterministischen Teil und $\epsilon _{is}$ den probabilistischen Teil des Modells darstellt.

Weiterhin kann $\epsilon _{is}$ als Weißes Rauschen beschrieben werden und mit folgenden Annahmen versehen werden:

$\mathbb {E} [\epsilon _{is}]=0$ $\forall {is}$

Sowohl die Verteilungsfunktion als auch die Dichtefunktion sind unbekannt. Der Erwartungswert existiert und ist 0.

Im Logit Modell jedoch ist der probabilistische Teil der Nutzenfunktion extremwertverteilt, welche Annahme zu nützlichen Effekten führt. Der extremwertverteilte Errorterm kann als Spieler i's Fehler-Vektor definiert werden.

Die Nutzenfunktion der Spieler

Nutzenfunktion

$u_{is}=V_{is}+\epsilon _{is}$

Abweichungen von optimalen Entscheidungen sind negativ korreliert mit verbundenen Kosten. In anderen Worten machen Spieler sehr ungern Fehler mit hohen Kosten. Formal bildet die Nutzenfunktion einen Vektor mit einem deterministischen Teil $V_{is}$ und einem probabilistischen Teil $\epsilon _{is}$ mit oben genannten Annahmen. Erwartete Auszahlungen

$u_{i}(p)=p(s_{1})\cdot u_{i}(s_{1})+p(s_{2})\cdot u_{i}(s_{2})+...=\mathbb {E_{p}} [u_{i}]$

oder genauer $u_{i}(p)=\sum p(s)u_{i}(s)$

wiederum sind determiniert von Beliefs über die Aktionen anderer Spieler und bilden den deterministischen Teil der Nutzenfunktion. Die Auszahlungen der Spieler werden mit der Wahrscheinlichkeit, dass die Strategie gespielt wird, gewichtet.

Nash Gleichgewichte in reinen Strategien existieren unter oben genannten Annahmen nur noch in Erwartungswerten und mit Fehlerterm. Die Auszahlungen können durch den Vektor

${\bar {u}}(p)={\begin{pmatrix}u_{1}(p)\\u_{2}(p)\\...&\\u_{j}(p)\end{pmatrix}}$

wo,

${\bar {u}}_{ij}(p)=u_{i}(s_{ij},p_{-i})$

verständlicher gemacht werden.

Der Spieler i wählt Strategie j, wenn ${\bar {u}}_{ij}\geq {\hat {u}}_{ik}\forall k\in J$ und ${\bar {u}}_{ij}$ maximal wird. Zudem kommt der Errorterm $\epsilon$, sodass für jedes u für jeden Spieler i eine {ij}-Antwort-Menge R existiert:

$R_{ij}({\bar {u}}_{i})=\{\epsilon _{i}\in \mathbb {R} \mid {\bar {u}}_{ij}+\epsilon _{ij}\geq {\bar {u}}_{ik}+\epsilon _{ik}\ \forall k=1,...,J_{i}\}$

Eine Menge $R_{ij}({\bar {u}}_{i}(p))$ mit gegebenen p gibt die Region der Fehler an, die Spieler i zu Strategie j führt:

$\sigma _{ij}({\bar {u}}_{i})=\int _{R_{ij}({\bar {u}}_{i})}f(\epsilon )d\epsilon$

was der Wahrscheinlichkeit, dass Spieler i Strategie j gegeben ${\bar {u}}$ wählt und dem QRE entspricht.

Es entsteht eine mit Wahrscheinlichkeit gewichtete Auszahlung aller Strategien unter Berücksichtigung der Ausprägung des Residuums. Es existiert eine zufällige Beste-Antwort Funktion für alle Spiele in Normalform und somit auch ein QRE. Die Gleichgewichts-Wahlmöglichkeiten bilden das QRE. Im Gleichgewicht sind die Beliefs der Spieler richtig. Eine Modellierung ist durch das logit equilibrium möglich, da unbeobachtete Störterme Abweichungen des Nutzens der Spieler zur Folge haben und als Ziel der Modellierung so klein wie möglich gehalten werden sollen.

Logit

Die gängigste Angabe eines QREs ist das logit Gleichgewicht (engl. logit equilibrium) LQRE :

Gumbel-Verteilungsfunktion

Kerngedanke der Logit Modellierung der Wahl der Strategie von Spielern bildet ein Discret Choice Modell. Somit ist es möglich Aussagen bezüglich der Auswahl von alternativen Strategie der Spieler zu treffen. Spieler $i\in \mathbb {N}$ wählt aus dem Strategienraum $s_{i}\in S$ ohne Berücksichtigung der Zeit $t\in T$, da es sich um ein einmaliges Spiel handelt. Der Spieler präferiert Strategie $s$ vor ${\bar {s}}$, wenn gilt:

Gumbel-Dichtefunktion

$u_{is}\geq u_{i{\bar {s}}}\forall s,{\bar {s}}\in S,s\neq {\bar {s}}$

Unter Logit Modellen versteht man eine Form der Discrete Choice Modelle in der der probabilistische Teil der Nutzenfunktion $\epsilon _{is}$ aus unabhängig identisch extremverteilten (iid) $e\sim {\mathcal {E}}(\lambda ,\gamma )$ Variablen abhängt. Diese Zufallszahlen bestehen aus nicht beobachtbaren Störgrößen. Nach dem Fisher-Tippett Theorem (später Fisher-Tippett Gnedenko Theorem) nähern sich diese einer Extremwertverteilung an .

Gumbel-Realisationen (Standard)

Die Verteilungsfunktion (Über-Extremwertverteilung) erfüllt diese Annahmen und ist eine Klasse der Extremwertverteilung. Die Verteilungsfunktion (Graphik 1) zeigt an, wie wahrscheinlich ein Ergebnis ist, das höchstens der auf der x-Achse stehender Wert beobachtet wird. Die Realisationen (Graphik 3,4) dieser Verteilung zeigen die Beobachtungen im Zeitverlauf. Unter Standard ist hier die Gumbel-Verteilung (0,1) definiert und (mu,beta) gibt eine anders skalierte Ausprägung der Realisationen an. Der Flächeninhalt unter der Dichtefunktion (Graphik 2) bis zu einer Realisation korrespondiert zur Wahrscheinlichkeit, zu der höchstens dieser Wert eintritt.

Gumbel-Realisationen (mu,beta)

Daher sind probabilistische Störgrößen als Maximum der Zufallszahlen zu verstehen. Die Form des Logit Modells erlaubt Schätzungen mithilfe der Maximum Likelihood Methode über die Wahl der Spieler zu schätzen. Durch extremverteilte probabilistische Störterme ergibt sich die Auswahlwahrscheinlichkeit :

${\mathcal {P}}_{i}^{MNL}(s|S)={\mathcal {P}}(u_{is}\geq u_{i{\bar {s}}}\forall s\neq {\bar {s}})={\frac {e^{\mu V_{is}(\beta )}}{\sum _{{\bar {s}}\in S}e^{\mu V_{is}(\beta )}}}$

$\mu \in \mathbb {R} ^{+}$ kann in diesem Fall als Rationalitätsparameter identifiziert werden und gibt an, wie rational die Spieler entscheiden. Ein Spieler mit $\mu \to 0$ entscheidet perfekt rational und alle Vorhersagen konvergieren zum NGGW.

Problematisch allerdings ist die iid Annahme der Störterme. Die resultierende Korrelation von 0 zwischen den Störtermen hat ein Verhältnis der Auswahlwahrscheinlichkeiten zur Folge.

Für die Alternativen $s\neq s^{\dagger }$ gilt das Verhältnis :

${\frac {{\mathcal {P}}_{i}^{MNL}(s|S)}{{\mathcal {P}}_{i}^{MNL}(s^{\dagger }|S)}}={\frac {\frac {e^{\mu V_{is}(\beta )}}{\sum _{s\in S}e^{\mu V_{is}(\beta )}}}{\frac {e^{\mu V_{is^{\dagger }}(\beta )}}{\sum _{s^{\dagger }\in S}e^{\mu V_{is^{\dagger }}(\beta )}}}}={\frac {e^{\mu V_{is}(\beta )}}{e^{\mu V_{is^{\dagger }}(\beta )}}}$

Die Konstanz dieses Verhältnisses widerspricht der Unabhängigkeit von irrelevanten Alternativen (engl. Independent Of Irrelevant Alternatives (IIA)).

Anwendungen

Das QRE findet in Spielen mit diskreten Strategien Anwendung. Im Traveler's Dilemma kann das QRE beobachtete Daten des Verhaltens der Spieler erklären. Wobei es möglich ist, bei bestimmter Wahl des Rationalitätsparameters, jegliches Verhalten von Spielern zu modellieren .

s_{i,j}	$s_{2,1}$	$s_{2,2}$
$s_{1,1}$	(-1,1)	(1,-1)
$s_{1,2}$	(-1,1)	(1,-1)

Spielermenge $N={1,2}$

Strategienmenge $s_{1}\neq s_{2}\in S$

Strategienmenge Spieler 1 $s_{1}=\{T,B\}$

Strategiemenge Spieler 2 $s_{2}=\{L,R\}$

Nullsummenspiel mit diskreten Strategien

Zeilenspielers erwartete Auszahlungsfunktion aus Strategie T ($U_{T}$) ist eine Funktion der Auswahlwahrscheinlichkeit von Spaltenspielers Strategie R ($p_{R}$), welche durch Erwartungswerte gebildet werden kann:

$U_{T}(p_{R})=p_{R}-(1-p_{R})=2p_{R}-1$

Grafische Darstellung, Anwendung

Analog dazu bildet sich Zeilenspielers erwartete Auszahlungsfunktion aus Strategie B aus der Auswahlwahrscheinlichkeit von Spaltenspieler seiner Strategie R :

$U_{B}(p_{R})=1-2p_{R}$

Falls Spaltenspieler lieber R spielt ( $p_{R}\geq 1/2$ ) ist Zeilenspielers beste Antwort Strategie T .

Spaltenspielers erwartete Auszahlungen können analog errechnet werden.

Die Quantal Response Funktion glättet die unstetige errechnete Beste-Antwort Funktion und repräsentiert monotone und stochastische Wahl als eine Funktion von Auszahlungen . In der Graphik schneiden sich Quantal Response Funktion und beste-Antwort Funktion im Nash Gleichgewicht. Bei einem anderen Rationalitätsparameter verschiebt sich die Quantal Response Funktion und es kommt zu anderen statistischen Vorhersagen bezüglich eines Gleichgewichts. Die Quantal Response Funktion des Gegenspielers errechnet sich analog.

Aufbau QRE in Extensivform

Verbal

In extensiver Form des Spiels wird der Faktor Zeit in das Modell mit aufgenommen und es entsteht eine Art Stufenspiel. Im deterministischen Modell können auch im unendlich oft wiederholten Stufenspiel Aussagen über ein zeitresistentes Gleichgewicht getroffen werden, da ein NGGW immer ein Gleichgewicht bleiben muss. Der probabilistische Einfluss und der Störterm jedoch verhindern diese Fähigkeit durch die Abhängigkeit des Gleichgewichts von den Realisationen verschiedener Zufallsvariablen. Es können lediglich Erwartungswerte angegeben werden, die letztendlich keine sicheren Vorhersagen treffen können. Das Gesetz der großen Zahlen bewirkt, dass mit steigenden Beobachtungen konsistentere Aussagen über Gleichgewichte getroffen werden können. McKelvey und Palfrey definieren für das dynamische Spiel ein agent quantal response equilibrium (AQRE), welches mithilfe von Teilspielperfektheit ermittelt werden kann. In diesem Spiel determiniert jeder Spieler seine erwartete Auszahlung mithilfe einer Modellierung der Zukunft als einen eigenen Spieler mit Kenntnis über die Wahrscheinlichkeitsverteilung über die Strategien .

Siehe auch

• Spieltheorie
• Lösungskonzept
• Extensivform
• Normalform
• Nash-Gleichgewicht
• Ökonometrie
• Logistische Regression

Literatur

• McFadden, D., 1973. Conditional logit analysis of qualitative choice behavior
• Fisher, R. A., Tippett, L. H. C., 1928. Limiting forms of the frequency distribution of the largest or smallest member of a sample. In: Mathematical Proceedings of the Cambridge Philosophical Society. Vol. 24. Cambridge Univ Press
• Train, K. E., 2009. Discrete Choice Methods with Simulation

Weblinks

• McKelvey, Palfrey 1995: URL http://www.dklevine.com/archive/refs4510.pdf
• McKelvey, Palfrey 1998: URL http://fisher.osu.edu/~schroeder.9/AMIS900/McKelvey1998.pdf
• Becker, Carter, Naeve 2005: URL https://www.uni-hohenheim.de/RePEc/hoh/papers/252.pdf
• Goeree, Holt, Palfrey : URL http://people.hss.caltech.edu/~jkg/QRE%20Palgrave.pdf
• Economics 209B , Behavioral / Experimental Game Theory: URL http://eml.berkeley.edu/~kariv/209B_QRE.pdf
• Grafik 1: https://commons.wikimedia.org/wiki/File:Grafik_QRE.png
• Grafik 2: https://commons.wikimedia.org/wiki/File:Gumbel-Verteilung.png
• Grafik 3: https://commons.wikimedia.org/wiki/File:Gumbel_Dichte.png
• Grafik 4: https://commons.wikimedia.org/wiki/File:Gumbel_Standard.png
• Grafik 5: https://commons.wikimedia.org/wiki/File:Gumbel_(mu,beta).png

Kategorie: Spieltheorie Kategorie: Ökonometrie