Maximum-Entropie-Methode

Die Maximum-Entropie-Methode oder MEM ist eine Methode der Bayesschen Statistik, die erlaubt, trotz mangelhafter problemspezifischer Information eine A-priori-Wahrscheinlichkeit zuzuweisen. Sie ersetzt frühere Ansätze, wie etwa das von Laplace formulierte „Prinzip vom unzureichenden Grunde“.

Ursprung und Vorgehensweise

Die Methode wurde 1957 von Edwin Thompson Jaynes in Anlehnung an Methoden der statistischen Mechanik und der Shannonschen Informationstheorie eingeführt. Die Grundidee des Maximum-Entropie-Verfahrens ist es, in Situationen ohne spezifische Informationen, die Unsicherheit der A-priori-Wahrscheinlichkeiten so zu maximieren, dass keine willkürlichen Annahmen über die gegebene Situation gemacht werden müssen. Die Maximum-Entropie-Methode legt sich so wenig wie möglich fest. Jaynes zufolge ist dies aber nur der letzte Schritt, um nach Einfüllen aller vorhandenen Information etwaige noch bestehende Lücken zu schließen.

In der statistischen Physik bedeutet dies: „Unter allen Zuständen eines physikalischen Systems, die kompatibel mit dem vorhandenen Wissen über das System sind, ist jener zu wählen, welcher die Entropie maximiert.“

Die Methode wird zur optimalen Extraktion von Information aus verrauschten Signalen in Abhängigkeit vom Signal-Rausch-Verhältnis verwendet. Sie findet auch in der Spektralanalyse und der digitalen Bildverarbeitung Anwendung.

Definition

Entropie ist ein Maß für den Informationsgehalt einer Zufallsvariable $X$. Ein weniger wahrscheinliches Ergebnis vermittelt mehr Informationen als ein wahrscheinlicheres Ergebnis. Entropie ist also ein Maß für die Unsicherheit eines Ergebnisses. Wenn das Ziel darin besteht, eine möglichst „unwissende“ Wahrscheinlichkeitsverteilung zu finden, sollte die Entropie folglich maximal sein. Formal ist Entropie wie folgt definiert:

Wenn $X$ eine diskrete Zufallsvariable mit der Wahrscheinlichkeitsverteilung $P(X=x_{i})=p_{i}$ ist, dann ist die Entropie von $X$ definiert als

$\mathrm {H} (X)=-\sum _{i}p_{i}\log _{2}p_{i}$

Wenn $X$ eine stetige Zufallsvariable mit der Wahrscheinlichkeitsdichte $p(x)$ ist, dann ist die differentielle Entropie von $X$ definiert als

$\mathrm {H} (X)=-\int _{-\infty }^{+\infty }p(x)\log p(x)\,\mathrm {d} x$

Wallis-Verteilung

Ein Ansatz zur Berechnung der Entropie wurde von Graham Wallis vorgeschlagen. Es sind Informationen gegeben, die Wahrscheinlichkeiten $p_{1},\ldots ,p_{m}$ verschiedenen Zufallsvariablen zuweisen. Die Gesamtwahrscheinlichkeit wird unter ihnen aufgeteilt, also gilt $\sum _{i=1}^{m}p_{i}=1$.

Wählt man einige ganze Zahlen $n$, die wesentlich größer als $m$ sind, und nimmt an, man hat $n$ kleine Mengen von Wahrscheinlichkeiten, jeweils von der Größe $\delta ={\tfrac {1}{n}}$, um sie auf richtige Weise zu verteilen. Angenommen, man soll diese Mengen unter $m$ Möglichkeiten zufällig verteilen. Wenn man diese Wahrscheinlichkeiten so verteilt, dass jede Box die gleiche Wahrscheinlichkeit hat, erhält man, dass das Zufallsexperiment folgende Wahrscheinlichkeiten hat: $p_{i}=n_{i}\cdot \delta ={\tfrac {n_{i}}{n}}$. Die Wahrscheinlichkeit, dass dies geschehen wird, ist die Multinomialverteilung ${\frac {n!}{n_{1}!\cdot \dots \cdots n_{m}!}}$.

Für große $n$ folgt aus der Stirlingformel

$n!\sim {\sqrt {2\pi n}}\;\left({\frac {n}{\mathcal {e}}}\right)^{n}$

Logarithmieren ergibt

$\log(n!)\sim \log \left({\sqrt {2\pi n}}\right)+n\log \left({\tfrac {n}{e}}\right)$

$\log(n!)\sim \log \left({\sqrt {2\pi n}}\right)+n\log(n)-n$

Nimmt man den Logarithmus von $W$ und ersetzt $\log(n!)$ durch die Näherung der Stirlingformel, erhält man schließlich die Definition der Informationsentropie, wie sie durch den Satz von Shannon abgeleitet wird:

$-\sum _{i=1}^{m}p_{i}\log _{2}p_{i}=\mathrm {H} (p_{1},\ldots ,p_{m})$

Lagrange-Multiplikatoren

Anstatt die Einschränkungsgleichungen zu verwenden, um die Anzahl der Unbekannten zu verringern, kann man die Anzahl der Unbekannten erhöhen. Man definiert die Lagrange-Multiplikatoren $\alpha$ und $\beta$ und dann die Lagrange-Funktion

$L=S-(\alpha -\log _{2}e)\left(\sum _{i}p(A_{i})-1\right)-\beta \left(\sum _{i}g(A_{i})p(A_{i})-G\right)$

wobei $\log _{2}e\approx 1{,}4427$. Der Lagrange-Multiplikator $\alpha$ wird wie Entropie in Bit gemessen, und $\beta$ wird in Bit pro Einheit $G$ gemessen. Wenn $S$ in Joule pro Kelvin ausgedrückt wird und natürliche Logarithmen in der Entropiedefinition verwendet werden, ist die Formel für $L$ etwas anders:

$L=S-k_{B}(\alpha -1)\left(\sum _{i}p(A_{i})-1\right)-k_{B}\beta \left(\sum _{i}g(A_{i})p(A_{i})-G\right)$

und die Einheiten für $\alpha$ und $\beta$ sind nicht mehr in Bits: $\alpha$ ist dimensionslos und $\beta$ wird mit dem Inversen der Einheiten von $G$ ausgedrückt.

Anwendungen in den Wirtschaftswissenschaften

Ein relativ neues Anwendungsgebiet der MEM stellt die Makroökonomik dar. Im Rahmen der ökonophysikalischen Strömung, die abseits des wirtschaftswissenschaftlichen Mainstreams verschiedene Methoden der statistischen Mechanik auf die Modellierung der Wirtschaft anwendet, kam es zur Verwendung der MEM.

Anwendungen in der Ökologie

In der Biogeographie wird die Maximum-Entropie-Methode zur Modellierung von Verbreitungsgebieten verwendet. Ein Beispiel dafür ist die Software Maxent.

Literatur

• Edwin Thompson Jaynes: Information Theory and Statistical Mechanics. In: The Physical Review. Band 106, Nr. 4, 15. Mai 1957, S. 620–630 (bayes.wustl.edu [PDF]). 
• Nailong Wu: The Maximum Entropy Method. Springer, Berlin 1997, ISBN 978-3-540-61965-9. 

Weblinks

• Eine Einführung (auf Englisch)
• Kurzerklärung (auf Englisch)