Kolmogorow-Sinai-Entropie

Die Kolmogorow-Sinai-Entropie ist eine Invariante maßerhaltender Abbildungen im mathematischen Teilgebiet der dynamischen Systeme. Sie verallgemeinert den aus der Wahrscheinlichkeitstheorie (und ursprünglich der Thermodynamik) bekannten Entropie-Begriff. Die Entropie soll messen, wie viel Information man mit jedem neuen Schritt des dynamischen Systems erhält. Ihre Definition geht auf Andrei Kolmogorow zurück, aber erst Jakow Sinai gelang Ende der 1950er Jahre der Nachweis der Nichttrivialität dieser Invariante. Unter anderem dafür erhielt Sinai 2014 den Abelpreis.

Intuitiv misst die Kolmogorow-Sinai-Entropie die Chaotizität dynamischer Systeme. Sie ist trivial, d. h., ihr Wert ist Null, für nicht-chaotische Abbildungen wie zum Beispiel Drehungen.

Sie wird auch als maßtheoretische Entropie oder metrische Entropie oder abgekürzt als KS-Entropie bezeichnet.

Definition

Es sei $(X,\Sigma ,P)$ ein Wahrscheinlichkeitsraum und $f\colon X\to X$ eine maßerhaltende Abbildung.

Bekanntlich wird in der Wahrscheinlichkeitstheorie die Entropie einer Partition $Q$ (d. h. einer disjunkten Zerlegung $X=Q_{1}\cup \ldots \cup Q_{r}$ ) definiert durch

H(Q):=-\sum _{i=1}^{r}P(Q_{i})\log P(Q_{i})

.

Die Entropie von $f$ bzgl. der Partition $Q$ ist dann definiert als

h(f,Q):=\lim _{N\rightarrow \infty }{\frac {1}{N}}H\left(\bigvee _{n=0}^{N}f^{-n}Q\right)

,

wobei

\bigvee _{n=0}^{N}f^{-n}Q=\left\{Q_{i_{0}}\cap f^{-1}Q_{i_{1}}\cap \cdots \cap f^{-N}Q_{i_{N}}{\text{ mit }}i_{\ell }=1,\ldots ,k,\ \ell =0,\ldots ,N,\ P\left(Q_{i_{0}}\cap f^{-1}Q_{i_{1}}\cap \cdots \cap f^{-N}Q_{i_{N}}\right)>0\right\}

.

(Die Existenz des Grenzwertes ist die Aussage des Satzes von Shannon-MacMillan.)

Schließlich ist die Kolmogorow-Sinai-Entropie der maßerhaltenden Abbildung $f$ definiert als das Supremum von $h(f,Q)$ über alle Partitionen $Q$ :

h(f)=\sup _{Q}h(f,Q).

Erzeugende Partitionen (Satz von Sinai)

Der Satz von Sinai besagt, dass man die Kolmogorow-Sinai-Entropie effektiv berechnen kann, mittels erzeugender Partitionen.

Definition: Eine erzeugende Partition eines maßerhaltenden dynamischen Systems $(X,\Sigma ,P,f)$ ist eine endliche Zerlegung $X=Q_{1}\cup \ldots \cup Q_{r}$ , so dass $\Sigma$ die kleinste σ-Algebra ist, die alle $f^{n}Q_{i}$ ( $n\in \mathbb {Z} ,i\in \left\{1,\ldots ,r\right\}$ ) enthält.

Satz (Sinai): Wenn $Q$ erzeugende Partition eines maßerhaltenden dynamischen Systems $(X,\Sigma ,P,f)$ ist, dann ist

h(f)=h(f,Q)

.

Beispiele

Für eine Drehung des Kreises (oder allgemeiner des n-dimensionalen Torus) ist die Entropie trivial^[1]:

h(f)=0

.

Für die durch eine ganzzahlige unimodulare Matrix $A\in GL(n,\mathbb {Z} )$ definierte Selbstabbildung $f\colon T^{n}\to T^{n}$ des n-dimensionalen Torus $T^{n}=\mathbb {R} ^{n}/\mathbb {Z} ^{n}$ ist

h(f)=\sum _{\mid \lambda _{i}\mid >1}\log(\mid \lambda _{i}\mid )

,

wobei

\lambda _{1},\ldots ,\lambda _{n}

die Eigenwerte von

A

(ggf. entsprechend ihrer Vielfachheit gezählt) sind. Dies wurde 1959 von Sinai bewiesen und war das erste Beispiel einer Abbildung nichttrivialer Entropie.^[2]

Definition in der Stochastik und Statistik

In der Stochastik sowie in der hoch-dimensionalen Statistik wird der Begriff in leicht abgewandelter Form verwendet.

Sei $(X,d)$ metrischer Raum, $\delta >0$ und mit $B_{r}(t)$ notieren wir den offenen $r$ -Ball mit Zentrum $t$ . Wir definieren die Überdeckungsnummer einer $\delta$ -Überdeckungen (oder eines $\delta$ -Netz) als

N(\delta ,X,d):=\inf\{n:\exists t_{1},\dots ,t_{n}\in X,{\text{so dass }}X\subset \bigcup \limits _{k=1}^{n}B_{\delta }(t_{k})\}

Die metrische Entropie ist dann der Logarithmus der Überdeckungsnummer^[3]

H_{\delta }(X)=\log(N(\delta ,X,d)).

Literatur

P. Billingsley: Ergodic Theory and Information. J. Wiley, 1965.
I.P. Cornfeld, S.F. Fomin, Ya.G. Sinai: Ergodic Theory. Springer, 1981.
A.N. Kolmogorov: New Metric Invariant of Transitive Dynamical Systems and Endomorphisms of Lebesgue Spaces. In: Doklady of Russian Academy of Sciences. 119, Nr. 5, 1958 S. 861–864.
A.N. Kolmogorov: Entropy per unit time as a metric invariant of automorphism. In: Doklady of Russian Academy of Sciences. 124, 1959, S. 754–755.
E. Lindenstrauss, Y. Peres, W. Schlag: Bernoulli convolutions and intermediate values for entropy of K-partitions. In: J. Anal. Math. 87, 2002, S. 337–367.
W. Parry: Entropy and Generators in Ergodic Theory. W.A. Benjamin, Inc., New York/Amsterdam 1969.
Ya.G. Sinai: On the Notion of Entropy of a Dynamical System. In: Doklady of Russian Academy of Sciences. 124, 1959, S. 768–771.
P. Walters: An Introduction to Ergodic Theory. Springer, New York/Berlin, 1969-

Weblinks

The entropy of a dynamical System. (Populärwissenschaftliche Darstellung aus Anlaß des Abelpreises für Sinai)
Sinai: Kolmogorov-Sinai entropy. Scholarpedia.

Einzelnachweise

↑ Katok-Hasselblatt: Introduction to the modern theory of dynamical systems. ( = Encyclopedia of Mathematics and its Applications. 54). Cambridge University Press, Cambridge, 1995, ISBN 0-521-34187-6, Abschnitt 4.4
↑ Sinai: On the concept of entropy for a dynamic system. In: Dokl. Akad. Nauk SSSR. 124, 1959 (russisch).
↑ Blei, Ron, Fuchang Gao, and Wenbo V. Li. “Metric Entropy of High Dimensional Distributions.” Proceedings of the American Mathematical Society 135, no. 12 (2007): 4009–18. http://www.jstor.org/stable/20535040.

[1] Katok-Hasselblatt: Introduction to the modern theory of dynamical systems. ( = Encyclopedia of Mathematics and its Applications. 54). Cambridge University Press, Cambridge, 1995, ISBN 0-521-34187-6, Abschnitt 4.4

[2] Sinai: On the concept of entropy for a dynamic system. In: Dokl. Akad. Nauk SSSR. 124, 1959 (russisch).

[3] Blei, Ron, Fuchang Gao, and Wenbo V. Li. “Metric Entropy of High Dimensional Distributions.” Proceedings of the American Mathematical Society 135, no. 12 (2007): 4009–18. http://www.jstor.org/stable/20535040.

[1]

[2]

[3]