Differentielle Entropie

Begriff der Informationstheorie

Die differentielle Entropie ist ein Begriff aus der Informationstheorie und stellt ein Maß für die Entropie einer kontinuierlichen Zufallsvariable dar, ähnlich der Shannon-Entropie für diskrete Zufallsvariablen.

Genaugenommen ist sie eine Kennzahl einer Wahrscheinlichkeitsverteilung. Sie kann zum Vergleich zweier kontinuierlicher Zufallsvariablen herangezogen werden, besitzt jedoch nicht die gleiche Aussage wie die Shannon-Entropie. Einen Versuch die differentielle Entropie anzupassen, um ähnliche Eigenschaften wie die der Shannon-Entropie zu erhalten, ist die "limiting density of discrete points" von Edwin Thompson Jaynes.[1]

Definition

Bearbeiten

Eine kontinuierliche Zufallsvariable   kann unendlich viele Werte annehmen, d. h. könnte man ihre Werte exakt ermitteln, wäre die Wahrscheinlichkeit   für einen bestimmten Wert   gleich Null:

 

Und somit der Informationsgehalt eines jeden Werts unendlich:

 

Sei   eine kontinuierliche Zufallsvariable mit der Wahrscheinlichkeitsdichtefunktion  , dann ist ihre differentielle Entropie definiert als

 

Im Gegensatz zur Shannon-Entropie kann die differentielle Entropie auch negativ sein.

Da die differentielle Entropie nicht skalierungsinvariant ist (s. u.), empfiehlt es sich, die Zufallsvariable geeignet zu normieren, sodass sie dimensionslos ist.

Eigenschaften

Bearbeiten
  • Die differentielle Entropie ist verschiebungsinvariant, d. h.   für konstante  . Es ist somit hinreichend, mittelwertfreie Zufallsvariablen zu betrachten.
  • Für die Skalierung gilt:   mit dem Zufallsvektor   und dem Betrag der Determinante  .

Differentielle Entropie für verschiedene Verteilungen

Bearbeiten

Für eine gegebene Varianz   besitzt die Gauß-Verteilung die maximale differentielle Entropie, d. h. ihre „Zufälligkeit“ oder ihr Überraschungswert ist – verglichen mit allen anderen Verteilungen – am größten. Sie wird deshalb auch zur Modellierung von Störungen beim Kanalmodell verwendet, da sie ein Worst-Case-Modell für Störungen darstellt (siehe auch additives weißes gaußsches Rauschen).

Für einen endlichen Wertebereich, d. h. ein gegebenes Betragsmaximum besitzt eine gleichverteilte Zufallsvariable die maximale differentielle Entropie.

Übersicht verschiedener Wahrscheinlichkeitsverteilungen und ihre differentielle Entropie
Verteilung Wahrscheinlichkeitsdichtefunktion Differentielle Entropie (in Bit) Träger
Gleichverteilung      
Normalverteilung      
Laplace-Verteilung      
Symmetrische Dreiecksverteilung      

Literatur

Bearbeiten
  • Thomas M. Cover, Joy A. Thomas: Elements of Information Theory. John Wiley & Sons, 1991, ISBN 0-471-06259-6, S. 224–238.
  • Martin Werner: Information und Codierung. Grundlagen und Anwendungen, 2. Auflage, Vieweg+Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.
  • Peter Adam Höher: Grundlagen der digitalen Informationsübertragung. Von der Theorie zu Mobilfunkanwendungen, 1. Auflage, Vieweg+Teubner Verlag, Wiesbaden 2011, ISBN 978-3-8348-0880-6.
Bearbeiten

Einzelnachweise

Bearbeiten
  1. Edwin Thompson Jaynes: Prior Probabilities. In: IEEE Transactions on Systems Science and Cybernetics. Band 4, Nr. 3, 1968, ISSN 0536-1567, S. 227–241, doi:10.1109/TSSC.1968.300117 (wustl.edu [PDF; abgerufen am 1. April 2021]).