Verbundentropie

Die Verbundentropie ist ein Maß für den mittleren Informationsgehalt mehrerer Nachrichtenquellen.

Definition

Die Verbundentropie für zwei Quellen ist folgendermaßen definiert:^[1]

H(XY):=-\sum _{y\in Y}\sum _{x\in X}Pr\{X=x,Y=y\}\log _{2}(Pr\{X=x,Y=y\})\quad {\Big [}{\frac {\text{ bit }}{\text{Symbolpaar}}}{\Big ]}

Hierbei sind $x$ und $y$ jeweils einzelne Symbole aus den Quellenalphabeten $X$ und $Y$ .

Im Spezialfall der statistischen Unabhängigkeit der Quellen gilt

Pr\{X=x_{i},Y=y_{j}\}=Pr\{X=x_{i}\}\cdot Pr\{y=y_{j}\}

und somit

H(XY)=H(X)+H(Y)

.

Für mehr als zwei Quellen ergibt sich:

H(X_{1},\dots ,X_{n})=-\sum _{x_{1}}\dots \sum _{x_{n}}Pr\{x_{1},\dots ,x_{n}\}\log _{2}(Pr\{x_{1},\dots ,x_{n}\})

Martin Werner: Information und Codierung. Grundlagen und Anwendungen, 2. Auflage, Vieweg + Teubner Verlag, Wiesbaden 2008, ISBN 978-3-8348-0232-3.
Peter Bocker: Datenübertragung. Band I – Grundlagen. Springer Verlag, Berlin / Heidelberg 1976, ISBN 978-3-662-06499-3.

↑ T. H. Cover, J. A. Thomas, Elements of Information Theory, S. 16 f, 2nd Edition, 2006, Wiley Interscience, ISBN 978-0-471-24195-9