Die Brier-Score ist eine proper score function, also eine saubere Bewertungs-Regel, die die Genauigkeit einer wahrscheinlichkeitsbasierten Vorhersage charakterisiert und von Glenn W. Brier im Jahr 1950 vorgeschlagen wurde [1]. Sie wird zur Bewertung von Vorhersagen angewendet, bei denen das Eintreffen von sich wechselseitg ausschließender Ereignisse durch eine Angabe von Wahrscheinlichkeiten vorhergesagt wird. Dabei müssen sich die den Ereignissen zugeordneten und vorhergesagten Eintrittswahrscheinlichkeiten zu 1 summieren.
Definition der Brier-Score
BearbeitenDie am häufigsten anzutreffende Definition der Brier-Score lautet
wobei die Wahrscheinlichkeit bezeichnet, die bei der Vorhersage für den Eintritt des Ereignisses angegeben wurde, und die Anzahl der Vorhersagen bezeichnet. Tritt das Ereignis tatsächlich ein, so ist ; tritt es nicht ein, so ist . Je kleiner der Wert der Brier-Score ist, desto besser ist die Genauigkeit der Vorhersagen. Die Brier-Score kann nach obiger Definition Werte zwischen 0 und 1 annehmen. Diese Definition der Brier-Score wird meistens für binäre Ereignisse (beispielsweise: "Regen", "kein Regen") benutzt, für die sie eine saubere Bewertungs-Regel darstellt. Für die Evaluation von multi-kategorialen Vorhersagen sollte die originale Definition von Brier verwendet werden (siehe weiter unten).
![{\displaystyle f_{t}\in [0,1]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/93fb25256400fdfa6e40fb859bbe7d8b39e12f44)
Definition der Brier-Score für multi-kategoriale Vorhersagen
BearbeitenSollen Vorhersagen mit der Brier-Score bewertet werden, bei denen jedes Ereignis in eine von Kategorien fallen kann, so wird die Brier-Score in der originalen Definition [1] verwendet,
wobei die Anzahl der Vorhersagen, die in der -ten Vorhersage angegebene Eintrittswahrscheinlichkeit für das Ereignis der Kategorie und den tatsächlichen Eintritt (1) oder Nicht-Eintritt (0) desselben Ereignisses bezeichnet. Mit dieser Definition ist die Brier-Score auch eine saubere Bewertungs-Rege für multi-kategoriale Vorhersagen. Für binäre Ereignisse wird über diese Definition ein Wert erhalten, der doppelt so groß ist wie der Wert für die obige einfache Definition. Die Brier-Score für multi-kategoriale Vorhersagen kann Werte zwischen 0 und 2 annehmen, wobei kleinere Werte einer besseren Genauigkeit der Vorhersagen entsprechen.
![{\displaystyle f_{ti}\in [0,1]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ecb26b3e69fcab16200669592cb54afa6491df70)
