Fuzzy-c-Means-Algorithmus

In der Informatik ist der Fuzzy-c-Means-Algorithmus, auch Algorithmus der c unscharfen Mittelwerte, ein unüberwachter Clustering-Algorithmus, der eine Erweiterung des k-Means-Clustering-Algorithmus ist. In einer generalisierten Form wurde er von Bezdek (1981) vorgestellt.^[1]

Grundidee

Im c-Means-Clustering wird die Zahl der Cluster $C$ zunächst festgelegt (im k-Means-Clustering wird die Zahl der Cluster mit $k$ statt mit $C$ bezeichnet). Im ersten Schritt werden zufällig Clusterzentren $v_{i}$ (Kreise unten in der Grafik) festgelegt. Im zweiten Schritt wird jedes Objekt (Rechtecke unten in der Grafik) dem nächsten Clusterzentrum zugeordnet. Danach werden die (quadrierten) Abstände zwischen jedem Objekt und seinem zugeordneten Clusterzentrum berechnet und für alle Beobachtungen aufsummiert ( $J_{kmeans}$ ). Das Ziel ist es, den Wert von $J_{kmeans}$ so klein wie möglich zu machen, d. h. Positionen für die Clusterzentren zu finden, so dass der Abstand zwischen jedem Objekt und seinem zugehörigen Clusterzentrum klein ist. Im dritten Schritt werden daher die Clusterzentren aus den Objekten, die zu einem Cluster gehören, neu berechnet. Im vierten Schritt wird wieder jedem Objekt sein nächstes Clusterzentrum zugeordnet. Dieses Verfahren wird iteriert bis sich eine stabile Lösung findet. Wie die folgende Grafik zeigt, können Objekte im Verlauf des Iterationsprozesses durchaus verschiedenen Clustern zugeordnet werden; vergleiche die Grafik zu Schritt 2 und Schritt 4.

k-Means Clustering
Schritt 1: Zufällige Wahl der Clusterzentren
Schritt 2: Zuordnung der Objekte zu einem Clusterzentrum
Schritt 3: Neuberechnung der Clusterzentren
Schritt 4: Erneute Zuordnung der Objekte zu einem Clusterzentrum

Der Nachteil des k-Means-Clustering ist, dass jedes Objekt in jedem Schritt eindeutig einem Clusterzentrum zugeordnet wird. Das führt dazu, dass die endgültige Lösung stark von der Wahl der Position der Clusterzentren am Anfang abhängen kann. Natürlich ist man an einer eindeutigen Lösung interessiert, möglichst unabhängig von der Position der Clusterzentren am Anfang.

Im Fuzzy-c-Means-Algorithmus wird daher jedes Objekt nicht eindeutig einem Clusterzentrum zugeordnet, sondern jedem Objekt wird ein Satz Gewichte $(u_{1i},\ldots ,u_{Ci})$ zugeordnet, die angeben, wie stark die Zugehörigkeit zu einem bestimmten Cluster ist. Beispielsweise könnte für das rote Objekt in Schritt 2 die Gewichte

$u_{\text{blau}}=0{,}1$ für den blauen Cluster
$u_{\text{grün}}=0{,}1$ für den grünen Cluster und
$u_{\text{rot}}=0{,}8$ für den roten Cluster sein.

Diese Gewichte werden dann auch benutzt um den gewichteten Abstand zu allen Clusterzentren zu berechnen. Am Ende werden dann Objekte, die nahe einem bestimmten Clusterzentrum liegen, große Gewichte für diesen Cluster haben. Das blaue Objekt nahe dem blauen Clusterzentrum in Schritt 4 könnte z. B. die Gewichte $u_{\text{blau}}=0{,}90$ , $u_{\text{grün}}=0{,}05$ und $u_{\text{rot}}=0{,}05$ haben. Die beiden blauen Objekte nahe der Grenze zum grünen Cluster könnten dann z. B. die Gewichte $u_{\text{blau}}=0{,}5$ , $u_{\text{grün}}=0{,}45$ und $u_{\text{rot}}=0{,}05$ haben.

Die Gewichte $(u_{1i},\ldots ,u_{Ci})$ für jedes Objekt stellen sogenannte Fuzzy-Zahlen dar. Die Gewichte müssen sich auch nicht für jedes Objekt zu Eins addieren (wie es in diesem Abschnitt zum besseren Verständnis gemacht wurde). Aus der Ableitung vom k-Means-Clustering stammt auch der Name Fuzzy-c-Means.

Mathematische Beschreibung des Algorithmus

Der Begriff fuzzy beschreibt dabei eine Methode der Clusteranalyse, die es erlaubt, ein Objekt mehr als nur einem Cluster zuzuordnen. Ermöglicht wird dies dadurch, dass ein Grad der Zugehörigkeit (membership degree) $u_{ik}$ des Objekts $x_{k}\ (k=1,\dots ,N)$ zu jedem Cluster $i\ (i=1,\dots ,C)$ verwendet wird. Jedes $u_{ik}$ liegt dabei im Intervall [0, 1]. Je größer $u_{ik}$ , desto stärker ist die Zugehörigkeit von $x_{k}$ zu $i$ .

Die Zielfunktion des Fuzzy-c-Means-Algorithmus lautet:

J(U,V)=\sum _{i=1}^{C}\sum _{k=1}^{N}u_{ik}^{m}d_{ik}^{2}.

Dabei gibt $d_{ik}^{2}=(x_{k}-v_{i})^{T}(x_{k}-v_{i})$ die quadrierten (euklidischen) Distanzen zwischen den Punkten $x_{k}$ und den Clusterzentren (Prototypen) $v_{i}$ aus der Matrix V an. Die Partitionsmatrix U gibt die membership degrees $u_{ik}$ wieder. C ist die Anzahl an Clustern und N die Größe des Datensatzes. Der „fuzzifier“ m(>1) bestimmt, wie scharf die Objekte den Clustern zugeordnet werden. Lässt man m gegen unendlich laufen, so nähern sich die $u_{ik}$ dem Wert ${\tfrac {1}{C}}$ an, d. h. die Zugehörigkeit der Punkte ist zu allen Clustern gleich groß. Liegt m nahe bei 1, so ist das Clustering scharf, d. h. die Zugehörigkeiten liegen näher bei 0 oder 1. In der Praxis haben sich für m Werte zwischen 1 und 2,5 als geeignet herausgestellt (vgl. Stutz (1999)). Die Werte $u_{ik}$ und $v_{i}$ werden durch Minimierung der Zielfunktion J bestimmt. Die Objekte werden den Clustern also so zugeordnet, dass die Summe der quadrierten Abstände $d_{ik}^{2}$ minimal wird. Die Optimierung findet unter Nebenbedingungen statt:

Für jeden Punkt ist die Summe der Zugehörigkeiten zu allen Clustern gleich 1, d. h. für alle $k$ gilt $\textstyle \sum _{i=1}^{C}u_{ik}=1$ ,
Die Cluster sind nicht-leer, d. h. für alle $i$ gilt $\textstyle \sum _{k=1}^{N}u_{ik}>0$ .

Zur Lösung des Minimierungs-Problems wird das Lagrangeverfahren angewandt. Die Lagrangefunktion

J(U,V,\lambda )=\sum _{i=1}^{C}\sum _{k=1}^{N}u_{ik}^{m}d_{ik}^{2}-\sum _{k=1}^{N}\left(\lambda _{k}\left(\sum _{i=1}^{C}u_{ik}-1\right)\right)

wird nach u,v, und $\lambda$ abgeleitet. Als Lösung ergibt sich:

v_{i}={\frac {\sum _{k=1}^{N}u_{ik}^{m}x_{k}}{\sum _{k=1}^{N}u_{ik}^{m}}}

und

u_{ik}={\frac {1}{\sum _{j=1}^{C}\left({\frac {d_{ik}}{d_{jk}}}\right)^{\frac {2}{m-1}}}}

Der Algorithmus besteht dann aus den folgenden Schritten:

Initialisiere eine Start-Partitionsmatrix $U^{0}$
Berechne die Prototypen $V^{r}=[v_{i}]$ im Iterationsschritt r
Berechne die Partitionsmatrix $U^{r}=[u_{ik}]$ im Iterationsschritt r
Falls $\|{U}^{r}-{U}^{r-1}\|<\varepsilon$ dann Stopp. Sonst zurück zu Schritt 2

Dabei gibt $\epsilon$ einen kleinen Schwellenwert an.

Beispiel

1000-Schweizer-Franken-Banknote.

Der Schweizer Banknoten-Datensatz besteht aus 100 echten und 100 gefälschten Schweizer 1000-Franken-Banknoten.^[2] An jeder Banknote wurden sechs Variablen erhoben:

Die Breite der Banknote (WIDTH),
die Höhe an der Banknote an der linken Seite (LEFT),
die Höhe an der Banknote an der rechten Seite (RIGHT),
der Abstand des farbigen Drucks zur Oberkante der Banknote (UPPER),
der Abstand des farbigen Drucks zur Unterkante der Banknote (LOWER) und
die Diagonale (links unten nach rechts oben) des farbigen Drucks auf der Banknote (DIAGONAL).

Die beiden Grafiken unten zeigen das Ergebnis der k-Means-Clusteranalyse (links) und der Fuzzy-c-Means-Clusteranalyse (rechts) auf den ersten beiden Hauptkomponenten der Schweizer Banknoten Daten. Die beiden Clusterzentren sind in beiden Grafiken jeweils mit dem Kreuz im Kreis markiert. Der kompakte Cluster rechts enthält die echten Banknoten und der Rest sind die gefälschten Banknoten.

k-Means-Clustering: Im k-Means-Clustering sind die echten und falschen Banknoten fast richtig klassifiziert worden. Nur eine falsche Banknote ist dem blauen Cluster zugeordnet worden. Dabei ist zu beachten, dass das Clustering mit allen sechs Variablen stattgefunden hat während die Grafik nur zwei Dimensionen darstellt.
Fuzzy-c-Means-Clustering: Hier sind noch mehr Beobachtungen (in der Mitte unten) dem Cluster mit den echten Banknoten zugeordnet worden. Auf den ersten Blick scheint das Fuzzy-c-Means-Clustering schlechter zu sein als das k-Means-Clustering. Die Größe der Datenpunkte in der Grafik gibt jedoch den Wert der Membership Funktion an: Je größer der Datenpunkt desto eindeutiger wird er einem Cluster zugeordnet, je kleiner der Datenpunkt desto unsicherer ist der Algorithmus über die Zuordnung zu einem Cluster. Betrachtet man die Datenpunkte unten in der Mitte, so sieht man, dass sowohl im roten als auch im blauen Cluster die Datenpunkte sehr klein sind, d. h. die Werte der Membershipfunktion liegen hier für beide Cluster bei ca. $0{,}5$ . Also ist sich der Fuzzy-c-Means-Algorithmus eigentlich sehr unsicher darüber, welchem Cluster diese Datenpunkte zuzuordnen sind.; Tatsächlich ist es so, dass die echten Banknoten von einer Vorlage (Druckplatte) gedruckt wurden, während die gefälschten Banknoten aus verschiedenen Quellen und damit wahrscheinlich auch von verschiedenen gefälschten Druckplatten stammen.

**Ergebnis der k-Means-Clusteranalyse (links) und der Fuzzy-c-Means-Clusteranalyse (rechts) auf den Schweizer Banknoten Daten.**

Literatur

Christiane Stutz: Anwendungsspezifische Fuzzy-Clustermethoden (Dissertation zur künstlichen Intelligenz, TU München). Infix, Sankt Augustin 1999.

Weblinks

A Tutorial on Clustering Algorithms. Online Tutorial mit interaktivem Demo für den Fuzzy C-Means Algorithmus.
Fuzzy C-means cluster analysis. Scholarpedia (englisch)

Einzelnachweise

↑ J.C. Bezdek: Pattern recognition with fuzzy objective function algorithms. Plenum Press, New York 1981.
↑ Bernhard Flury, Hans Riedwyl: Multivariate Statistics: A Practical Approach. 1. Auflage. Chapman & Hall, London 1988, ISBN 978-0-412-30030-1.

[1] J.C. Bezdek: Pattern recognition with fuzzy objective function algorithms. Plenum Press, New York 1981.

[2] Bernhard Flury, Hans Riedwyl: Multivariate Statistics: A Practical Approach. 1. Auflage. Chapman & Hall, London 1988, ISBN 978-0-412-30030-1.

[1]

[2]