Diskussion:Feature Subset Selection

Weitere Informationen zu Subset Selection gibt es auch im folgenden Video:

• http://seminars.ijs.si/pascal/2005/slsfs05_bohinj/video.asp?video_id=1266

Die Quellenangabe soll diesem Bibtex Eintrag entsprechen.

• http://dblp.uni-trier.de/rec/bibtex/conf/slsfs/Mladenic05

Ich weiß allerdings nicht, ob er so Wiki-komform notiert ist

Ich habe leider Prüfungsstress... - Michael

Filters vs. wrappers

Die Darstellung zu Filter- und Wrapper-Methoden ist nicht korrekt.

Filter scoren nicht notwendigerweise nur einzelne Features, um dann die besten auszuwählen. Filter-Ansätze können durchaus auch komplette Feature Subsets scoren. Der kritische Unterschied zwischen Filter- und Wrapper-Ansätzen ist vielmehr, dass Wrapper immer genau denjenigen Classifier verwenden, der später mit den ausgewählten Features im äußeren Cross-validation fold verwendet wird. Filter-Methoden hingegen können jedes beliebige Kriterium wählen, um einen Satz von Features zu scoren. Dies kann der gleiche Classifier sein wie bei Wrapper-Methoden, ist aber typischerweise eher ein effizienterer Algorithmus (z.B. ein linearer statt eines nichtlinearen Classifiers).

Referenzen

Guyon, I., & Elisseeff, A. (2003). An introduction to variable and feature selection. J. Mach. Learn. Res., 3, 1157-1182.

Kohavi, R., & John, G. H. (1997). Wrappers for feature subset selection. Artificial Intelligence, 97(1-2), 273-324. doi: 10.1016/S0004-3702(97)00043-X.

Mich stört auch die Behauptung, dass Wrapper immer alle Subsets ausprobieren. Das stimmt doch nur bei der Exhaustive Search (Vollständigen Suche) die als Wrapper Methode ausgeführt werden kann, oder ? Sind Forward und Backward Elimination nicht bereits Heuristiken, welche eine komplette Suche umgehen um Laufzeit zu sparen ? --193.29.115.20 11:07, 20. Okt. 2021 (CEST)