Dropout (künstliches neuronales Netz)

Dropout ist eine Regularisierungsmethode, die in künstlichen neuronalen Netzen Anwendung findet und die Gefahr von Overfitting verringert.

Dabei wird beim Training des Netzwerks eine vorher spezifizierte Anzahl (etwa 30 %) von Neuronen in jedem Layer des Netzwerks ausgeschaltet (“dropout”) und für den kommenden Berechnungsschritt nicht berücksichtigt.^[1] Dies stellt einen sehr effektiven Weg zum Training von tiefen neuronalen Netzen dar.^[2]

Siehe auch

Convolutional Neural Network

Literatur

Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov: Dropout. A Simple Way to Prevent Neural Networks from Overfitting. In: Journal of Machine Learning Research. Band 15, Nr. 2. Department of Computer Science University of Toronto, 2014, ISSN 1532-4435, OCLC 5973067678, S. 1929–1958 (cs.toronto.edu [PDF; abgerufen am 17. November 2016]).
Nitish Srivastava: Improving Neural Networks with Dropout. Department of Computer Science University of Toronto, 2013 (cs.utoronto.ca [PDF; abgerufen am 17. November 2016]).

Weblinks

Hinton’s Dropout in 3 Lines of Python. iamtrask.github.io, 28. Juli 2015, abgerufen am 17. November 2016.
Data Science 101: Preventing Overfitting in Neural Networks. In: kdnuggets.com. April 2015, abgerufen am 17. November 2016.

Einzelnachweise

↑ Dropout: A Simple Way to Prevent Neural Networks from Overfitting. Abgerufen am 26. Juli 2015.
↑ Geoffrey E. Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever, Ruslan R. Salakhutdinov: Improving neural networks by preventing co-adaptation of feature detectors. 3. Juli 2012, OCLC 798541308, arxiv:1207.0580.

[1] Dropout: A Simple Way to Prevent Neural Networks from Overfitting. Abgerufen am 26. Juli 2015.

[2] Geoffrey E. Hinton, Nitish Srivastava, Alex Krizhevsky, Ilya Sutskever, Ruslan R. Salakhutdinov: Improving neural networks by preventing co-adaptation of feature detectors. 3. Juli 2012, OCLC 798541308, arxiv:1207.0580.

[1]

[2]