Tree-structured Parzen Estimator (kurz Parzen-Tree Estimator oder TPE) sind Schätzfunktionen, die unter anderem in der bayesschen Hyperparameteroptimierung verwendet werden, um eine Approximation einer eigentlichen gesuchten Zielfunktion zu konstruieren ( ist der Konfigurationsraum, eine Menge von Hyperparameter und ein Score der Zielfunktion).

Die Auswertung der eigentlichen Funktion ist „kostspielig“ (z. B. die passende Anzahl an Layers für ein Deep Neural Network zu finden), deshalb möchte man mit Hilfe der die besten Hyperparameter finden, welche später dann in eingesetzt werden. Es wird angenommen, dass der Konfigurationsraum eine Baumstruktur besitzt (z. B. die Anzahl Neuronen auf Layer 4 wird erst bestimmt, wenn es überhaupt mindestens 4 Layers gibt). TPE konstruiert dann einen Baum von Kerndichteschätzern.

Die Wahrscheinlichkeitsdichte wird auch Surrogatmodell (oder surrogat probability model) genannt und wird nicht direkt modelliert, stattdessen wendet man den Satz von Bayes an

und modelliert und .

Die Funktion wird durch Einführung eines Schwellenwertes in zwei Dichten aufgeteilt, so dass diese nicht mehr von abhängen

Der Schwellenwert ist dabei ein -Quantil, das heißt .

Die Dichten und werden dann mit Hilfe von Kerndichteschätzern konstruiert. Für werden die Observationen mit verwendet. Die restlichen Observationen, für die gelten, werden zur Konstruktion von benötigt.[1]

Einzelnachweise

Bearbeiten
  1. J. S. Bergstra, R. Bardenet, Y. Bengio, B. Kégl: Algorithms for Hyper-Parameter Optimization. In: Advances in Neural Information Processing Systems. 2011, S. 2546–2554 (PDF).