Hidden layers, auch als versteckte Schichten bezeichnet, sind ein wichtiger Bestandteil von künstlichen neuronalen Netzen, insbesondere in tiefen Lernalgorithmen (Deep Learning). Sie sind die Schichten zwischen der Eingabe- und Ausgabeschicht und sind dafür verantwortlich, komplexe und abstrakte Zusammenhänge in den Eingabedaten zu erlernen.
Ein künstliches neuronalen Netz besteht in der Regel aus mehreren Schichten von Neuronen, die miteinander verbunden sind. Die Eingabe- und Ausgabeschicht sind die äußeren Schichten und sind direkt mit den Eingabedaten bzw. den Ausgaben des Netzes verbunden. Hidden layers hingegen sind die Schichten dazwischen, die nicht direkt mit den Eingabedaten oder den Ausgaben verbunden sind. Sie sind dafür verantwortlich, komplexe Zusammenhänge in den Eingabedaten zu erlernen und diese an die nachfolgenden Schichten weiterzuleiten.
Die Anzahl der versteckten Schichten und die Anzahl der Neuronen pro Schicht sind wichtige Hyperparameter, die die Leistung des neuronalen Netzes beeinflussen. Ein Netz mit mehreren versteckten Schichten und vielen Neuronen pro Schicht kann komplexere Zusammenhänge erlernen als ein Netz mit weniger Schichten und weniger Neuronen. Allerdings ist es auch wichtig, darauf zu achten, dass das Netz nicht überfitting erleidet, was bedeutet, dass es zu sehr auf die Trainingsdaten abgestimmt ist und daher schlechter auf neue, unbekannte Daten generalisiert.
Ein weiteres wichtiges Konzept im Zusammenhang mit versteckten Schichten ist die Aktivierungsfunktion. Jedes Neuron in einer versteckten Schicht hat eine Aktivierungsfunktion, die bestimmt, wie die Ausgabe des Neurons auf die Eingabe reagiert. Eine der häufig verwendeten Aktivierungsfunktionen ist die sogenannte ReLU-Funktion (Rectified Linear Unit), die die Ausgabe des Neurons auf 0 setzt, wenn die Eingabe negativ ist und die Eingabe ansonsten unverändert lässt. Diese Aktivierungsfunktion hat den Vorteil, dass sie die Berechnungen schneller und effizienter macht und das Netz vor dem Ausfallen von Neuronen schützt. Es gibt jedoch auch andere Aktivierungsfunktionen wie die sogenannte Sigmoid-Funktion oder die tanh-Funktion, die je nach Anwendungsfall sinnvoll sein können.
Ein weiteres wichtiges Konzept im Zusammenhang mit versteckten Schichten ist die sogenannte Vanishing Gradient Problem. Das ist ein Problem, das bei tiefen neuronalen Netzen auftreten kann, bei dem die Gradienten, die zur Anpassung der Gewichte der Neuronen verwendet werden, mit zunehmender Tiefe im Netz immer kleiner werden. Dies kann dazu führen, dass die Schichten tief im Netz nicht richtig angepasst werden und daher nicht in der Lage sind, komplexe Zusammenhänge zu erlernen. Um dieses Problem zu vermeiden, gibt es verschiedene Techniken wie die Verwendung von sogenannten Skip-Connections oder spezielle Aktivierungsfunktionen.
Abschließend kann gesagt werden, dass versteckte Schichten ein wichtiger Bestandteil von tiefen neuronalen Netzen sind und dafür verantwortlich sind, komplexe Zusammenhänge in den Eingabedaten zu erlernen. Die Anzahl der versteckten Schichten und die Anzahl der Neuronen pro Schicht sind wichtige Hyperparameter, die die Leistung des Netzes beeinflussen. Auch die Wahl der Aktivierungsfunktion und die Behandlung des Vanishing Gradient Problems sind wichtige Aspekte bei der Verwendung von versteckten Schichten.