Aktivierungsfunktionen und weitere Layer¶
Ein Neuron „forward“ ist . Beim Perzeptron ist , bei der logistischen Regression . Allgemein ist beliebig – aber ableitbar, sonst funktioniert Backpropagation nicht. Überall differenzierbar muss es dafür nicht sein: ReLU hat bei 0 einen Knick und ist trotzdem die meistbenutzte Aktivierungsfunktion überhaupt. Wie das zusammengeht, klärt der nächste Abschnitt.
Neues Ziel: Funktionen lernen¶
Bisher war das Ziel Klassifikation. Neues Ziel: Das neuronale Netz soll eine Funktion lernen (Regression), und unser Modell von der Funktion ist stückweise linear. Welches ist dafür geeignet?
Ableitung von nach : Für ist , also ist die Ableitung 1. Für ist , also ist die Ableitung 0. Für ist die Ableitung nicht definiert – wir definieren sie als 0, das spart Rechnungen. (Dass das erlaubt ist, steckt im Begriff der schwachen Ableitung: Sie darf an einzelnen Punkten beliebig sein.)
Wieso ist ReLU geeignet? Lineare Abbildung + ReLU ist die Projektion auf einen Halbraum, denn ReLU ist genau die Projektion von auf , und ein Halbraum ist eine Seite einer Hyperebene. Ein ReLU-Neuron ist also null auf der einen Seite der Hyperebene und linear ansteigend auf der anderen. Summiert man mehrere solche „Knickfunktionen“ mit Gewichten, bekommt man stückweise lineare Funktionen, deren Knickstellen auf den Hyperebenen liegen – und mit genug Neuronen kann man damit jede stetige Funktion beliebig gut approximieren. Beispiel an der Tafel; im Kapitel „Netze von Hand bauen“ bauen wir so .

Links die ReLU, rechts eine gewichtete Summe von drei verschobenen ReLUs: eine stückweise lineare Funktion mit Knicken an den Verschiebungen.
In zwei Dimensionen sieht man, was „stückweise linear“ heißt. Ein ReLU-Netz ist auf jedem Bereich, in dem dieselben Neuronen an sind, eine affine Funktion. Sein Graph im ist also eine Fläche aus ebenen Polygonen, ein Polyeder. Bei einer versteckten Schicht liegen die Kanten über den Geraden , und die Stücke sind die Zellen dieser Geradenanordnung: Geraden zerlegen die Ebene in höchstens Zellen. Ab der zweiten Schicht ist jedes Neuron selbst schon stückweise linear in . Seine Knicklinie ist deshalb ein Streckenzug, der genau dort abknickt, wo er eine Gerade der ersten Schicht kreuzt, und so entstehen mit wenigen Neuronen viele Stücke.

Zwei kleine ReLU-Netze , oben mit einer versteckten Schicht, unten mit zweien. Links der Graph im , rechts die Draufsicht. Jede Farbe ist ein Bereich, in dem dieselben Neuronen an sind; dort ist das Netz linear. Rot die Knickgeraden der ersten Schicht, dunkelblau die geknickten Knicklinien der zweiten. Gezählt sind die Stücke im gezeigten Ausschnitt.
Layer, nochmal¶
Mehrere Neuronen, die parallel verarbeitet werden, bilden eine Schicht. Ein Linear Layer ist eine Matrix (Zeilen = Gewichtsvektoren) plus Bias. Ein ReLU Layer ist eine Schicht, in der jedes Neuron die Aktivierungsfunktion ReLU nutzt, also Linear Layer + komponentenweises ReLU. In PyTorch: nn.Sequential(nn.Linear(n, m), nn.ReLU()).
Problem bei Sigmoid: verschwindende Gradienten¶
Bei der Backpropagation wird das Fehlersignal in jeder Schicht mit der Ableitung der Aktivierungsfunktion multipliziert (und mit der transponierten Gewichtsmatrix, Kapitel „Backpropagation“). Für ist dieser Faktor höchstens (Kapitel „Logistische Regression“); nach zehn Schichten bleibt, solange keine Gewichtsmatrix einen Vektor verlängert (kleine Einträge allein reichen dafür nicht: in einer breiten Schicht summieren sich viele kleine Beiträge), höchstens der Länge übrig, und die vorderen Schichten lernen praktisch nichts mehr. Das heißt verschwindender Gradient (vanishing gradient). ReLU hat für die Ableitung 1 und reicht das Signal unverändert weiter; ihr eigenes Problem ist der nächste Abschnitt. Über sehr viele Schichten helfen außerdem Skip Connections (Kapitel „Recurrent Neural Networks“).
Problem bei ReLU: sterbende Neuronen¶
Wenn ein Neuron immer 0 liefert, weil die Eingabe immer negativ ist, „fließt“ keine Information mehr durch das Neuron während der Backpropagation – die Ableitung ist 0, also ist für dieses Neuron 0, also ändern sich seine Gewichte nie wieder. Das Neuron ist tot. Zwei Lösungen:
Lösung 1: Statt verwende mit passenden , sodass auch für die Ableitung nicht null ist. Mit und heißt ELU (Exponential Linear Unit); mit heißt es Leaky ReLU.
Lösung 2: Statt verwende ein glattes , sodass für gilt und für gilt , aber ohne harten Knick:
wobei die Verteilungsfunktion der Standardnormalverteilung ist. Beide sind im negativen Bereich nicht strikt null, sondern haben eine kleine Delle unter der Achse. Die Ableitung ist deshalb nirgends auf einem ganzen Bereich null wie bei ReLU: Sie hat nur am Tiefpunkt der Delle eine einzelne Nullstelle (Swish bei , GELU bei ) und geht für gegen null, ohne sie dort zu erreichen. GELU steht in den Transformern der BERT- und GPT-2-Generation und in Vision Transformern; die heutigen großen Sprachmodelle (Llama, Mistral, Qwen) nehmen stattdessen Swish/SiLU, eingebaut in einen gated Feed-Forward-Block, den man SwiGLU nennt.
Welche Aktivierungsfunktionen in der Praxis genutzt wurden, listete paperswithcode – die Seite gibt es nicht mehr, der Link führt auf den Schnappschuss vom Juli 2025 im Internet Archive.

Aktivierungsfunktionen im Vergleich. ELU, Swish und GELU sind im negativen Bereich nicht konstant null.
Ein Netz mit SiLU hat keine ebenen Stücke mehr. Es ist aber eine geglättete Fassung des ReLU-Netzes mit denselben Gewichten: Wo alle Vor-Aktivierungen betragsmäßig groß sind, ist fast und die Fläche fast eben. Nur entlang der Knickgeraden ist sie über einen Streifen gekrümmt. Wie breit dieser Streifen ist, hängt von der Skala ab. Skaliert man die Gewichte vor einem SiLU-Neuron mit und die dahinter mit , rechnet das Neuron , und das geht für gegen . Mit großen Gewichten sieht ein SiLU-Netz also polyedrisch aus, mit kleinen glatt.

Das Netz mit einer versteckten Schicht aus der Polyeder-Abbildung, einmal mit SiLU und einmal mit ReLU. Die Farben sind die linearen Stücke des ReLU-Netzes, gestrichelt seine Knickgeraden. Aufgehellt ist, wo ein SiLU-Neuron im Übergang ist ( nahe 1). Bei diesen Gewichten ist das fast überall: Die SiLU-Fläche ist eine glatt gebügelte Fassung des Polyeders.
Übung¶
Ein Neuron mit und sieht nur Trainingsdaten mit nichtnegativen Einträgen.
Zeigen Sie: Die Ausgabe ist für alle diese Daten 0.
Welchen Wert hat der Gradient nach und dann? Was folgt daraus für das Training?
Antwortprobe: Bei (2) ist die Antwort für und dieselbe.