Hintergrundwissen Analysis

Training heißt ableiten: Der Gradient sagt, wohin ein Schritt gehen soll, und die Kettenregel verteilt ihn über die Schichten. Dieses Kapitel stellt die Begriffe bereit, die dafür gebraucht werden, von der partiellen Ableitung bis zur Jacobi-Matrix, und erklärt, was man tut, wenn eine Funktion einen Knick hat.

Wie das Kapitel zur linearen Algebra ein Nachschlagekapitel. Wie der Gradient benutzt wird, steht im Kapitel „Gradientenabstieg“; hier steht, was er ist.

Partielle Ableitung¶

Richtungsableitung und Gradient¶

Die partiellen Ableitungen messen die Änderung entlang der Koordinatenachsen. Eine beliebige Richtung geht genauso.

Beide Begriffe hängen zusammen: Ist $f$ differenzierbar, so gilt $D_u f(a) = \nabla f(a) \cdot u$. Die Richtungsableitung ist also ein Skalarprodukt, und damit ist sofort klar, welche Richtung die steilste ist. Nach Cauchy-Schwarz ist $|D_u f(a)| \leq \|\nabla f(a)\|$, mit Gleichheit genau für $u = \nabla f(a) / \|\nabla f(a)\|$:

Der Gradient zeigt in die Richtung des steilsten Anstiegs, und seine Länge ist die Steigung in dieser Richtung.

Das ist die Rechtfertigung für den Gradientenabstieg: Wer absteigen will, geht entgegen dem Gradienten.

Die Ableitung als beste lineare Näherung¶

Für Funktionen zwischen Vektorräumen ist die Ableitung keine Zahl mehr, sondern eine lineare Abbildung, also eine Matrix.

Der Rest $r$ verschwindet schneller als $h$ selbst: Die Jacobi-Matrix ist die beste lineare Näherung an $g$ in der Nähe von $a$. Für $m = 1$ ist sie die Zeile $\nabla f(a)^\top$ – Gradient und Ableitung sind dieselbe Information, einmal als Spalte und einmal als Zeile geschrieben.

Die Kettenregel in dieser Sprache – die Ableitung einer Verkettung ist das Matrixprodukt der Ableitungen – steht im Kapitel „Gradientenabstieg“ und ist der Kern der Backpropagation.

Zweite Ableitungen: die Hesse-Matrix¶

Sind die zweiten Ableitungen stetig, ist $H_f$ symmetrisch (Satz von Schwarz). Sie beschreibt die Krümmung. Der Gradient sagt nur, in welche Richtung es abwärts geht; die Hesse-Matrix sagt zusätzlich, wie stark sich diese Richtung ändert, und unterscheidet an einem kritischen Punkt Minimum, Maximum und Sattelpunkt.

Im Deep Learning kommt sie trotzdem kaum vor, und der Grund ist eine Abschätzung: $n$ ist hier die Zahl der Parameter. Schon ein kleines Netz mit einer Million Parametern hätte eine Hesse-Matrix mit 10¹² Einträgen, in float32 also vier Terabyte. Deshalb arbeiten die Optimierer dieses Buchs mit Verfahren erster Ordnung und schätzen Krümmung höchstens billig und implizit, über Momentum und adaptive Lernraten (Kapitel „Optimierer“).

Schwache Ableitung¶

ReLU hat bei 0 einen Knick, und dort existiert die Ableitung nicht: Die einseitigen Grenzwerte des Differenzenquotienten sind verschieden, es gibt keine Tangente. Dasselbe gilt für den Betrag $|x|$. Trainiert wird trotzdem, und der Begriff, der das rechtfertigt, ist der folgende.

Verlangt wird also nur die Eigenschaft, die eine gewöhnliche Ableitung im Hauptsatz hat. Wo $f$ differenzierbar ist, stimmt jede schwache Ableitung mit $f'$ überein; an einzelnen Stellen dagegen ist sie nicht eindeutig, denn ein Integral ändert sich nicht, wenn man den Wert an endlich vielen Stellen ändert.

Genau diese Freiheit nutzt ein Framework bei ReLU: Es gibt die Ableitung auf beiden Seiten des Knicks zurück und legt sich an der Knickstelle auf einen Wert fest. Dass die Wahl praktisch folgenlos ist, liegt daran, dass eine einzelne Stelle beim Lernen aus endlich vielen Datenpunkten fast nie exakt getroffen wird. Die Konsequenzen für die Wahl der Aktivierungsfunktion stehen im Kapitel „Aktivierungsfunktionen“.