Hintergrundwissen Lineare Algebra

Im Inneren eines Neurons steckt ein Skalarprodukt, in einer Schicht eine Matrix, in der Backpropagation ein Matrixprodukt. Dieses Kapitel stellt die Begriffe bereit, auf denen der Rest des Buchs aufbaut, und legt die Schreibweisen fest.

Ein Nachschlagekapitel, kein Lehrgang: Wer aus der linearen Algebra kommt, überfliegt es. Die Eigenschaften, die unten ohne Beweis stehen, sind in zwei, drei Zeilen nachzurechnen.

Vektoren¶

Das hochgestellte $\top$ ist das Transponieren: Es vertauscht Zeilen und Spalten, aus der Spalte $v$ wird die Zeile $v^\top = (v_1, \dots, v_d)$. Die Standardbasisvektoren $e_1, \dots, e_d$ haben eine 1 in einer Komponente und sonst Nullen.

Hadamard-Produkt und Skalarprodukt¶

Wie im Kapitel „Was ist Deep Learning?“ festgelegt, sind $v \cdot w$ und $\langle v, w \rangle$ dasselbe; unten kommt mit $v^\top w$ eine dritte Schreibweise dazu.

Drei Eigenschaften benutzt das Buch, ohne sie jedes Mal zu nennen. Das Skalarprodukt ist

• symmetrisch: $v \cdot w = w \cdot v$,

• bilinear: $(\lambda u + \mu v) \cdot w = \lambda (u \cdot w) + \mu (v \cdot w)$, und ebenso im zweiten Argument,

• positiv definit: $v \cdot v \geq 0$, mit $v \cdot v = 0$ nur für den Nullvektor.

Die Bilinearität trägt den Konvergenzbeweis im Kapitel „Das Perzeptron trainieren“, die positive Definitheit den nächsten Abschnitt.

Länge und Normalisierung¶

Dass unter der Wurzel nichts Negatives steht, ist die positive Definitheit; in $\mathbb{R}^2$ ist es der Satz des Pythagoras. Es gilt $\|v\| = 0$ nur für den Nullvektor, und $\|\lambda v\| = |\lambda| \, \|v\|$ – mit Betrag, denn eine Länge ist nie negativ.

Damit zerfällt jeder Vektor in Richtung und Länge, $v = \|v\| \, \tilde{v}$, und mit ihm das Skalarprodukt:

Der zweite Faktor hängt nur von den Richtungen ab und bekommt im nächsten Abschnitt einen Namen. Nebenbei: Aus $1 = v_1^2 + \dots + v_d^2$ folgt $-1 \leq v_i \leq 1$, normalisierte Embeddings liefern also gutmütige Zahlen.

Winkel¶

Dass der Bruch zwischen -1 und 1 liegt, also überhaupt ein Kosinus sein kann, ist die Ungleichung von Cauchy und Schwarz: $|v \cdot w| \leq \|v\| \, \|w\|$.

Der Kosinus misst Ähnlichkeit der Richtungen, unabhängig von den Längen. Als Kosinusähnlichkeit ist er das Standardmaß für Embeddings, etwa im Kapitel „word2vec“ und im Kapitel „Latente Räume“.

Orthogonalität¶

Für Vektoren ungleich null ist das der Fall $\cos \theta = 0$, also ein rechter Winkel; die Standardbasisvektoren sind paarweise orthogonal. Daran hängt die Geometrie des Neurons: Der Gewichtsvektor steht senkrecht auf der Trennebene, und die Aktivierung misst den Abstand zu ihr. Ausgerechnet wird das im Kapitel „Neuron und Perzeptron“.

Matrizen¶

Die Angabe $m \times n$ heißt im Code Shape. Sie mitzuführen ist die halbe Miete: Die meisten Fehler beim Rechnen mit Netzen sind Shape-Fehler.

So liest man eine Schicht: In $Wx + b$ mit $W \in \mathbb{R}^{m \times n}$ steht in jeder Zeile der Gewichtsvektor eines Neurons, und $Wx + b$ berechnet $m$ Aktivierungen auf einmal. Eine Matrix ist eine lineare Abbildung $\mathbb{R}^n \to \mathbb{R}^m$.

Die Shape-Regel steht in der Definition: $(m \times n) \cdot (n \times k)$ ergibt $m \times k$, die inneren Zahlen müssen übereinstimmen und fallen weg. Passen sie nicht, ist das Produkt nicht definiert; $AB$ und $BA$ sind verschieden, oft ist nur eines von beiden definiert. Inhaltlich ist das Produkt die Verkettung der Abbildungen: erst $B$, dann $A$. Daran hängt die Backpropagation, denn die Ableitung einer Verkettung ist das Produkt der Ableitungen (Kapitel „Gradientenabstieg“).

Drei Regeln, die das Buch braucht: $(A^\top)^\top = A$; $(AB)^\top = B^\top A^\top$, die Reihenfolge dreht sich also um; und $v \cdot w = v^\top w$, denn eine Zeile mal eine Spalte ist eine $1 \times 1$-Matrix. Die zweite Regel ist der Grund, warum in der Backpropagation ständig transponierte Gewichtsmatrizen auftauchen: vorwärts $W$, rückwärts $W^\top$.