Einführung in Deep Learning¶
Über dieses Skript¶
Dieses Skript begleitet die Vorlesung „Einführung in Deep Learning“ im Bachelor Informatik an der HHU Düsseldorf. Es ist nach Themen gegliedert, nicht nach Vorlesungswochen; Organisatorisches zum jeweiligen Semester (Termine, Räume, Prüfungsmodalitäten) steht nicht hier, sondern wird gesondert bekannt gegeben.
Voraussetzungen¶
Formale Voraussetzungen: keine.
Inhaltliche Voraussetzungen: Inhalte des Moduls Data Science, denn wir setzen rudimentäre Python-Kenntnisse und Grundlagen des maschinellen Lernens voraus, insbesondere die vektorisierte Programmierung mit NumPy und die Idee der linearen Regression. Wo wir auf Stochastik aus dem Modul Data Science zurückgreifen, verlinken wir die passende Stelle im Data-Science-Skript; insbesondere Erwartungswert, Entropie und Maximum Likelihood sollten Sie dort nachschlagen können.
Was wir nicht machen werden¶
Transformer-Modelle trainieren (GPT usw.), auf großen echten Daten arbeiten, aktuelle Architekturen nachimplementieren, Optimierungstheorie, CUDA-Programmierung, Reinforcement Learning.
Lernziele (Modulhandbuch)¶
Nach erfolgreicher Teilnahme können die Studierenden:
Grundbegriffe und -konzepte neuronaler Netze benennen und erklären,
mathematische Grundlagen für neuronale Netze anwenden,
einfache Modelle selbst implementieren,
vortrainierte Modelle in andere Systeme integrieren und
beurteilen, welche der besprochenen Modelle hinsichtlich einer Anwendung in Frage kommen.
Relation zu anderen Modulen¶
Wenig bis keine Überschneidung: Machine Learning, Data Science 2, Introduction to NLP, Python for NLP
Vertiefung: Deep Learning im Master, zahlreiche darauf aufbauende Kurse wie etwa Advanced Deep Learning, Implementing Transformer Models, Representations in Natural Language Processing, Probabilistic Machine Learning, Reinforcement Learning
Klausurvorbereitung¶
Das Glossar listet die Begriffe, die in Klausuraufgaben vorkommen, mit Link zum jeweiligen Kapitel.
Literatur¶
Simon J.D. Prince, Understanding Deep Learning, MIT Press 2023, frei verfügbar unter https://
udlbook .github .io /udlbook/ Deisenroth, Faisal, Ong, Mathematics for Machine Learning, Cambridge University Press 2020, frei verfügbar unter https://
mml -book .github .io/