Bachelor-/Masterseminar:

Optimierung und Deep Learning

WS 2018/19

Dozent:  JProf. Dr. Manuel Friedrich
 Prof. Dr. Benedikt Wirth

Informationen zum Seminar

Zeit, Ort: voraussichtlich Do., 12:00-14:00
Beginn: tba
Inhalt: Seit einem halben Jahrzehnt boomt die Erforschung und Nutzung von Techniken maschinellen Lernens. Im Prinzip ist die Grundtechnik schon über ein halbes Jahrhundert alt; durch effizientere Hardware und die Verfügbarkeit von enorm großen Trainingsdatensätzen erreichen jedoch insbesondere deep networks (spezielle neuronale Netze) in verschiedenen Signalerkennungsaufgaben erst seit ein paar Jahren herausragende Resultate. Das Thema ist sehr breit und reicht von Anwendungen für Computer Vision-Aufgaben über die Entwicklung stochastischer Optimierungsverfahren, über Approximationstheorie und über die statistische Fehleranalyse bis hin zur Lösung hochdimensionaler partieller Differentialgleichungen mittels deep learning. Je nach Interesse und Vorwissen werden wir Buchkapitel und Forschungsartikel aus diesem breiten Spektrum behandeln.
Voraussetzungen:  Analysis I-III, Vorkenntnisse in partiellen Differentialgleichungen und/oder Stochastik sind hilfreich.
Vorbesprechung: Mi., 11.07.2018, 14:15-14:45, Raum 120.029/030 (Besprechungsraum Angewandte Mathematik)
Leistungsnachweis: 60- bis 75-minütiger Seminarvortrag und didaktisch aufbereitete Ausarbeitung (ca. 10-seitiges Handout, dieses soll eine Woche vor dem Vortrag vorgelegt werden, um zusätzliche Hilfestellungen geben zu können)
Vortrags-Themen:  Wir werden im Seminar Kapitel aus Büchern und Forschungsartikel zu den Themen behandeln. Als einfache Referenz zum Nachschlagen von Ideen kann folgendes Buch dienen: Goodfellow, Bengio, Courville: Deep Learning

Fast alle Themen sind für zwei Personen zur Bearbeitung vorgesehen. Sie können die Artikel zu einem Thema getrennt oder auch als Team bearbeiten und das Thema gemeinsam vorstellen. Im Folgenden eine vorläfige Liste an Seminarthemen:
  1. Basics and applications; 2 Personen
    Krizhevsky, Sutskever, Hinton: ImageNet Classification with Deep Convolutional Neural Networks
    Karpathy, Fei-Fei: Deep Visual-Semantic Alignments for Generating Image Descriptions
    Wu, Schuster, Chen, Le, Norouzi: Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
  2. Model Capacity; 2 Personen
    Yarotsky: Error bounds for approximations with deep ReLU networks (L^\infty)
    Böcskei, Grohs, Kutyniok, Petersen: Optimal approximation with sparsely connected deep neural networks (L^2)
  3. Invariance and robustness; 1 Person
    Behrmann, Dittmer, Fernsel, Maaß: Analysis of Invariance and Robustness via Invertibility of ReLU-Networks
  4. Generalization error; 2 Personen
    Xu, Mannor: Robustness and Generalization
    Mohri, Rostamizadeh, Talwalkar: Foundations of Machine Learning, Chapter 3
  5. Numerical optimization for networks; 2 Personen
    Ruder: An overview of gradient descent optimization algorithms
    Kingma, Ba: ADAM: A Method for Stochastic Optimization
    Bottou: Stochastic Learning
  6. High-dimensional PDEs; 2-3 Personen
    E, Han, Jentzen: Deep learning-based numerical methods for high-dimensional parabolic partial differential equations and backward stochastic differential equations
    E, Yu: The Deep Ritz method: A deep learning-based numerical algorithm for solving variational problems
    Beck, Becker, Grohs, Jaafari, Jentzen: Solving stochastic differential equations and Kolmogorov equations by means of deep learning
Wenn Sie am Seminar teilnehmen möchten, tragen Sie bitte bis zum 14.9.2018 bis zu drei Präferenzen unter dieser Umfrage
Vortragsübersicht: Dienstag, 27.11.
9:00, SRZ 117Michael Ryu
10:00, N1Oliver SchmitzThema 1Handout
11:00, N1Lars FiebigThema 4Handout
Mittwoch, 28.11.
14:00, SR1bThorsten ThomannThema 4Handout
15:00, SR1bMartin SegerothThema 2Handout
16:00, SR1bKatrin JansenThema 2Handout
Donnerstag, 29.11.
14:00, SR2Saskia HeinThema 5Handout
15:00, SR2Lucas PlagwitzThema 5Handout
16:00, SR2Tim ErdbrüggerThema 6Handout
17:00, SR2Marco MauritzThema 6Handout