© AG Engwer

Theoretische KI-Vertiefungen

Zur Vermittlung der fortgeschrittenen theoretischen Konzepte wird vertiefend auf die mathematischen Hintergründe eingegangen. Sie bilden die gemeinsame Grundlage aller neuronalen Netzwerke, unabhängig von ihrer konkreten Struktur und Anwendung. Es werden Zusammenhänge zur Mathematik der inversen Probleme sowie der Eigenwert- und Sensitivitätsanalyse hergeleitet und deren Bedeutung im Kontext der neuronalen Netzwerke diskutiert. Dies dient als Basis für weitergehende Analysen. Hierzu gehören neben alternativen und experimentellen Trainingsstrategien auch Explainable-AI-Verfahren, die darauf abzielen, komplexe nichtlineare Modelle systematisch zu analysieren.

Kurs

In dem Modul "Theoretische KI-Vertiefungen" werden zwei Kurs-Blöcke angeboten, welche den Teilnehmenden helfen, ein tieferes Verständnis für die Approximationsfähigkeiten neuronaler Netze sowie für Lösungsstrategien zu entwickeln. Alle Bestandteile des Kurses werden mit Beispielen und interaktiven Jupyter-Notebooks begleitet. Auf diese Weise können alle Teilnehmenden das Gelernte direkt anwenden.

Der Kurs richtet sich an alle Wissenschaftler*innen, die ein tieferes Verständnis der Grundlagen moderner KI-Methoden entwickeln wollen.

Block A: Approximation

  • Struktur von ReLU-Netzwerken
    • Analyse als hochdimensionales Gitter
  • DNNs zur Lösung partieller Differentialgleichungen
    • PiNN
    • DeepRitz
  • Vergleich DNN & Finite-Elemente-Verfahren
    • Zusammenhang Loss & Energie
    • Schwache Formulierung, starke Formulierung, Approximation
    • Diskrete Quadratur oder diskrete Lösungsmenge
  • Netzwerke für nicht-glatte Probleme
  • Fehlerschätzer für neuronale Netze

Block B: Lösungsverfahren

  • Lösungsverfahren für überbestimmte Systeme
    • Least-squares
    • Pseudoinverse
    • Einfluß von Normen auf die Lösung
  • Nicht-lineare Lösungsverfahren
    • Gradient-descent
    • Newton
    • Konvergenz der Verfahren
  • Stochastische Lösungsverfahren
    • SGD
    • Stochastische SVD
    • Konvergenzabschätzungen