Neuronale Netze und Lerntheorie

Die Studierenden sollen einen Einblick in die verschiedenen Architekturen Neuronaler Netze und deren Funktionsweisen erhalten. Dies beinhaltet das Präzisieren von Begriffen wie „künstliche Intelligenz” oder „automatisches Lernen”. Zentrales Ziel ist das methodische Verständnis, welche mathematischen Ideen den verschiedenen Netzwerkstrukturen sowie den mit ihnen verbundenen Lernalgorithmen zugrunde liegen. Die Studierenden sollen die Möglichkeiten und Grenzen solcher Zugänge erlernen.

Inhalt

Einige der wesentlichen Netzwerkstrukturen werden behandelt. Hierzu gehört die Klassifikation bzgl. der Art der Verarbeitung von Daten in solchen Netzen, die Frage nach maschinellen Lernalgorithmen sowie die Analyse solcher Algorithmen mittels verschiedener mathematischer Methoden. Im Einzelnen behandelt werden unter anderem:

  • grundlegende Aspekte bei Netzwerkstrukturen: feedforward Netze, rekurrente Netze
  • Perceptronnetz, Perceptron Lernalgorithmus
  • Backpropagation Algorithmus
  • Radiale Basisfunktionen
  • Support Vector Maschinen
  • Stochastische Netzwerke, Hopfield-Netze, Boltzmann-Maschine
  • Lerntheorie (PAC-Modell) und Vapnik-Chervonenkis Dimension
  • selbstorganisierende Netzwerke

Ein Schwerpunkt der Vorlesung liegt auf der mathematischen Analyse der einzelnen Algorithmen. Hierzu ist es nötig, Aspekte sowohl der stetigen Optimierung sowie der Wahrscheinlichkeitstheorie zu behandeln.

Zielgruppe

  • Informatik Master
    Komplex Grundlagen der Informatik
    Niveaustufe 400
  • Angewandte Mathematik/Master,
    Mathematik/Diplom,
    Wirtschaftsmathematik/Diplom
    Komplex Mathematik-Spezialisierung
  • Link zu einer externen Seite Modul 12450,
    8 KP, 4 SWS VL, 2 SWS UE

Voraussetzungen

Grundlegende Kenntnisse über Optimalitätskriterien für differenzierbare Funktionen sowie elementare Wahrscheinlichkeitsrechnung sind hilfreich, werden aber auch notfalls nochmals behandelt.

Literatur

  • E. Alpaydin: Maschinelles Lernen, Oldenbourg Verlag München, 2008
  • M. Anthony, N.Biggs: Computational Learning Theory, Cambridge University Press 1997
  • N. Christiani, J. Shawe-Taylor: An Introduction to Support Vector Machines and kernel-based Learning Methods, Cambridge Univ. Press,  2003
  • A.C.C Coolen, R. Kühn, P. Sollich: Theory of Neural Information Processing Systems, Oxford University Press 2005
  • P. Fischer: Algorithmisches Lernen, Teubner 1999
  • P. Flach: Machine Learning: The Art and Science of Algorithms that Make Sense of Data, Cambridge University Press 2012
  • F. M. Ham, I. Kostanic: Principles of Neurocomputing for Science & Engineering, McGraw Hill 2001
  • S. Haykin: Neural Networks, Prentice Hall, 1999
  • R. Rojas: Theorie der neuronalen Netze, Springer 1996

Online-Sammlung zahlreicher Artikel: PASCAL 2

Zeitschriften (Auswahl):