BTU auf einen Blick BTU auf einen Blick schließen
Startseite
Schließen
Fakultät 1
Fachgebiet Wirtschaftsmathematik Prof. Dr. rer. nat. habil. Ralf Wunderlich

Mathematische Aspekte des Machine Learnings

Dienstags alle zwei Wochen, 11:00 - 12:30 sowie 13:15 - 14:45.
Erster Termin am 10.10.2017, Raum HG 3.45.

Dozent: Lorenz Richter
lorenz.richter(at)b-tu.de

Skript

Das Skript wird sukzessive erweitert. Hier gibt es die aktuelle Version.

Literatur

Die Veranstaltung orientiert sich vor allen Dingen an folgenden Lehrbüchern:

  • Shalev-Shwartz, S., Ben-David, S. Understanding machine learning: From theory to algorithms. Cambridge University press, 2014.
  • Vapnik, V. Statistical learning theory. Vol. 1. New York: Wiley, 1998.
  • Devroye, L., Györfi, L., Lugosi, G. A probabilistic theory of pattern recognition. Vol. 31. Springer Science & Business Media, 2013.

Für das Auffrischen von Stochastik- und Statistik-Grundlagen empfehlen sich folgende Skripte:

Einen guten Überblick über die Grundlagen und fortgeschrittenen Themen der statistischen Lerntheorien bieten diese beiden Artikel:

  • Bousquet, O., Boucheron, S., & Lugosi, G. (2004). Introduction to statistical learning theory. Advanced lectures on machine learning, 169-207. Springer Berlin Heidelberg.
  • Boucheron, S., Bousquet, O., & Lugosi, G. (2005). Theory of classification: A survey of some recent advances. ESAIM: Probability and statistics, 9, 323-375.

Mögliche Projektthemen sind:

  • Online learning, stochastic bandit
    • Z.B. Herleiten einer oberen Schranke des UCB-Algorithmus, siehe Theorem 2.1 in Bubeck and Cesa-Bianchi. Regret analysis of stochastic and nonstochastic multi-armed bandit problems. Foundations and Trends in Machine Learning, 5(1): 1-122, 2012.
  • Neuronale Netze
    • Z.B. Herleiten der VC-Dimension sowie der "growth function" von einfachen neuronalen Netzen, siehe Theorem 3.1 und Theorem 6.1/6.2 in Anthony, M., & Bartlett, P. L. (2009). Neural network learning: Theoretical foundations. Cambridge University press.
    • Alternativ: Zusammenfassen aktueller Generalisierungsschranken, wie z.B. in Kawaguchi, K., Kaelbling, L. P., & Bengio, Y. (2017). Generalization in deep learning. arXiv preprint arXiv:1710.05468.
  • Covering numbers
    • Z.B. Herleiten einer Schranke, die schärfer als die VC-Schranke ist, siehe Theorem 4.3 in Devroye, L., & Lugosi, G. Combinatorial methods in density estimation. 2001.
    • Siehe auch: Kapitel 27 in Shalev-Shwartz, S., Ben-David, S. Understanding machine learning: From theory to algorithms. Cambridge University press, 2014.
  • Multiclass-Algorithmen und die Verallgemeinerung der VC-Dimension (Natarajan-Dimension)
    • Siehe z.B. Kapitel 17 und 29 in Shalev-Shwartz, S., Ben-David, S. Understanding machine learning: From theory to algorithms. Cambridge University press, 2014.
    • Oder auch: Daniely, A., Sabato, S., Ben-David, S., & Shalev-Shwartz, S. (2011, December). Multiclass learnability and the erm principle. In Proceedings of the 24th Annual Conference on Learning Theory (pp. 207-232).
  • Model selection
    • Siehe z.B. Kapitel 11 in Shalev-Shwartz, S., Ben-David, S. Understanding machine learning: From theory to algorithms. Cambridge University press, 2014.