SCMA292 Mathematical Modeling : Machine Learning

Introduction to learning framework, Empirical risk minimization, Uniform convergence and complexity, Linear model and Perceptron, k-nearest neighbor models, Support vector machine, Kernel methods, Probabilistic models, Decision tree models, Neural network model.

การแนะนำโครงสร้างการเรียนรู้ การทำความเสี่ยงเชิงประจักษ์ให้น้อยสุด การลู่เข้าเอกรูปและความซับซ้อน แบบจำลองเชิงเส้นและเพอร์เซปตรอน แบบจำลองเพื่อนบ้านใกล้สุดแบบ เค เครื่องเวคเตอร์สนับสนุน วิธีแก่นกลาง แบบจำลองเชิงความน่าจะเป็น แบบจำลองต้นไม้การตัดสินใจ แบบจำลองเครือข่ายเส้นประสาท

Course information



Introduction to Mathematical Modeling and Machine Learning
  • Machine learning and its applications
  • Supervised learning
  • Generalization
  • Linear regression and classification
Slide 0, Slide 1, demo
Background Materials
  • Probability theory
  • Maximum likelihood (ML) and maximum a posteriori (MAP) estimation
  • Linear regression revisited
  • Linear algebra
Reading : Mixture Models and the EM Algorithm [1, 2, 3]
Slide 2
Ridge Regression and Regularization
  • A Quick recap of least square
  • Ridge regression and regularization
  • Lasso
  • Model selection
Reading : Chapter 3,4,5 of Hastie's book
Slide 3
Naive Bayes and Logistic Regression
  • Classification problem
  • Naive Bayes classifier
  • Logistic regression
Reading : Tom Mittchel's note, Andrew Moore's lecture
Slide 4
  • History of perceptron algorithm
  • Perceptron algorithm
Reading :
Slide 5
Exercise Solution
Multi-layer Perceptron
  • History of multi-layer perceptron
  • Backpropagation algorithm
Reading :
Slide 6
Non-linear Models with Basis Functions
  • Non-linear feature representation
  • Linear regression with basis functions
Reading : Bishop Ch. 3, sections 3.1 – 3.4 (optional 3.5)
Slide 7
Case Study : AlphaGo

Reading : Mastering the game of Go with deep neural networks and tree search
Slide 8
Learning with Kernels
  • Support vector machines
  • Primal and dual forms
  • Positive definite kernels
Reading : Chris Burges's tutorial, Hofmann et al.
Reading : CO2 data, kaggle's tutorial
k-Nearest Neighbor Algorithm

Reading :
Slide 9
Decision Trees

Reading : Mitchell, Chapter 3
Slide 10

Useful Links

Online Resources is © copyright 2009. All rights reserved.