T1-L04 — Bias-Variance & Regularization

Polynomial overfit · Ridge / Lasso shrinkage · k-Fold Cross-Validation

1. Polynomial Regression — Bias vs Variance

Dữ liệu: y = sin(πx) + noise (n=20 điểm). Kéo slider degree để xem underfit → sweet spot → overfit.

Thử: kéo bậc từ 1 lên 15 — đường fit từ cứng đờ (bias cao) sang vẽ rồng rắn (variance cao): tổng lỗi hình chữ U.

3

2. Ridge Regression — Coefficient Shrinkage

Ban đầu: w = [5.0, −3.0, 7.0, −2.0]. Tăng λ để xem shrinkage monotonic.

L_ridge = MSE(w) + λ · Σ wⱼ²
0.00
λw₁w₂w₃w₄‖w‖²

3. Lasso — Sparsity Demo

Features 1 và 3 quan trọng (true signal). Tăng λ → features ít quan trọng về 0.

L_lasso = MSE(w) + λ · Σ|wⱼ|
0.00

4. k-Fold Cross-Validation Visualizer

Nhấn "Chạy CV" để xem từng fold train/val, accuracy từng fold và summary.

5