Lesson 02 — Linear Regression
1. Interactive scatter + fit (closed-form tự động)
Kéo các điểm xanh để di chuyển. Đường đỏ là đường hồi quy tốt nhất tính lại tức thời bằng normal equation. Theo dõi w, b, MSE, R² ở bên dưới.
2. Gradient descent animation trên loss landscape
Cùng dataset hiện tại. Loss landscape là một paraboloid L(b, w) — luôn lồi. Bấm Chạy GD để xem trajectory `(b, w)` chạy về điểm tối ưu (★ đỏ). Đổi η để thấy: quá lớn → dao động; quá nhỏ → chậm.
Thử: chạy GD trên loss landscape — quả bóng lăn xuống đáy bát; chỉnh lr quá lớn — nhảy vọt qua đáy không hội tụ.
3. Closed-form vs GD — cùng dataset, hai phương pháp khớp
Mục tiêu: chứng minh GD (chạy đủ epoch) ra đúng nghiệm normal equation. Hai cột dưới đây tính độc lập trên cùng dataset.
| Đại lượng | Closed-form (Normal Eq.) | Gradient Descent | Sai khác |Δ| |
|---|---|---|---|
| b (intercept) | — | — | — |
| w (slope) | — | — | — |
| MSE | — | — | — |
| Thời gian (ms) | — | — | — |
4. Ridge / Lasso — slider λ và sparse weights
Dataset 6 feature (tạo synth): chỉ 2 feature thực sự có ý nghĩa, 4 feature còn lại là noise. Ridge và Lasso đều shrink trọng số khi λ tăng — nhưng Lasso đẩy hẳn về 0, Ridge chỉ co lại.
Ridge (L2)
Lasso (L1)
5. Tổng kết
- Linear regression tìm hyperplane `ŷ = Xw + b` tốt nhất theo MSE.
- MSE không phải tuỳ chọn — nó đến từ MLE với Gaussian noise (Tầng 5 Lesson 07).
- Closed-form `w* = (XᵀX)⁻¹ Xᵀy` chính xác, `O(d³)`. GD `O(epochs·n·d)` — bắt buộc khi `d` lớn.
- Loss lồi → mọi điểm khởi tạo GD đều hội tụ về cùng nghiệm closed-form.
- Ridge (L2): shrink đều, có closed-form. Lasso (L1): shrink + sparse, không closed-form.
- Linear regression = NN 0 hidden layer + linear activation — là building block cho mọi model phức tạp hơn.