Lesson 07 — Gradient Descent

Thuật toán "đi ngược dốc" — nuôi sống mọi neural network. Bốn demo tương tác: 1D walker, learning rate explorer, 2D contour walker, và linear regression GD.

1. Gradient Descent 1 biến — đi từng bước

Chọn hàm, điểm khởi tạo, learning rate. Nhấn "Bước 1" để thực hiện một bước. "Auto" để chạy tự động. Xem cách x_{t+1} = x_t − η·f'(x_t) tiến về đáy.

f(x)

x₀

η (learning rate)

Bước t: 0 x_t: 5.0000 f(x_t): 25.0000 f'(x_t): 10.0000 Δx = −η·g: −1.0000

t	x_t	f(x_t)	f'(x_t)	Δx

2. Learning Rate Explorer — 4 chế độ song song

Cùng hàm f(x) = x², cùng x₀ = 5, nhưng 4 giá trị η khác nhau. Quan sát: quá nhỏ → bò chậm, vừa → tốt, hơi lớn → đu, quá lớn → diverge.

x₀ chung

Số bước t = 10

3. Gradient Descent 2D trên contour map

Hàm f(x, y) = x² + 2y² (hoặc các preset khác). Click vào contour để chọn (x₀, y₀). Kéo slider η. Xem trajectory đi về (0, 0).

f(x, y)

x₀

y₀

η η = 0.100

t: 0 (x, y): (5, 5) f: 75 ∇f: (10, 20)

4. Linear Regression bằng Gradient Descent

Kéo các điểm dữ liệu trên scatter (trái) để thay đổi dataset. Nhấn "Run GD" — xem đường y = ax + b cập nhật, đồng thời điểm (a, b) di chuyển trên contour của loss MSE (phải).

Có thể kéo điểm (chấm đen) trên đồ thị trái. Closed-form (đường xanh) cập nhật ngay; GD (đường đỏ) học dần.

a₀

b₀

η η = 0.050

t: 0 a: 0.0000 b: 0.0000 Loss MSE: — Closed-form: —