Lesson 04 — Chain rule (Quy tắc dây xích)
4 component tương tác: composition pipeline, step-by-step chain rule, backpropagation NN 2 lớp, chain nhiều lớp với vanishing/exploding.
1. Composition pipeline: x → f(x) → g(f(x))
Chọn hàm
f (lớp trong) và g (lớp ngoài) từ dropdown. Kéo slider x.
Mỗi stage hiển thị giá trị và đạo hàm địa phương. Chain rule = nhân các đạo hàm.
Đường xanh:
g ∘ f theo x. Đường cam: tiếp tuyến tại x hiện tại với slope = g'(f(x)) · f'(x).2. Step-by-step chain rule (lựa chọn biểu thức)
Chọn 1 trong 6 biểu thức ví dụ. Viz tự động tách các lớp, hiển thị đạo hàm từng lớp,
và verify bằng giá trị số tại
x cho trước.
3. Backpropagation demo (NN 2 lớp, animation từng bước)
Kiến trúc:
x → W₁·+b₁ → z₁ → σ → a₁ → W₂·+b₂ → z₂ = y → L = (y−t)².
Kéo slider tham số, nhấn Forward rồi Backprop để animation gradient flow ngược qua từng node.
Nhấn 1 Step GD để cập nhật tham số và verify loss giảm.
Forward pass (tính từ trái sang phải)
Backward pass (gradient flow ngược)
4. Chain rule nhiều lớp — vanishing / exploding gradient
Mô phỏng chain rule cho NN sâu
n lớp. Mỗi lớp đóng góp 1 thừa số đạo hàm cấp 1.
Tích các thừa số → gradient cuối. Thử σ' nhỏ (≤ 0.25) → vanishing, hoặc |W| lớn → exploding.