T4-L03 — RNN / LSTM
RNN unroll · Vanishing gradient · LSTM gates · Seq2seq
1. RNN Unrolled — Hidden state qua thời gian
2. Vanishing Gradient — Tại sao RNN "quên"
Thử: lan gradient ngược 20 bước thời gian — norm co về gần 0: RNN "quên" vì tích các đạo hàm nhỏ hơn 1.