T4-L03 — RNN / LSTM

RNN unroll · Vanishing gradient · LSTM gates · Seq2seq

1. RNN Unrolled — Hidden state qua thời gian

2. Vanishing Gradient — Tại sao RNN "quên"

Thử: lan gradient ngược 20 bước thời gian — norm co về gần 0: RNN "quên" vì tích các đạo hàm nhỏ hơn 1.

Bảng tham chiếu nhanh

3. LSTM Cell — 4 Gates Visualizer

Input

Gate Values

4. Seq2Seq Animation