T4-L03 — RNN / LSTM

RNN unroll · Vanishing gradient · LSTM gates · Seq2seq

1. RNN Unrolled — Hidden state qua thời gian

Time steps hiện tại: 1

2. Vanishing Gradient — Tại sao RNN "quên"

Gradient factor ρ/bước: 0.90 Số bước T: 50

Bảng tham chiếu nhanh

3. LSTM Cell — 4 Gates Visualizer

Input

x_t[0]: 0.50 x_t[1]: -0.30 h_{t-1}[0]: 0.20 h_{t-1}[1]: 0.10 c_{t-1}[0]: 0.30 c_{t-1}[1]: -0.10

Gate Values

4. Seq2Seq Animation