Lesson 08 — Cross-entropy + KL divergence
Loss function trung tâm của classification và LLM — entropy, cross-entropy, KL, classification loss, perplexity.
1. Entropy explorer — `H(p)`
Trượt thanh để thay đổi p của Bernoulli (xác suất outcome 0). Entropy H(p) = -[p·log p + (1-p)·log(1-p)] đạt max khi p = 0.5 và giảm về 0 khi p → 0 hoặc p → 1.
0.50
H(p) curve
Vị trí p hiện tại
2. Cross-entropy & KL comparator — không đối xứng
Hai phân phối Bernoulli p và q. Hiển thị: H(p), H(q), H(p, q), H(q, p), D_KL(p||q), D_KL(q||p), JSD. Chú ý KL hai chiều khác nhau.
0.90
0.50
| Đại lượng | Giá trị (bit) | Diễn giải |
|---|
p
q
m = (p+q)/2
Verify: chuyển preset "p = q" — mọi KL = 0, JSD = 0. Chuyển "đảo ngược" — KL hai chiều có thể đối xứng do swap. Chuyển "fair vs lệch" — KL hai chiều khác hẳn nhau.
3. Classification loss — 3 class
True class one-hot. Trượt thanh điều chỉnh logits z_1, z_2, z_3, model output = softmax(z). Loss = -log q[y].
0.0
1.5
0.0
True class (one-hot)
Model output q
4. Perplexity visualizer
Vocab nhỏ V = 8. Phân phối thật p tập trung ở token 0 (xác suất 0.5, các token khác chia đều 0.07). Model q được kiểm soát qua "temperature" τ — τ thấp = concentrated, τ cao = uniform.
| Đại lượng | Giá trị |
|---|
PPL = exp(H(p, q)). Khi q = p (mode "Match"), PPL = exp(H(p)) là sàn lý thuyết. Khi q = uniform, PPL = V = 8. Khi q "tự tin sai", PPL có thể vượt V (tệ hơn random).
p (thật)
q (model)