Lesson 07 — Maximum Likelihood Estimation

Cho data, đoán tham số. MLE = θ làm data quan sát có khả năng nhất.

1. MLE cho Bernoulli — đồng xu

Kéo slider để đổi n (số lần tung) và k (số mặt ngửa). Đồ thị bên trái vẽ L(p), bên phải vẽ log L(p). MLE = đỉnh = `k/n`.

n = 10 k = 6 k ≤ n

2. MLE cho Gaussian — `μ̂` và `σ̂²`

Kéo các điểm dữ liệu lên xuống (theo trục x). PDF Gaussian fit tự cập nhật. `μ̂` = trung bình, `σ̂²` = trung bình bình phương lệch.

3. Linear regression MLE — MSE từ Gaussian noise

Kéo các điểm theo trục y. Đường fit closed-form `ŵ = Cov(x,y)/Var(x)`, `b̂ = ȳ − ŵx̄`. Residuals (đoạn dọc) là `yᵢ - ŷᵢ`. SSE và `σ̂²` tự cập nhật.

Data points (kéo dọc)

Đường fit ŷ = ŵx + b̂

Residual (sai số)

4. MAP vs MLE — sức mạnh của prior

Coin flip với prior Beta(α, β). Slider `prior strength` = α+β (kéo α, β cùng tỷ lệ). `prior center` đặt mean prior. MLE và MAP cùng được vẽ. Khi prior yếu → MAP ≈ MLE; khi prior mạnh → MAP kéo về prior center.

n = 10 k = 8

Prior center μ₀ = 0.50 Prior strength (α+β) = 10

Likelihood L(p) (chuẩn hoá để hiện thị)

Prior P(p) ~ Beta(α,β)

Posterior ∝ L · P

p̂_MLE

p̂_MAP