Lesson 06 — Word Embedding
4 công cụ tương tác để cảm nhận embedding: distributional viewer, vector arithmetic, t-SNE preset, mini skip-gram trainer.
1. Distributional viewer — "Biết từ qua bạn bè nó đi cùng"
Chọn 1 từ trong 6 từ dưới. Xem các câu chứa từ đó + đếm số lần các từ khác xuất hiện trong cửa sổ ngữ cảnh (window = ±2). Hai từ có context giống nhau → embedding nên gần nhau.
Câu chứa từ cat
Co-occurrence count (top 10)
2. Vector arithmetic — king − man + woman = ?
Mini-embedding 4D được gán bằng tay cho 20 từ. Nhập 3 từ (a − b + c) để thấy hệ thống tính vector kết quả rồi tìm 5 từ gần nhất theo cosine similarity. Click vào preset để load nhanh.
Tính toán từng bước
Top 5 nearest (loại bỏ a, b, c)
Outline cam = đáp án mong đợi (nếu có preset).
Từ điển 20 từ (click để load làm a):
3. t-SNE — 50 từ thật, chiếu xuống 2D
50 từ được embed sẵn 2D (pre-computed), thuộc 5 cluster: animals countries foods sports colors. Hover từ → highlight láng giềng gần nhất.
4. Skip-gram trainer — 5 từ, 2D embedding, từng bước
Vocab 5 từ {cat, dog, fish, bone, water}. Corpus: 3 câu. Embedding 2D, ngẫu nhiên khởi tạo. Mỗi bước training, embedding di chuyển gần các từ cùng context — bạn thấy điều đó trên canvas.