Lesson 21 — IO Streaming

Minh hoạ tương tác 3 module: Read loop, io.Copy buffer, io.Pipe.

1. Read loop với io.Reader

Reader có chuỗi nguồn dài 38 byte. Buffer của caller chỉ 8 byte. Quan sát mỗi lần Read(p) trả về n byte và xử lý EOF.

Source:
Buffer p:
đã đọc: 0 còn lại: 38 lần Read: 0

2. io.Copy buffer 32 KB so với load-all

Source 100 KB chảy qua buffer 32 KB sang destination. So sánh RAM dùng giữa streaming vs io.ReadAll.

Thử: copy file 100MB — buffer 32KB giữ RAM phẳng lì, load-all nuốt cả 100MB: streaming là mặc định đúng.

SRC
100 / 100 KB còn lại
→
BUF (32 KB)
0 / 32 KB
→
DST
0 / 100 KB ghi

✓ io.Copy (streaming)

RAM peak: 0 KB
Chỉ giữ 1 buffer 32 KB bất kể source lớn cỡ nào.

✗ io.ReadAll (load all)

RAM peak: 0 KB
Bằng kích thước source. Source 4 GB → 4 GB RAM → OOM.

3. io.Pipe hand-off giữa 2 goroutine

Producer ghi vào pw; consumer đọc từ pr. Pipe đồng bộ (không buffer) → producer phải đợi consumer đọc xong mới ghi tiếp.

Goroutine A — Producer

State: idle
for i := 1..5 {
  pw.Write("msg-i\n")
}
pw.Close()
io.Pipe

Goroutine B — Consumer

State: idle
sc := bufio.NewScanner(pr)
for sc.Scan() {
  process(sc.Text())
}

4. Ghi chú