Có nên tin con số nhanh gấp 400 lần? Đọc đúng kết quả của ZHA

"Nhanh gấp 400 lần" là con số dễ lan truyền nhất trong thông báo về ZHA, và cũng là con số cần đọc kỹ nhất. Không phải vì nó sai. Mà vì nó thuộc một loại bằng chứng khác hẳn với các điểm số đi cùng. Bài này tách các loại đó ra, rồi đưa cho bạn danh sách câu hỏi dùng được cho paper tiếp theo.

Tự thử: phần nào đã đo, phần nào chỉ dự đoán?#

Biểu đồ dưới đây đặt mọi con số tốc độ được công bố lên một đường, và tô vùng chưa có số đo độ chính xác. Chọn từng độ dài để đọc bằng chứng ở đó.

Điều cần thấy: mọi điểm thật sự ấn tượng đều nằm trong vùng chưa đo.

Những gì đã đo là gì?#

Độ chính xác đã được đo thật, trên Qwen3.6-35B-A3B, với hai cấu hình p = 0,95: cây sâu (khối 4, 6 tầng) và cây rộng (khối 256, 1 tầng). Các số dưới đây lấy từ Hình 5 của paper.

Cột MSA đáng chú ý ở RULER-13 và LongBench v2: cùng đọc khoảng 1% khoá trên LongBench v2, ZHA sâu cao hơn 12,7 điểm. Paper cũng nói họ huấn luyện bộ chỉ mục của MSA chỉ qua giai đoạn KL warmup, với 40 tỷ token, nên đây không phải là bản MSA đầy đủ nhất có thể.

Trên mô hình Nemotron, không có mã hoá vị trí, RULER-13 ở p = 0,95 tụt 25,3 điểm với cây sâu và 10,2 điểm với cây rộng. Kết quả của phương pháp phụ thuộc vào mô hình gốc.

Cấu hình nhanh có phải cấu hình trong bảng trên không?#

Không, và đây là chi tiết dễ bị bỏ qua nhất. Dự đoán tốc độ dùng một cấu hình nhẹ hơn nhiều: một câu hỏi mẫu, khối 8, p = 0,75 (R1 C8). Điểm của nó ở 2 tầng được đo trong Hình 15 của paper:

Vẫn khá tốt, nhưng thấp hơn attention đầy đủ ở sáu trong bảy bài. Và các con số này là ở 2 tầng. Dự đoán cho 1 tỷ token dùng 5 tầng, độ sâu mà cấu hình nhẹ này chưa được đo chất lượng. Ngoài ra, các số mũ tăng trưởng được chuyển từ cấu hình C4 R16 sang, chứ không đo trực tiếp ở độ dài đó.

Paper không giấu những điều này mà viết rất rõ. Nhưng một dòng tiêu đề thì không chứa được.

Vì sao cây càng sâu càng mất attention?#

Vì ngưỡng p nhân dồn qua các tầng. Mỗi tầng giữ 90% thì sáu tầng giữ khoảng 0,9⁶ ≈ 53%. Ở bài trước, bạn đã thấy cột "giữ được" giảm dần. Đây là lý do, và bạn có thể đo nó:

Trên mô hình nhỏ của bài này, với p = 0,9, trung bình 30 câu hỏi, kết quả đo được ngày 3/11/2026:

Bảng này cho thấy cả hai mặt của sự đánh đổi. Giữ p cố định thì chi phí gần như đứng yên, nhưng phần giữ được tụt dần về một kích thước cố định, và cây lại mắc đúng căn bệnh của bộ nhớ cố định. Nâng p theo độ sâu thì giữ được nhiều hơn, nhưng tốn gấp mấy lần. Nếu nâng quá cao, các tầng trên mở gần hết và chi phí quay về bậc hai.

Tác giả gọi đây là con đường hẹp giữa hai thất bại, và nói rằng cách đi tiếp phụ thuộc vào dữ liệu: phần đọc nên tăng theo lượng thông tin dự đoán thật sự có trong văn bản. Số liệu của họ về văn bản dừng ở 256K token, và họ viết thẳng rằng ngoại suy tới hàng trăm triệu hay hàng tỷ token có thể thất bại.

ZHA có thật sự tốt hơn đầy đủ không?#

Trên LongBench v2 thì có, 63,4 so với 58,0, và đây là phần thú vị nhất. Attention đầy đủ phải chia xác suất cho rất nhiều token gây nhiễu, nên ở ngữ cảnh dài nó có thể bị loãng. Các tác giả nêu khả năng sparsity còn có tác dụng lọc nhiễu, và sự thưa có thể cần thiết chứ không chỉ để tiết kiệm.

Đó là giả thuyết, vì trên RULER-13 thì cây sâu lại thấp hơn attention đầy đủ. Một bài kiểm tra trên một mô hình chưa chứng minh được một quy luật.

Đọc một thông báo kiểu này thế nào?#

Hãy dùng các câu hỏi dưới đây cho paper tiếp theo, kể cả khi nó không nói về attention.

Kết luận của chúng tôi: ZHA là một ý tưởng có cơ sở và có kết quả đo đáng chú ý ở độ dài tới 256K. Nó chưa phải là bằng chứng rằng mô hình sẽ đọc tốt một tỷ token. Hãy chờ ai đó chạy nó thật trên GPU, ở độ dài hàng triệu token, với điểm chất lượng đi kèm.

Giao việc này cho AI thế nào?#

Chép đoạn dưới, dán paper hoặc thông báo vào, rồi đưa cho AI:

Đây là một paper hoặc thông báo về một phương pháp AI mới: [dán nội dung hoặc đường dẫn]

Hãy tách các tuyên bố của nó thành bảng với các cột:
- Tuyên bố (nguyên văn số liệu)
- Loại bằng chứng: đo thật, mô hình tính toán, ngoại suy, hay chỉ nêu giả thuyết
- Điều kiện đo: mô hình, cấu hình, độ dài, phần cứng
- Vị trí trong tài liệu (mục hoặc hình)

Sau đó trả lời:
1. Con số nổi bật nhất có được đo trực tiếp không?
2. Tốc độ và chất lượng có đo trên cùng một cấu hình không? Nếu không, chênh lệch thế nào?
3. Vùng đo thật dừng ở đâu, và phần nào nằm ngoài vùng đó?
4. Đối thủ được so có được huấn luyện và cấu hình đầy đủ không?
5. Tác giả tự nêu những giới hạn nào?
6. Cần thí nghiệm nào để kiểm chứng tuyên bố lớn nhất?

Chỉ dựa vào tài liệu tôi đưa. Nếu tài liệu không nói, hãy ghi "không nêu", đừng suy đoán.

Loạt bài kết thúc ở đây. Bạn có thể quay lại bài đầu tiên nếu muốn xem lại vì sao mọi chuyện bắt đầu từ một tam giác.