Attention là gì và vì sao mô hình AI đọc văn bản dài lại đắt?

Bạn đọc tới chữ "nó" trong một câu chuyện và lướt mắt về trước để xem nó là ai. Việc này rất nhanh vì bạn chỉ nhìn vài chỗ. Mô hình ngôn ngữ làm điều tương tự bằng attention, nhưng ở dạng cơ bản, nó nhìn lại tất cả mọi thứ, mỗi lần. Bài này cho bạn thấy cả cơ chế lẫn cái giá đó.

Tự thử: một từ nhìn lại những từ nào?#

Bấm vào một từ để xem nó chia sự chú ý thế nào cho các từ đứng trước.

Thử theo thứ tự:

1. Chọn đói. Khoảng 78% attention rơi vào "Con mèo", vì con đói là con đang đuổi.
2. Đổi cuối câu thành …vì nó sợ. Khoảng 85% chuyển sang "con chuột". Không từ nào phía trước thay đổi, chỉ câu hỏi thay đổi.
3. Chọn nó. Attention chia đều 45% và 45% cho hai con vật, vì chưa có gì phân biệt được.

Bản demo dùng vector do chúng tôi tự đặt để bạn thấy rõ cơ chế. Mô hình thật học các vector này từ dữ liệu.

Attention làm những bước nào?#

Attention so khớp điều một token đang tìm với nhãn của mọi token trước đó, đổi điểm số thành tỷ lệ, rồi trộn nội dung theo tỷ lệ ấy. Hãy nghĩ tới một thủ thư: bạn nói điều cần tìm, thủ thư dò nhãn trên từng cuốn sách, rồi đưa bạn nội dung của những cuốn khớp nhất.

Phép so khớp là tích vô hướng của hai vector. Trong bài này chúng tôi gọi nó là một phép so sánh, và đó là đơn vị chi phí xuyên suốt loạt bài. Paper gốc về transformer gọi cách làm này là scaled dot-product attention.

Vì sao gấp đôi độ dài thì gấp bốn công việc?#

Vì mỗi token phải so với mọi token trước nó. Token thứ 8 so 7 lần, token thứ 1.000 so 999 lần. Cộng lại, n token cần n(n-1)/2 phép so sánh, nên chi phí tăng theo bình phương độ dài. Người ta gọi đó là chi phí bậc hai.

Mỗi ô dưới đây là một phép so sánh. Bấm Gấp đôi và nhìn tam giác lớn lên.

Tam giác 64 token còn vẽ được. Bảng dưới là phần không vẽ được. Cột thời gian giả định máy làm được 1 tỷ phép so sánh mỗi giây, cho một lớp attention và một đầu attention. Đây là con số giả định để dễ hình dung, không phải tốc độ đo được trên phần cứng cụ thể.

Đọc vào và viết ra khác nhau thế nào?#

Hai giai đoạn này tốn theo hai cách khác nhau. Prefill là lúc mô hình đọc phần văn bản đưa vào: tổng chi phí tăng bậc hai. Decode là lúc mô hình viết tiếp từng token.

Để khỏi phải tính lại, mô hình lưu key và value của mọi token cũ vào KV cache. Nhưng mỗi token mới vẫn phải đọc toàn bộ cache đó. Vì vậy, paper về ZHA mô tả chi phí decode là băng thông bộ nhớ và dung lượng lưu trữ tăng tuyến tính theo độ dài chuỗi, cho mỗi token mới.

Nói cách khác, token thứ 1 triệu không chỉ tốn hơn token thứ 1 nghìn về phép tính. Nó còn phải kéo cả một triệu cặp key và value qua bộ nhớ.

Đã kiểm tra bằng cách chạy thật#

Ngày 3/11/2026, chúng tôi chạy đoạn mã dưới đây trên Node 26.11.1 và Apple M4 Pro, không thư viện ngoài. Đây là vòng lặp thuần trên CPU, chỉ để thấy hình dạng tăng trưởng.

// attention.ts: node attention.ts
const DIM = 32;

function randomKeys(n: number): Float32Array {
  const keys = new Float32Array(n * DIM);
  for (let i = 0; i < keys.length; i++) keys[i] = Math.random() - 0.5;
  return keys;
}

// Mỗi token so với mọi token trước nó.
function readAll(keys: Float32Array, n: number): number {
  let comparisons = 0;
  let sink = 0;
  for (let token = 1; token < n; token++) {
    for (let earlier = 0; earlier < token; earlier++) {
      let score = 0;
      for (let d = 0; d < DIM; d++) score += keys[token * DIM + d]! * keys[earlier * DIM + d]!;
      sink += score;
      comparisons++;
    }
  }
  if (Number.isNaN(sink)) throw new Error("unreachable");
  return comparisons;
}

let previous = 0;
for (const n of [2000, 4000, 8000, 16000]) {
  const keys = randomKeys(n);
  const start = performance.now();
  const comparisons = readAll(keys, n);
  const ms = performance.now() - start;
  const growth = previous ? `${(ms / previous).toFixed(1)}x` : "";
  console.log(`${n} tokens: ${comparisons} comparisons, ${ms.toFixed(0)} ms ${growth}`);
  previous = ms;
}

Kết quả, mỗi dòng gấp đôi số token:

2000 tokens: 1999000 comparisons, 53 ms
4000 tokens: 7998000 comparisons, 189 ms 3.6x
8000 tokens: 31996000 comparisons, 746 ms 4.0x
16000 tokens: 127992000 comparisons, 3000 ms 4.0x

Máy của bạn sẽ cho số mili giây khác, nhưng tỷ lệ vẫn quanh 4 lần.

Điều này ảnh hưởng gì tới việc bạn dùng AI?#

Mô hình đầy đủ càng đọc dài càng tốn cho nhà cung cấp, nên ngữ cảnh dài thường đi kèm giới hạn hoặc chi phí. Vài thói quen sau đều xuất phát từ cơ chế này.

Những hiểu lầm hay gặp#

• "Attention nghĩa là mô hình chỉ đọc phần quan trọng." Với attention đầy đủ thì ngược lại: nó tính điểm cho tất cả, rồi mới gán trọng số lớn cho phần quan trọng.
• "KV cache loại bỏ chi phí." Cache tránh tính lại key và value, nhưng token mới vẫn phải đọc cả cache.
• "Máy nhanh gấp đôi thì đọc được dài gấp đôi." Máy nhanh gấp đôi chỉ cho thêm khoảng 41% độ dài, vì chi phí tăng theo bình phương.
• "Một phép so sánh của mô hình thật giống trong demo." Mô hình thật có nhiều lớp và nhiều đầu attention, nên số thật lớn hơn. Hình dạng tăng trưởng mới là điều cần nhớ.

Bài tiếp theo sẽ xem các cách người ta đã thử để thoát khỏi chi phí này, và vì sao phần lớn chỉ dời nó sang chỗ khác.