Learn · Chuỗi bài · 4 bài
Attention và ngữ cảnh dài
Vì sao mô hình AI càng đọc văn bản dài càng tốn, các cách giảm chi phí, cách một cây tóm tắt tìm trong ngữ cảnh, và cách đánh giá những con số được công bố.
- Attention là gì và vì sao mô hình AI đọc văn bản dài lại đắt?Bấm vào từng từ để xem attention nhìn lại đâu, rồi thấy vì sao văn bản dài gấp đôi thì công việc gấp bốn lần.
- Có những cách nào để mô hình AI bớt phải đọc lại mọi thứ?So sánh trực tiếp cửa sổ trượt, bộ chỉ mục và cây trên cùng một ngữ cảnh, xem cách nào quên, cách nào chỉ dời chi phí sang chỗ khác.
- Cây tóm tắt tìm trong ngữ cảnh thế nào? Cách ZHA hoạt độngXem một câu hỏi đi xuống cây từng tầng, chỉnh ngưỡng top-p và thử trên dữ liệu ngẫu nhiên, rồi chạy một phiên bản nhỏ bằng 130 dòng.
- Có nên tin con số nhanh gấp 400 lần? Đọc đúng kết quả của ZHATách phần đã đo khỏi phần dự đoán trong paper ZHA, xem vì sao cây sâu làm mất attention, và mang về danh sách câu hỏi cho paper sau.