Nên chọn batch hay stream cho bài toán của bạn?

Công nghệ đến sau. Trước hết hãy biết bài toán của bạn chịu được độ trễ bao nhiêu.

Bài toán của bạn hợp cách nào?#

Chọn một bài toán để xem nên dùng batch, stream hay kết hợp cả hai, và vì sao.

Chín bài toán thực tế, mỗi bài kèm độ trễ chấp nhận được, lý do và công nghệ gợi ý.

Quy tắc chọn nhanh là gì?#

Hãy hỏi: "Nếu kết quả chậm một giờ, có ai thiệt không?"

• Không ai thiệt: bắt đầu với batch.
• Có người thiệt: bạn cần stream.
• Đúng ở cả hai phần khác nhau của hệ thống: kết hợp cả hai.

Với stream, hỏi tiếp độ trễ chấp nhận được là bao nhiêu. Dashboard cập nhật mỗi phút không cần cùng công nghệ với việc chặn gian lận trong 100 mili giây.

Khi cần cả hai, kiến trúc Lambda hoạt động thế nào?#

Lambda chạy hai đường song song. Đường batch tính lại toàn bộ lịch sử cho kết quả chính xác. Đường speed xử lý dữ liệu mới nhất cho kết quả nhanh. Serving layer gộp hai kết quả lại.

Nhược điểm: bạn phải viết và bảo trì hai bản logic cho cùng một phép tính.

Kiến trúc Kappa khác gì?#

Kappa chỉ có một đường stream. Mọi sự kiện nằm trong log giữ lâu. Muốn tính lại lịch sử, bạn phát lại log qua một job stream mới.

Nhược điểm: log phải giữ đủ lâu và engine stream phải đủ mạnh để chạy lại khối lượng lớn. Nhiều đội ngày nay dùng thêm lakehouse để batch và stream đọc chung một bảng.

Sai lầm hay gặp khi chọn#

• Chọn stream vì nghe hiện đại. Nếu không ai cần kết quả ngay, bạn trả thêm tiền máy và độ phức tạp mà không được gì.
• Không hỏi độ trễ chấp nhận được. "Real-time" chưa phải yêu cầu. Một con số như "dưới 10 giây" mới là yêu cầu.
• Dựng Lambda ngay từ đầu. Hai bản logic rất tốn công giữ cho khớp. Chỉ thêm đường thứ hai khi đã có lý do đo được.
• Quên rằng batch vẫn có thể rất thường xuyên. Chạy mỗi 5 phút thường đủ cho nhiều nhu cầu "gần thời gian thực".