Learn · Chuỗi bài · 6 bài
Xử lý dữ liệu: batch và stream
Từ hai cách xử lý là gì, qua cửa sổ thời gian và công cụ, tới một pipeline chạy được với chi phí vài đô.
- Batch và stream là gì? Hiểu nhanh qua một mô phỏngBatch gom dữ liệu rồi xử lý một lần, stream xử lý ngay khi dữ liệu đến. Tự chạy mô phỏng để thấy cái giá của mỗi cách, kèm bảng so sánh và ví dụ thực tế.
- Nên chọn batch hay stream cho bài toán của bạn?Chọn một bài toán thực tế để xem nên dùng batch, stream hay kết hợp cả hai và vì sao. Kèm quy tắc chọn nhanh và hai kiến trúc Lambda, Kappa.
- Cửa sổ thời gian, event time và dữ liệu đến trễ trong streamDòng dữ liệu vô hạn không thể cộng tổng một lần. Xem demo cửa sổ cố định, trượt và phiên, rồi hiểu event time, watermark và cách tránh xử lý trùng.
- Công nghệ xử lý dữ liệu: chọn gì theo ngôn ngữ và cloudSpark, Flink, Kafka, Airflow và các dịch vụ trên Cloudflare, AWS, Google Cloud, Azure làm gì. Chọn theo ba lớp: tiêu chuẩn ngành, cloud, ngôn ngữ.
- Dựng pipeline xử lý dữ liệu rẻ bằng TypeScript trên Cloudflare, AWSNhận đơn, xử lý theo lô nhỏ và tổng hợp mỗi đêm chỉ trong một Worker. Kèm bảng giá theo cấp, mẫu cho AWS và prompt để giao việc này cho AI.
- Dựng pipeline batch bằng Spark và stream bằng Kafka, FlinkCác bước dựng một pipeline batch với PySpark, Airflow và một pipeline stream với Kafka, Flink SQL, kèm code mẫu, cách chạy lại an toàn và lộ trình học tiếp.