Bài học miễn phí · Tiếng Việt và tiếng Anh
Hiểu hệ thống vận hành thế nào, bằng cách tự tay thử
Bài học ngắn về thiết kế hệ thống, công nghệ và AI. Kéo thanh trượt, làm thử cho hỏng, xem vì sao, rồi mang về code chạy được và mẫu prompt để giao việc cho AI.
Chuỗi bài
Chuỗi bài · 6 bài
Xử lý dữ liệu: batch và stream
Từ hai cách xử lý là gì, qua cửa sổ thời gian và công cụ, tới một pipeline chạy được với chi phí vài đô.
Bắt đầu chuỗi bài- Batch và stream là gì? Hiểu nhanh qua một mô phỏngBatch gom dữ liệu rồi xử lý một lần, stream xử lý ngay khi dữ liệu đến. Tự chạy mô phỏng để thấy cái giá của mỗi cách, kèm bảng so sánh và ví dụ thực tế.
- Nên chọn batch hay stream cho bài toán của bạn?Chọn một bài toán thực tế để xem nên dùng batch, stream hay kết hợp cả hai và vì sao. Kèm quy tắc chọn nhanh và hai kiến trúc Lambda, Kappa.
- Cửa sổ thời gian, event time và dữ liệu đến trễ trong streamDòng dữ liệu vô hạn không thể cộng tổng một lần. Xem demo cửa sổ cố định, trượt và phiên, rồi hiểu event time, watermark và cách tránh xử lý trùng.
- Công nghệ xử lý dữ liệu: chọn gì theo ngôn ngữ và cloudSpark, Flink, Kafka, Airflow và các dịch vụ trên Cloudflare, AWS, Google Cloud, Azure làm gì. Chọn theo ba lớp: tiêu chuẩn ngành, cloud, ngôn ngữ.
- Dựng pipeline xử lý dữ liệu rẻ bằng TypeScript trên Cloudflare, AWSNhận đơn, xử lý theo lô nhỏ và tổng hợp mỗi đêm chỉ trong một Worker. Kèm bảng giá theo cấp, mẫu cho AWS và prompt để giao việc này cho AI.
- Dựng pipeline batch bằng Spark và stream bằng Kafka, FlinkCác bước dựng một pipeline batch với PySpark, Airflow và một pipeline stream với Kafka, Flink SQL, kèm code mẫu, cách chạy lại an toàn và lộ trình học tiếp.
Bài lẻ
Mỗi bài có gì cho bạn
Có cái để thử
Demo chạy trực tiếp ở chỗ cần, để bạn thấy ý tưởng chuyển động thay vì chỉ đọc.
Khi nào dùng
Tình huống thật, nên chọn cách nào và vì sao.
Các bước chạy được
Code và lệnh chạy được, kèm phiên bản và ngày kiểm tra.
Cách tự kiểm tra
Câu hỏi ngắn có giải thích từng đáp án, và nguồn để bạn tự đọc.