Công nghệ xử lý dữ liệu: chọn gì theo ngôn ngữ và cloud

Nhiều công cụ nổi tiếng nhất viết bằng Java, nhưng bạn dùng được chúng qua SQL, Python hoặc TypeScript mà không cần biết Java. Bài này xếp chúng theo ba lớp.

Phiên bản trong bài được kiểm tra ngày 03/11/2026 và đổi rất nhanh. Hãy đối chiếu trang chính thức trước khi quyết định.

Những công cụ nào là tiêu chuẩn ngành?#

Đây là những cái tên bạn sẽ gặp ở hầu hết công ty dữ liệu lớn. Nên biết vai trò của chúng, dù bạn không dùng ngay.

Cái giá của nhóm này là vận hành: cluster, cấu hình, theo dõi. Nếu quy mô chưa lớn, xem lớp 2 trước.

Mỗi cloud có dịch vụ gì cho cùng một việc?#

Dùng dịch vụ của chính nền tảng bạn đang chạy thường là cách nhanh và rẻ nhất để bắt đầu.

Đáng chú ý: Cloudflare mua lại Arroyo, một engine stream SQL viết bằng Rust, để làm nền cho Pipelines. Pipelines nhận sự kiện qua HTTP hoặc Worker, biến đổi bằng SQL rồi ghi ra R2 dưới dạng Iceberg hoặc Parquet.

Nên chọn gì theo ngôn ngữ đang dùng?#

Trình tự ưu tiên: dùng SQL trước, rồi ngôn ngữ của bạn, cuối cùng mới học thêm ngôn ngữ khác.

TypeScript và JavaScript#

• Chạy trên hạ tầng JS: Cloudflare Workers với Queues và Workflows, hoặc AWS Lambda với SQS và Step Functions.
• Workflow bền vững: Cloudflare Workflows, Vercel Workflows, Inngest, Trigger.dev, Upstash Workflow, Temporal.
• Hàng đợi trên Redis: BullMQ cho Node.js, hợp khi đã có Redis.
• Kafka từ TypeScript: Confluent JavaScript client.
• Phân tích: SQL trên D1, Athena, BigQuery hoặc DuckDB.

Python#

• Batch: PySpark. DuckDB và Polars cho dữ liệu vừa chạy trên một máy, rất nhẹ.
• Điều phối: Airflow, Dagster, Prefect.
• Stream: PyFlink, Apache Beam Python SDK, client Kafka của Confluent.
• Workflow bền vững: Temporal Python SDK.

Java, Kotlin và Scala#

Đầy đủ tính năng nhất: Flink, Kafka Streams, Spark gốc, Beam Java. Hợp khi đội đã dùng JVM và cần kiểm soát sâu. Đổi lại, nặng hơn để bắt đầu và vận hành.

Go và Rust#

• Go: Temporal Go SDK, franz-go (client Kafka), Redpanda Connect.
• Rust: Arroyo, engine stream SQL nay thuộc Cloudflare.

Xu hướng gần đây là gì?#

• Stream vào Iceberg bằng SQL. Cloudflare Pipelines với R2 Data Catalog, AWS Kinesis với S3 Tables. Dữ liệu vào thẳng bảng truy vấn được.
• Workflow bền vững cho AI agent. Retry, chờ duyệt và chạy tiếp sau sự cố mà không viết hàng đợi thủ công.
• Kafka bỏ ZooKeeper. Từ 4.0 cluster chạy hoàn toàn bằng KRaft nên dễ vận hành hơn.
• Flink 2.x tách trạng thái ra khỏi máy tính toán. Trạng thái lớn lưu ở kho từ xa nên mở rộng và phục hồi nhanh hơn.
• Spark có Real-Time Mode. Theo Databricks, độ trễ xuống cỡ vài trăm mili giây. Đây là số do nhà cung cấp công bố.
• Batch và stream dùng chung một bảng. Iceberg, Delta và Paimon cho phép ghi bằng stream và đọc bằng batch.