Phần này đi sâu vào những khái niệm xuất hiện trong công việc Data Engineering. Bạn không cần đọc hết một lượt. Hãy chọn điểm bắt đầu gần với việc mình đang làm nhất.

Mới tìm hiểu Data Engineering

Bảy bài đầu theo một Data Pipeline từ lúc lấy data về đến khi output đủ tin cậy để sử dụng.

1. Một Data Pipeline hoạt động ra sao?
2. Data Ingestion: đưa data ra khỏi Source System
3. Vì sao cần Data Warehouse?
4. ETL và ELT khác nhau thế nào?
5. Xử lý data theo từng Batch
6. Data Orchestration khi nhiều job phụ thuộc nhau
7. Data Quality: làm sao biết data đủ tin cậy?

Nếu vẫn chưa rõ Data Engineer làm gì, hãy đọc phần Bắt đầu trước.

Đã bắt đầu xây Data Pipeline

Nhóm bài này tập trung vào những vấn đề chỉ xuất hiện rõ khi pipeline được chạy nhiều lần và có người phụ thuộc vào nó.

8. Idempotency: chạy lại pipeline mà không tạo duplicate
9. Retry hoạt động như thế nào?
10. Sửa lại data trong quá khứ với Backfill
11. Data Observability: theo dõi sức khoẻ của pipeline
12. Metadata: data để hiểu data
13. Data Lineage: data đã đi qua đâu?
14. Tìm đúng data với Data Catalog
15. Data Contract giữa producer và consumer
16. Schema Evolution mà không làm hỏng downstream

Đang làm việc với hệ thống lớn hơn

Bắt đầu từ việc chọn Batch hay Streaming, sau đó mới đi vào cách lưu và quản lý data trên Data Lake.

17. Batch hay Streaming?
18. Stream Processing: xử lý data liên tục
19. Theo dõi thay đổi trong Database với CDC
20. Lưu raw data ở quy mô lớn với Data Lake
21. Khi Data Lake cần cách quản lý như Warehouse
22. File Format: chọn giữa CSV, JSON và Parquet
23. Table Format: chọn giữa Iceberg, Delta Lake và Hudi

Các nhóm trên chỉ là gợi ý đọc. Sidebar vẫn giữ một danh sách phẳng để mỗi khái niệm có một trang riêng và dễ tra cứu lại.