Cloudflare tối ưu hóa dung lượng cache với Zstandard và Pingora

Trong bối cảnh chi phí phần cứng như RAM và ổ cứng tăng cao, Cloudflare đang tìm kiếm các giải pháp tối ưu hóa hiệu suất lưu trữ cho hệ thống CDN toàn cầu của mình. Dự án mới nhất mang tên Cache Transcoding, được phát triển trong chương trình thực tập tại Cloudflare, hứa hẹn mở rộng đáng kể dung lượng cache hiệu dụng bằng cách tận dụng thuật toán nén Zstandard (zstd) ngay bên trong proxy Pingora.

Cơ chế hoạt động của Cache Transcoding

Thay vì lưu trữ nguyên bản (identity representation) các tệp tin từ server nguồn, hệ thống sẽ nén dữ liệu bằng zstd trước khi ghi vào đĩa. Dữ liệu này được giữ ở dạng nén trong suốt quá trình lưu trữ và luân chuyển giữa các trung tâm dữ liệu thông qua Tiered Cache. Quá trình giải nén chỉ diễn ra ngay trước khi phản hồi được gửi tới client.

Kết quả thử nghiệm ban đầu cho thấy các tệp tin đủ điều kiện có thể giảm kích thước xuống còn 1/3 so với ban đầu. Mặc dù việc nén và giải nén tiêu tốn thêm một phần tài nguyên CPU, nhưng lợi ích về không gian lưu trữ và băng thông giữa các trung tâm dữ liệu là rất lớn.

Tại sao lại là Zstandard?

Zstandard được chọn nhờ sự cân bằng tối ưu giữa tỷ lệ nén và tốc độ xử lý. So với Brotli hay Gzip, zstd cho phép Cloudflare nén dữ liệu nhanh hơn và hiệu quả hơn, đảm bảo không trở thành nút thắt cổ chai (bottleneck) về CPU khi xử lý lưu lượng truy cập khổng lồ.

Chiến lược nén thông minh

Cloudflare không nén mọi thứ. Các tệp tin như hình ảnh, video hay font chữ thường đã được nén sẵn, việc nén lại sẽ gây lãng phí CPU. Thay vào đó, hệ thống tập trung vào các nội dung văn bản (HTML, JSON, CSS, JavaScript) chưa được nén từ server nguồn. Các tiêu chí lọc bao gồm:

• Phản hồi có mã trạng thái 200 OK.
• Content-Encoding chưa được thiết lập.
• Content-Type là văn bản có thể nén.
• Kích thước tệp tối thiểu là 4 KiB.

Lợi ích về hạ tầng

Việc áp dụng Cache Transcoding giúp tăng mật độ cache trên mỗi server, giảm thiểu tình trạng dữ liệu bị đẩy ra khỏi bộ nhớ đệm (eviction) do thiếu không gian. Đồng thời, việc truyền tải dữ liệu nén giữa các tầng cache (Tiered Cache) cũng giúp tối ưu hóa băng thông backbone của Cloudflare.

Trong tương lai, Cloudflare dự định tiếp tục tinh chỉnh các tham số nén, thử nghiệm với các loại nội dung đa dạng hơn và nghiên cứu khả năng truyền tải trực tiếp tệp nén tới các thành phần hạ tầng hỗ trợ, nhằm giảm thiểu tối đa các thao tác giải nén không cần thiết.

Nguồn tham khảo: Cloudflare Blog