Tối ưu hóa Logpush với tính năng Transformers: Lọc, định dạng và ẩn danh dữ liệu ngay tại nguồn

Cloudflare vừa chính thức đưa tính năng Transformers vào dịch vụ Logpush, cho phép người dùng tùy chỉnh dữ liệu log trước khi chúng được gửi đến các hệ thống lưu trữ hoặc phân tích. Thay vì phải thiết lập các dịch vụ xử lý trung gian phức tạp, giờ đây các đội ngũ kỹ thuật có thể thực hiện lọc, ẩn danh (redact) và định dạng lại dữ liệu ngay trong quy trình vận hành của Logpush.

Tại sao cần Transformers?

Trước đây, khi chuyển log sang các hệ thống SIEM hoặc phân tích, người dùng thường phải đối mặt với các vấn đề như: dữ liệu thừa (ví dụ: các bản ghi health check), thông tin nhạy cảm cần ẩn danh, hoặc cần chuẩn hóa cấu trúc log từ nhiều nguồn khác nhau. Việc này thường đòi hỏi một service xử lý riêng biệt, gây tốn kém chi phí hạ tầng và vận hành. Với Transformers, quy trình này được tích hợp trực tiếp vào pipeline của Logpush thông qua các truy vấn SQL.

Cơ chế hoạt động của Transformers

Transformers sử dụng công cụ thực thi SQL được nhúng trực tiếp vào pipeline xuất dữ liệu của Logpush. Người dùng có thể:

• Lọc dữ liệu: Sử dụng mệnh đề WHERE để loại bỏ các bản ghi không cần thiết.
• Tái cấu trúc: Thay đổi tên trường, thêm trường mới hoặc lồng ghép (nesting) các trường dữ liệu.
• Ẩn danh: Loại bỏ hoặc che giấu các thông tin nhạy cảm như IP khách hàng.

Người dùng có thể quản lý các Transformer này thông qua Transformer Studio trên dashboard của Cloudflare hoặc qua API. Mỗi thay đổi đều được lưu phiên bản, giúp việc kiểm soát và theo dõi lịch sử cấu hình trở nên dễ dàng hơn.

Hiệu năng cao với Apache DataFusion và Arrow

Để đảm bảo hiệu suất xử lý cho hơn 110 triệu bản ghi mỗi giây, Cloudflare đã tích hợp Apache DataFusion và Apache Arrow vào dịch vụ Bufstream (công cụ phân phối log của Logpush).

Việc sử dụng Apache Arrow giúp dữ liệu được xử lý dưới dạng cột (columnar format) trong bộ nhớ, cho phép trao đổi dữ liệu hiệu quả giữa Go (ngôn ngữ của Bufstream) và Rust (ngôn ngữ của DataFusion) mà không gây ra độ trễ đáng kể. Thiết kế này giúp duy trì thông lượng cao và mức tiêu thụ tài nguyên dự đoán được, đồng thời đảm bảo tính ổn định của hệ thống.

Tính an toàn và tin cậy

Transformers được thiết kế theo cơ chế “fail-closed”. Nếu một tác vụ chuyển đổi gặp lỗi, hệ thống sẽ không gửi dữ liệu chưa được xử lý đi, tránh làm sai lệch cấu trúc dữ liệu ở đích đến. Thay vào đó, hệ thống sẽ thực hiện thử lại (retry) một cách thông minh, giúp bảo vệ tính toàn vẹn của dữ liệu.

Hiện tại, tính năng này đã khả dụng trên tất cả các gói dịch vụ của Cloudflare, từ Free đến Enterprise. Người dùng có thể bắt đầu bằng cách truy cập vào trang Logpush trên dashboard để thiết lập truy vấn SQL cho các dataset của mình.

Nguồn tham khảo: Cloudflare Blog