NAKIVO-Global data Deduplication
1. Lý thuyết
Mặc định, NAKIVO sử dụng cơ chế Global Target-side Deduplication (Chống trùng lặp toàn cục tại đích)
- Cơ chế mặc định: Toàn bộ dữ liệu của VM sau khi nén tại nguồn sẽ được truyền qua mạng LAN để đi về cấu trúc lưu trữ chung (Backup Repository). Tại đây, hệ thống mới tiến hành so sánh mã băm (hash-based) của các khối dữ liệu mới với các dữ liệu đã có sẵn trong kho để loại bỏ các khối trùng lặp.
- Lý do: Tránh việc bắt CPU của Node Proxmox (nguồn) phải tính toán lượng mã băm quá lớn, làm giảm hiệu năng của các VM đang chạy Production.
Tính năng Source-side Deduplication chỉ được kích hoạt khi bạn cấu hình hệ thống lưu trữ đích là các thiết bị phần cứng chuyên dụng (Deduplication Appliances) như Dell EMC Data Domain (DD Boost), HPE StoreOnce (Catalyst), hoặc NEC HYDRAstor).
- Lúc này, plugin của các hãng phần cứng cài trên Transporter nguồn sẽ tự động thực hiện nhận diện và loại bỏ trùng lặp ngay tại Node trước khi đẩy qua mạng LAN.
Tuy nhiên thì các thiết bị chống dedup chuyên dụng có khả năng cao hơn rất nhiều đồng thời giảm tải cho hệ thống (thường giúp tiết kiệm không gian lưu trữ với tỷ lệ giảm dung lượng từ 20:1 trở lên)
Hơn nữa, Store backups in separate files khả dụng
Khi bạn dùng kho lưu trữ trên thiết bị khử trùng lặp chuyên dụng, tính năng khử trùng lặp tích hợp sẵn của NAKIVO sẽ tự động bị vô hiệu hóa. -> Việc này giúp tránh tình trạng "khử trùng lặp chồng chéo" (double deduplication) gây lãng phí tài nguyên CPU/RAM của hệ thống mà không mang lại hiệu quả thêm.
Cách thức và cơ chế chống trùng lặp là gì?
1. Phân mảnh dữ liệu (Data Chunking)
Khi luồng dữ liệu sao lưu (bao gồm các tệp sao lưu toàn phần hoặc sao lưu tăng cường) được truyền tới thiết bị đích, hệ thống sẽ tiến hành chia tách luồng dữ liệu này thành các khối dữ liệu nhỏ (gọi là blocks)2. Định danh khối dữ liệu bằng hàm băm
Sau khi phân mảnh, mỗi khối dữ liệu sẽ được xử lý qua các thuật toán băm mật mã học (phổ biến là SHA-1, SHA-256 hoặc MD5) để thiết lập một chuỗi định danh duy nhất. Giá trị băm này đại diện cho cấu trúc bit duy nhất của khối dữ liệu đó.3. So sánh block và pointer
Nếu khối dữ liệu mới có mã băm đã tồn tại trong hash index table thì bỏ qua, ngược lại thì lưu trữ (tuy nhiên lưu trữ bằng dùng pointer trỏ về vị trí block dữ liệu đã được lưu trữ từ trước)
Test Deduplication
Repo sẽ ở dạng là lưu trữ chung
TH1: Repo không có cơ chế Dedup (các vm riêng lưu tại các file riêng)
Kết quả lưu trữ:
Raw Data là Dữ liệu tại nguồn mà hôm nay cần Backup -> Nhưng mà truyền thực tế là dữ liệu đã nén là 2,7G -> ghi xuống disk 2,7G -> 2vm là 2,7G và 2,8G
TH2: Bật cơ chế Deduplication Và Compression
Không thể backup riêng lẻ file cho từng vm
Mặc dù không Dedup chéo giữa các VM tại nguồn, NAKIVO vẫn trang bị những tính năng cực mạnh tại nguồn để đảm bảo không tốn băng thông mạng LAN:
● CBT / RCT (Changed Block Tracking): Ở các lần backup tiếp theo (Incremental), Transporter tại nguồn phối hợp với Proxmox để chỉ đọc những block dữ liệu có sự thay đổi kể từ lần backup trước. Những gì không thay đổi sẽ bị bỏ qua ngay lập tức, không thèm đọc và không truyền qua mạng.
● Source-side Compression (Nén tại nguồn): Đây là cái cực kỳ giá trị. Ngay sau khi Transporter tại nguồn đọc các block dữ liệu mới, nó sẽ nén nhỏ lại ngay tại node Proxmox trước khi đẩy qua mạng LAN. Nhờ vậy, dung lượng truyền đi qua mạng đã giảm từ 30% - 50% rồi.
● Skip Swap and Omit Page Files: Transporter tại nguồn tự động nhận diện và loại bỏ các file tạm, file swap của hệ điều hành (những dữ liệu rác không cần thiết) ngay tại chỗ, không truyền về đích.
Tại đích dữ liệu không giải nén, chỉ phân tích dedup thôi
Backup 2 VM gần như là giống nhau (ubuntu và ubuntu_replica)
Dữ liệu raw của 2 VM khi transfer
Kết quả Backup: Sau khi nén Dung lượng được giảm đi gần như 1 nửa (2,6G)
