Proxmox [Lab 8]: Ceph Storage Cluster trong Proxmox VE - Cơ bản

1. Tổng quan​

Ceph là hệ lưu trữ phân tán, tự phục hồi và mở rộng theo chiều ngang, được tích hợp sẵn trong Proxmox VE để dựng mô hình siêu hội tụ (HCI - Hyper-Converged Infrastructure): cùng một cụm máy chủ vừa chạy compute (VM/CT) vừa làm storage. Đây là lời giải cho bài toán shared storage - tương tự vai trò của vSAN trong hệ sinh thái VMware.
Tài liệu này trình bày Ceph ở mức cơ bản nhưng đủ để hiểu và triển khai: các thành phần cốt lõi (Monitor, Manager, OSD), khái niệm Pool/PG/CRUSH, cơ chế replica, yêu cầu phần cứng/mạng và quy trình cài Ceph qua Proxmox. Phần nâng cao (CephFS, tối ưu, sự cố) sẽ nằm ở các phần sau.
Điều quan trọng cần lưu ý ngay từ đầu: Ceph dù rất tốt nhưng không phải cứ bật dịch vụ xong là được. Nó cần đảm bảo đủ số node, đủ disk, đường mạng tốc độ cao riêng và yêu cầu về sự hiểu biết để vận hành.

Mục tiêu của bài này:​

· Hiểu Ceph giải được bài toán gì và khi nào nên, không nên dùng Ceph.
· Nắm rõ vai trò của MON, MGR, OSD.
· Hiểu được các khái niệm Pool, Placement Group, CRUSH map, size/min_size là gì.
· Biết yêu cầu tối thiểu về node, disk và mạng cho Ceph.
· Nắm được quy trình cài Ceph qua Proxmox.

2. Nội dung chính​

2.1 Ceph giải quyết bài toán gì?​

Trong một cụm Proxmox nhiều node, để đảm bảo HA thực sự và quá trình live migration mượt mà, các node cần nhìn thấy cùng một kho dữ liệu (shared storage). Có ba hướng phổ biến: dùng NAS/SAN ngoài (NFS/iSCSI), dùng replication cục bộ (ZFS), hoặc dùng lưu trữ phân tán tích hợp (Ceph). Ceph nổi bật vì:
· Phân tán và không có điểm chết đơn (no single point of failure): dữ liệu được nhân bản trên nhiều node/đĩa.
· Tự phục hồi: khi một đĩa/node hỏng, Ceph tự tái tạo bản sao còn thiếu (self-healing).
· Mở rộng ngang (scale-out): thêm node/đĩa là tăng dung lượng và hiệu năng.
· Tích hợp sẵn trong Proxmox: cài và quản lý qua Web GUI/CLI, không cần hệ thống quản trị riêng.

Đối chiếu với vSphere​

Ceph HCI trong Proxmox đóng vai trò tương tự vSAN trong vSphere: gom đĩa cục bộ của các host thành một kho dùng chung, nhân bản qua mạng. Khác biệt: Ceph là mã nguồn mở, dùng cơ chế CRUSH/replica riêng và có thể phục vụ cả block (RBD), file (CephFS) lẫn object (RGW).

2.2 Các thành phần cốt lõi​

Trong Proxmox, các thành phần này chạy ngay trên các node của cụm. Một node HCI điển hình chạy đồng thời MON/MGR (trên vài node) và nhiều OSD (theo số đĩa), song song với VM/CT.

2.3 Pool, Placement Group và CRUSH​

Dữ liệu trong Ceph không ghi thẳng lên đĩa theo kiểu thư mục. Nó được tổ chức qua ba khái niệm:
· Pool: một vùng lưu trữ logic có chính sách riêng (số replica, ứng dụng dùng - RBD/CephFS). Đĩa VM Proxmox thường nằm trong một pool RBD.
· Placement Group (PG): đơn vị nhóm object để phân bổ. Object → PG → tập OSD. Số PG ảnh hưởng cân bằng tải. Proxmox có PG autoscaler tự điều chỉnh.
· CRUSH map: thuật toán/định nghĩa topo (đĩa, host, rack...) để Ceph tính chỗ đặt dữ liệu sao cho các bản sao nằm trên các vùng lỗi (failure domain) khác nhau - mặc định là khác host.
Hai tham số quan trọng của pool về độ bền dữ liệu:

Vì sao size=3 và min_size=2?​

Với size=3, dữ liệu chịu được mất đồng thời là 2 bản. Với min_size=2, khi chỉ còn 1 bản sống Ceph sẽ chặn ghi (I/O tạm dừng) để không tạo thêm rủi ro mất mát trước khi phục hồi. Đặt min_size=1 rất nguy hiểm: một lỗi tiếp theo có thể mất dữ liệu vĩnh viễn.

2.4 Yêu cầu phần cứng và mạng​

Cảnh báo hay gặp​

Chạy Ceph trên 1GbE hoặc dùng HDD SATA rẻ sẽ cho hiệu năng rất thấp và thời gian phục hồi lâu. Không nên đặt OSD lên đĩa đã có RAID cứng. Trong bài lab này, Ceph chỉ mang tính minh họa - hiệu năng không phản ánh thực tế.

2.5 Quy trình triển khai qua Proxmox​

Proxmox đóng gói việc cài Ceph thành các bước, nhưng cần hiểu bản chất từng bước:
1. Chuẩn bị: cụm Proxmox ≥ 3 node đã join, mạng Ceph riêng (khuyến nghị), đĩa OSD còn trống (chưa có phân vùng/RAID).
2. Cài gói Ceph: Node > Ceph > Install (chọn phiên bản Ceph đi kèm Proxmox, ví dụ Squid). Làm trên từng node.
3. Tạo Monitor: tạo MON trên (tối thiểu) 3 node để có quorum Ceph.
4. Tạo Manager: tạo MGR (ít nhất 2 để có standby).
5. Tạo OSD: chọn đĩa trống trên mỗi node để thêm làm OSD.
6. Tạo Pool: tạo pool RBD (size 3, min_size 2) để chứa đĩa VM/CT; PG autoscaler bật.
7. Dùng làm storage: pool xuất hiện như một storage kiểu RBD dùng chung cho toàn cụm - đặt đĩa VM lên đó để có HA/migration.

Tham chiếu nhanh vài lệnh CLI hay dùng để kiểm tra tình trạng cụm cụm:​

ceph -s # trạng thái tổng quát (HEALTH_OK?)
ceph health detail # chi tiết cảnh báo nếu có
ceph osd tree # cây OSD theo host (failure domain)
ceph df # dung lượng pool/cụm
pveceph status # trạng thái Ceph qua công cụ Proxmox

2.6 Trạng thái sức khỏe cần biết​

3. Kết luận​

Ceph mang lại shared storage phân tán, tự phục hồi và khả năng mở rộng ngang – là nền tảng lý tưởng cho HA và live migration trong cụm Proxmox, đóng vai trò như vSAN của vCenter. Nhưng nó đòi hỏi các điều kiện để hoạt động tốt nhất như đủ số node (≥3), nên dùng đĩa SSD/NVMe, băng thông mạng ≥10GbE (đường riêng) và cần tư duy vận hành đúng.

Ở mức cơ bản, chúng ta chỉ cần nắm chắc: MON/MGR/OSD làm gì, pool với size=3/min_size=2 nghĩa là gì và quy trình cài đặt qua Proxmox cho cụm. Đó là nền tảng để đi tiếp tới CephFS và xử lý sự cố ở các phần nâng cao sau.