ThuanLeHiep
Intern
Mục lục
I. Giới thiệu
1. Opensearch
2. Cấu trúc hot warm cold
3. Mục đích triển khai
II. Các bước triển khai
III. Cấu hình thêm (Optional)
IV. Kết luận
I. Giới thiệu
1. Opensearch
OpenSearch là một nền tảng mã nguồn mở dùng để lưu trữ, tìm kiếm và phân tích dữ liệu lớn theo thời gian thực. Nó được phát triển bởi Amazon Web Services và cộng đồng, dựa trên phiên bản mã nguồn mở của Elasticsearch và Kibana.
OpenSearch thường được dùng để:
2. Cấu trúc hot warm cold
Hot – Warm – Cold là mô hình phân tầng lưu trữ dữ liệu log thường được sử dụng trong các hệ thống SIEM triển khai trên OpenSearch hoặc Elasticsearch nhằm tối ưu hiệu năng truy vấn và chi phí lưu trữ. Dữ liệu log sẽ được lưu trữ theo nhiều tầng khác nhau dựa trên thời gian và tần suất truy cập.
Hot tier: lưu trữ các log mới nhất (thường vài ngày gần nhất), chạy trên server có hiệu năng cao như SSD và RAM lớn để phục vụ việc tìm kiếm, phân tích và phát hiện sự kiện bảo mật theo thời gian thực. Đây là tầng được truy cập nhiều nhất trong hệ thống SIEM.
Warm tier: lưu trữ các log trung hạn (ví dụ vài tuần), sử dụng phần cứng có cấu hình trung bình hơn. Dữ liệu ở tầng này vẫn có thể truy vấn bình thường nhưng tần suất truy cập thấp hơn so với hot tier.
Cold tier: lưu trữ các log lâu dài (vài tháng hoặc hơn) trên các hệ thống lưu trữ chi phí thấp như HDD. Tầng này chủ yếu dùng khi cần điều tra sự cố bảo mật, kiểm toán (audit) hoặc phân tích lịch sử.
Trong quá trình vận hành, dữ liệu log sẽ tự động di chuyển theo vòng đời Hot → Warm → Cold thông qua cơ chế quản lý vòng đời index (Index State Management) của OpenSearch, giúp hệ thống SIEM duy trì hiệu năng cao cho dữ liệu mới đồng thời giảm chi phí lưu trữ cho dữ liệu cũ
3. Mục tiêu triển khai
Triển khai hệ thống OpenSearch trên một server duy nhất nhưng vẫn áp dụng kiến trúc phân tầng lưu trữ Hot – Warm – Cold nhằm mô phỏng mô hình lưu trữ dữ liệu thường dùng trong các hệ thống SIEM. Mục tiêu của việc triển khai này là tổ chức dữ liệu log theo từng tầng dựa trên thời gian và tần suất truy cập, từ đó tối ưu hiệu năng truy vấn và quản lý vòng đời dữ liệu.
Trong mô hình này, hệ thống sẽ được cấu hình với ba node logic trên cùng một máy chủ, mỗi node đảm nhiệm một vai trò lưu trữ khác nhau gồm Hot, Warm và Cold. Dữ liệu log mới sẽ được ghi vào Hot tier để phục vụ việc tìm kiếm và phân tích thời gian thực. Sau một khoảng thời gian nhất định, dữ liệu sẽ được chuyển sang Warm tier để lưu trữ trung hạn với tần suất truy cập thấp hơn. Cuối cùng, dữ liệu cũ sẽ được chuyển sang Cold tier để lưu trữ dài hạn với chi phí tài nguyên thấp hơn.
Việc di chuyển dữ liệu giữa các tầng sẽ được quản lý tự động thông qua cơ chế Index State Management (ISM) của OpenSearch, cho phép định nghĩa chính sách vòng đời của index và tự động chuyển dữ liệu từ Hot → Warm → Cold theo các điều kiện thời gian hoặc dung lượng. Mô hình này giúp hệ thống vừa đảm bảo khả năng phân tích nhanh đối với dữ liệu mới, vừa tối ưu tài nguyên lưu trữ cho dữ liệu cũ trong môi trường triển khai thử nghiệm hoặc quy mô nhỏ
II. Các bước triển khai
Tiến hành cài đặt opensearch theo hướng dẫn từ trang chính thức của opensearch
Sau khi đã update tiến hành cài đặt opensearch phiên bản 3.5.0
Sau khi cài đặt tiến hành phân vùng cho các lớp hot warm và cold
Tùy theo nhu cầu xài sẽ lượng tài nguyên cho mỗi vùng khác nhau. Ở đây ta thiết kế phân vùng hot sẽ 100GB, hot và cold đều 200GB
Sơ đồ triển khai các services
Sau khi cài đặt tiến hành tạo certs để các node trong từng services có thể kết nối lẫn nhau
I. Giới thiệu
1. Opensearch
2. Cấu trúc hot warm cold
3. Mục đích triển khai
II. Các bước triển khai
III. Cấu hình thêm (Optional)
IV. Kết luận
I. Giới thiệu
1. Opensearch
OpenSearch là một nền tảng mã nguồn mở dùng để lưu trữ, tìm kiếm và phân tích dữ liệu lớn theo thời gian thực. Nó được phát triển bởi Amazon Web Services và cộng đồng, dựa trên phiên bản mã nguồn mở của Elasticsearch và Kibana.
OpenSearch thường được dùng để:
- Thu thập và phân tích log hệ thống
- Giám sát và phân tích dữ liệu (observability)
- Xây dựng SIEM / SOC
- Tạo dashboard và trực quan hóa dữ liệu
- OpenSearch Engine: lưu trữ và tìm kiếm dữ liệu
- OpenSearch Dashboards: giao diện web để truy vấn và hiển thị dữ liệu
2. Cấu trúc hot warm cold
Hot – Warm – Cold là mô hình phân tầng lưu trữ dữ liệu log thường được sử dụng trong các hệ thống SIEM triển khai trên OpenSearch hoặc Elasticsearch nhằm tối ưu hiệu năng truy vấn và chi phí lưu trữ. Dữ liệu log sẽ được lưu trữ theo nhiều tầng khác nhau dựa trên thời gian và tần suất truy cập.
Hot tier: lưu trữ các log mới nhất (thường vài ngày gần nhất), chạy trên server có hiệu năng cao như SSD và RAM lớn để phục vụ việc tìm kiếm, phân tích và phát hiện sự kiện bảo mật theo thời gian thực. Đây là tầng được truy cập nhiều nhất trong hệ thống SIEM.
Warm tier: lưu trữ các log trung hạn (ví dụ vài tuần), sử dụng phần cứng có cấu hình trung bình hơn. Dữ liệu ở tầng này vẫn có thể truy vấn bình thường nhưng tần suất truy cập thấp hơn so với hot tier.
Cold tier: lưu trữ các log lâu dài (vài tháng hoặc hơn) trên các hệ thống lưu trữ chi phí thấp như HDD. Tầng này chủ yếu dùng khi cần điều tra sự cố bảo mật, kiểm toán (audit) hoặc phân tích lịch sử.
Trong quá trình vận hành, dữ liệu log sẽ tự động di chuyển theo vòng đời Hot → Warm → Cold thông qua cơ chế quản lý vòng đời index (Index State Management) của OpenSearch, giúp hệ thống SIEM duy trì hiệu năng cao cho dữ liệu mới đồng thời giảm chi phí lưu trữ cho dữ liệu cũ
3. Mục tiêu triển khai
Triển khai hệ thống OpenSearch trên một server duy nhất nhưng vẫn áp dụng kiến trúc phân tầng lưu trữ Hot – Warm – Cold nhằm mô phỏng mô hình lưu trữ dữ liệu thường dùng trong các hệ thống SIEM. Mục tiêu của việc triển khai này là tổ chức dữ liệu log theo từng tầng dựa trên thời gian và tần suất truy cập, từ đó tối ưu hiệu năng truy vấn và quản lý vòng đời dữ liệu.
Trong mô hình này, hệ thống sẽ được cấu hình với ba node logic trên cùng một máy chủ, mỗi node đảm nhiệm một vai trò lưu trữ khác nhau gồm Hot, Warm và Cold. Dữ liệu log mới sẽ được ghi vào Hot tier để phục vụ việc tìm kiếm và phân tích thời gian thực. Sau một khoảng thời gian nhất định, dữ liệu sẽ được chuyển sang Warm tier để lưu trữ trung hạn với tần suất truy cập thấp hơn. Cuối cùng, dữ liệu cũ sẽ được chuyển sang Cold tier để lưu trữ dài hạn với chi phí tài nguyên thấp hơn.
Việc di chuyển dữ liệu giữa các tầng sẽ được quản lý tự động thông qua cơ chế Index State Management (ISM) của OpenSearch, cho phép định nghĩa chính sách vòng đời của index và tự động chuyển dữ liệu từ Hot → Warm → Cold theo các điều kiện thời gian hoặc dung lượng. Mô hình này giúp hệ thống vừa đảm bảo khả năng phân tích nhanh đối với dữ liệu mới, vừa tối ưu tài nguyên lưu trữ cho dữ liệu cũ trong môi trường triển khai thử nghiệm hoặc quy mô nhỏ
II. Các bước triển khai
Tiến hành cài đặt opensearch theo hướng dẫn từ trang chính thức của opensearch
Sau khi đã update tiến hành cài đặt opensearch phiên bản 3.5.0
Sau khi cài đặt tiến hành phân vùng cho các lớp hot warm và cold
Tùy theo nhu cầu xài sẽ lượng tài nguyên cho mỗi vùng khác nhau. Ở đây ta thiết kế phân vùng hot sẽ 100GB, hot và cold đều 200GB
Sơ đồ triển khai các services
Sau khi cài đặt tiến hành tạo certs để các node trong từng services có thể kết nối lẫn nhau
Bài viết liên quan
Bài viết mới