SIEM/Log Management TÍCH HỢP ĐẨY DỮ LIỆU METRICS TỪ PROMETHEUS SANG OPENSEARCH QUA VECTOR PIPELINE

Đăng Trình · 06/10/2026

1. Đặt vấn đề và Mục tiêu

Bối cảnh: Trong kiến trúc giám sát truyền thống, Prometheus giữ vai trò chính trong việc thu thập và lưu trữ time-series metrics ngắn hạn. Tuy nhiên, việc hợp nhất cả Logs và Metrics về một nền tảng tìm kiếm, phân tích và lưu trữ tập trung dài hạn là nhu cầu thiết yếu để nâng cao khả năng quan sát hệ thống (Observability).

Mục tiêu:

Xây dựng luồng dữ liệu tự động (pipeline) chuyển đổi toàn bộ metrics từ Prometheus sang OpenSearch bằng cách sử dụng Vector làm trung gian xử lý (Data Shipper & Aggregator).

Chuẩn hóa cấu trúc metrics thành dạng tài liệu JSON (Documents) có cấu trúc, lập chỉ mục (indexing) theo ngày và trực quan hóa trực tiếp trên OpenSearch Dashboards.

2. Kiến trúc giải pháp (Architecture Flow)

Luồng vận chuyển và biến đổi dữ liệu được thiết kế khép kín:

Hình 1. Sơ đồ

Prometheus Server 9090): Định kỳ cào (scrape) các chỉ số từ hệ thống hạ tầng (node-exporter, windows_exporter).

Hình 2. Hạ tầng

Vector Pipeline:
Source (prometheus_scrape): Thu thập định kỳ dữ liệu từ endpoint /metrics của Prometheus Server.
Transform (metric_to_log): Chuyển đổi các định dạng số liệu thời gian thực (counter, gauge, histogram) sang định dạng bản ghi nhật ký (log document) có cấu trúc.
Sink (elasticsearch/opensearch): Đóng gói thành các batch request và gửi qua cổng HTTPS :9200 vào OpenSearch.
OpenSearch Cluster 9200): Tiếp nhận, phân tích cú pháp và ghi vào index dạng metrics-prometheus-YYYY.MM.DD.
OpenSearch Dashboards 5601): Tạo Index Pattern và hiển thị giao diện phân tích dữ liệu qua Discover.

Hình 3. Index Pattern

3. Quá trình cấu hình chi tiết

3.1. Cấu hình đường ống trung gian Vector (vector.yaml)

Để Vector đọc được metrics từ Prometheus và đẩy vào OpenSearch, cấu hình được triển khai bao gồm ba khối chính:

Hình 4. Vector.yaml

3.2. Cấu hình Index Pattern trên OpenSearch Dashboards

Tạo Index Pattern nhận diện dữ liệu: metrics-prometheus-*.

Hình 5. Index Pattern

Khai báo trường mốc thời gian chính (Primary Time Field): timestamp.
Hoàn tất ánh xạ các trường dữ liệu quan trọng:
counter.value / gauge.value: Trị số đo lường thực tế.
tags.*: Nhãn phân loại theo host, instance, job và hệ điều hành.
name: tên định danh chỉ số.

5. Kết quả nghiệm thu

Trạng thái kết nối: Trục dữ liệu Prometheus -> Vector -> OpenSearch vận hành ổn định, tự động đồng bộ hóa với chu kỳ 15 giây.

Hình 6. Log metrics-prometheus-*

Lưu lượng dữ liệu: Document được lập chỉ mục liên tục vào index metrics-prometheus-*, đạt hàng nghìn bản ghi ngay sau khi kích hoạt.
Độ toàn vẹn dữ liệu: Dữ liệu metrics được phân tách rõ ràng theo từng target (node-exporter cho máy chủ Linux nội bộ và windows-laptop cho máy làm việc từ xa), các giá trị số và thẻ metadata được trích xuất chính xác để phục vụ xây dựng trực quan hóa trên Dashboards.

SIEM/Log Management TÍCH HỢP ĐẨY DỮ LIỆU METRICS TỪ PROMETHEUS SANG OPENSEARCH QUA VECTOR PIPELINE

Đăng Trình

Intern

Đính kèm