SIEM/Log Management [SIEM/Log Management] Triển khai mô hình All in one với OpenSearch, Fluentd/ Fluentbit

1. Giới thiệu công cụ
1.1 OpenSearch

• Khái niệm

Opensearch là một bộ công cụ tìm kiếm và phân tích phân tán, hướng tới cộng đồng, được cấp phép của Apache 2.0, 100% mã nguồn mở được sử dụng cho hàng loạt các trường hợp như giám sát ứng dụng theo thời gian thực, phân tích bản ghi và tìm kiếm trang web. OpenSearch cung cấp một hệ thống có quy mô linh hoạt để mang tới khả năng truy cập và phản hồi nhanh khối lượng lớn dữ liệu với công cụ trực quan hóa được tích hợp sẵn, OpenSearch Dashboards, giúp người dùng dễ dàng khám phá dữ liệu của họ. OpenSearch được hỗ trợ bởi thư viện tìm kiếm Apache Lucene và nó hỗ trợ hàng loạt các tính năng tìm kiếm và phân tích, chẳng hạn như tìm kiếm lân cận K gần nhất (KNN), SQL, Phát hiện bất thường, Thư viện Machine Learning Commons, Phân tích dấu vết, tìm kiếm toàn văn bản,...

• So sánh OpenSearch và Elasticsearch

1.2 Fluentd

• Khái niệm

Fluentd và Fluent Bit là công cụ thu thập log từ nhiều nguồn khác nhau, như hạ tầng mạng, hệ điều hành, ứng dụng tùy chỉnh, và các dịch vụ PaaS/SaaS. Nhiệm vụ chính của Fluentd là gửi các sự kiện log này đến công cụ xử lý phù hợp để phân tích và lấy thông tin, thay vì trực tiếp phân tích log chi tiết
Bằng cách hợp nhất log từ mọi nguồn, Fluentd giúp chúng ta có cái nhìn tổng quan, chẳng hạn như xác định liệu lỗi từ ứng dụng có bắt nguồn từ cơ sở dữ liệu, hay vấn đề của hệ điều hành gây ra

• So sánh Fluentd và Logstash

• Kết luận

Chọn Fluentd nếu bạn cần một giải pháp quản lý log nhẹ, tiết kiệm tài nguyên và hiệu quả về bộ nhớ. Fluentd đặc biệt phù hợp cho các hệ thống yêu cầu xử lý log trong môi trường phân tán, cloud hoặc các thiết bị IoT, nơi tài nguyên như CPU và bộ nhớ bị giới hạn
Chọn Logstash nếu bạn cần một giải pháp xử lý log toàn diện, có khả năng xử lý luồng dữ liệu phức tạp và ứng dụng các bộ lọc logic nâng cao. Đặc biệt, Logstash là lựa chọn tối ưu nếu hệ thống của bạn đã sử dụng hoặc có kế hoạch triển khai Elastic Stack, vì nó tích hợp hoàn hảo với các công cụ như Elasticsearch để tìm kiếm và phân tích log
1.3 Fluentbit

• Khái niệm

Fluentd có một kernel nhỏ được viết bằng C, nhưng phần lớn của nó được phát triển bằng Ruby, điều này tạo ra một số hạn chế về hiệu suất vì Ruby chạy trên trình thông dịch. Để sử dụng Fluentd trong các thiết bị có tài nguyên hạn chế, như các thiết bị IoT (ví dụ: smart meter hoặc Raspberry Pi), cần một phiên bản nhẹ hơn.
Đây là lý do Fluent Bit ra đời. Fluent Bit là một phiên bản rút gọn của Fluentd, với các tính năng đơn giản hơn, tập trung vào việc thu thập và gửi log đến hệ thống trung tâm để xử lý. Tại đó, Fluentd có thể thực hiện các công việc xử lý log phức tạp hơn, như lọc, chuyển đổi và làm giàu dữ liệu.

• So sánh Fluentd và Fluentbit

2. Mô hình hệ thống

• Khái niệm All-in-One

Mô hình All-in-One nghĩa là tất cả các chức năng thu thập log → lưu trữ → phân tích → hiển thị được gom chung vào một hệ thống hoặc một máy chủ, thay vì tách riêng từng lớp. Một số công cụ sử dụng mô hình: Zabbix, Graylog

• Mô hình xây dựng

Các thành phần trong mô hình:

• Ưu điểm và nhược điểm của mô hình

3. Cấu hình và cài đặt
3.1 Cài đặt server (Ubuntu24.04/10.30.194.101)

• Cài đặt Docker và Docker-compose

Theo tài liệu chính thức của docker

# Add Docker's official GPG key:
sudo apt-get update
sudo apt-get install ca-certificates curl
sudo install -m 0755 -d /etc/apt/keyrings
sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
sudo chmod a+r /etc/apt/keyrings/docker.asc

# Add the repository to Apt sources:
echo \
"deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu \
$(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}") stable" | \
sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
[SIZE=5]sudo apt-get update[/SIZE]

Nhấn để mở rộng...

• Cấu hình file docker-compose.yml

[SIZE=5]version: "3.8"[/SIZE]

services:
# --- OpenSearch Node 1 ---
opensearch-node1:
image: opensearchproject/opensearch:3
container_name: opensearch-node1
environment:
- cluster.name=opensearch-cluster
- node.name=opensearch-node1
- discovery.seed_hosts=opensearch-node1,opensearch-node2
- cluster.initial_cluster_manager_nodes=opensearch-node1,opensearch-node2
- bootstrap.memory_lock=true
- OPENSEARCH_JAVA_OPTS=-Xms512m -Xmx512m
- OPENSEARCH_INITIAL_ADMIN_PASSWORD=Thuan@123
ulimits:
memlock:
soft: -1
hard: -1
nofile:
soft: 65536
hard: 65536
volumes:
- opensearch-data1:/usr/share/opensearch/data
ports:
- "9200:9200"
- "9600:9600"
networks:
- opensearch-net

# --- OpenSearch Node 2 ---
opensearch-node2:
image: opensearchproject/opensearch:3
container_name: opensearch-node2
environment:
- cluster.name=opensearch-cluster
- node.name=opensearch-node2
- discovery.seed_hosts=opensearch-node1,opensearch-node2
- cluster.initial_cluster_manager_nodes=opensearch-node1,opensearch-node2
- bootstrap.memory_lock=true
- OPENSEARCH_JAVA_OPTS=-Xms512m -Xmx512m
- OPENSEARCH_INITIAL_ADMIN_PASSWORD=Thuan@123
ulimits:
memlock:
soft: -1
hard: -1
nofile:
soft: 65536
hard: 65536
volumes:
- opensearch-data2:/usr/share/opensearch/data
networks:
- opensearch-net

# --- OpenSearch Dashboards ---
opensearch-dashboards:
image: opensearchproject/opensearch-dashboards:3
container_name: opensearch-dashboards
ports:
- "5601:5601"
environment:
OPENSEARCH_HOSTS: '["https://opensearch-node1:9200","https://opensearch-node2:9200"]'
networks:
- opensearch-net

# --- Nginx ---
nginx:
image: nginx:1.27.4-alpine
container_name: nginx
ports:
- "8080:80"
volumes:
- nginx-logs:/var/log/nginx
- ./default.conf:/etc/nginx/conf.d/default.conf
networks:
- opensearch-net

# --- Fluentd ---
fluentd:
image: fluent/fluentd:v1.17-debian
container_name: fluentd
user: root
command: >
sh -c "gem install fluent-plugin-opensearch &&
fluentd -c /fluentd/etc/fluent.conf"
volumes:
- nginx-logs:/var/log/fluentd
- ./fluent.conf:/fluentd/etc/fluent.conf
environment:
- FLUENTD_CONF=fluent.conf
ports:
- "24224:24224"
- "24225:24225"
networks:
- opensearch-net

# --- Fluentd UI ---
fluentd-ui:
image: balajibal/fluentd-ui:alpine3.6
container_name: fluentd-ui
environment:
- FLUENTD_HOST=fluentd
- FLUENTD_PORT=24224
command: fluentd-ui start
ports:
- "9292:9292" # chỉ web UI, không map 24224
volumes:
- ./fluentd-ui-data:/fluentd-ui
networks:
- opensearch-net
depends_on:
- fluentd

volumes:
opensearch-data1:
opensearch-data2:
nginx-logs:
fluentd-ui-data:

networks:
[SIZE=5] opensearch-net:[/SIZE]

Nhấn để mở rộng...

opensearch-node1 / opensearch-node2

• Vai trò: 2 nút tạo cluster OpenSearch để lưu trữ & tìm kiếm log (HA).
• Env chính: cluster.name, node.name, discovery.seed_hosts, cluster.initial_cluster_manager_nodes giúp các nút tìm thấy nhau và bầu cluster manager; OPENSEARCH_JAVA_OPTS giới hạn RAM JVM; bootstrap.memory_lock=true tránh swap.
• Bảo mật: OPENSEARCH_INITIAL_ADMIN_PASSWORD=Thuan@123 đặt mật khẩu admin lần đầu.
• Dữ liệu: volume opensearch-data1/2 gắn vào /usr/share/opensearch/data để persist.
• Cổng: 9200 (REST API), 9600 (Performance Analyzer).

opensearch-dashboards

• Vai trò: giao diện web để truy vấn/visualize dữ liệu trong OpenSearch.
• Kết nối: OPENSEARCH_HOSTS trỏ nội bộ tới https://opensearch-node1:9200 và ...node2.
• Cổng: 5601 (mở ra ngoài).
• Mẹo khi lỗi kết nối SSL/tự ký: thêm biến OPENSEARCH_SSL_VERIFICATION_MODE=none và (nếu cần) OPENSEARCH_USERNAME=admin, OPENSEARCH_PASSWORD=Thuan@123.

nginx

• Vai trò: web server phát sinh log (access/error) để pipeline của bạn có dữ liệu.
• Cấu hình: mount ./default.conf → /etc/nginx/conf.d/default.conf (bạn có thể chỉnh format log ở đây).
• Log: volume nginx-logs gắn vào /var/log/nginx để chia sẻ log với Fluentd.
• Cổng: 8080:80 (truy cập Nginx từ máy host ở 8080).

fluentd

• Vai trò: thu thập log từ Nginx, parse/format rồi đẩy sang OpenSearch.
• Khởi chạy: cài plugin fluent-plugin-opensearch rồi chạy fluentd -c /fluentd/etc/fluent.conf.
• Cấu hình/Log in: mount ./fluent.conf vào /fluentd/etc/fluent.conf.
• Chia sẻ log: mount cùng volume nginx-logs nhưng tại đường dẫn /var/log/fluentd.
  
  • Vì là cùng một volume, file access.log của Nginx sẽ thấy ở Fluentd dưới đường dẫn /var/log/fluentd/access.log. Hãy đảm bảo đường dẫn trong fluent.conf khớp như vậy.
• Cổng input: 24224, 24225 (để Fluentbit có thể gửi log trực tiếp vào Fluentd).

fluentd-ui

• Vai trò: Web UI quản lý Fluentd (tạo source, match, filter); không xử lý log runtime.
• Kết nối: FLUENTD_HOST=fluentd, FLUENTD_PORT=24224.
• Dữ liệu UI: ./fluentd-ui-data để lưu cấu hình UI/persistence.
• Cổng: 9292 (mở ra ngoài).

• Tạo file fluent.conf ​

# ==========================
# --- Host Linux ---
# ==========================
<source>
@type forward
@id in_forward_linux
port 24224
bind 0.0.0.0
tag linux
</source>

<match linux.**>
@type opensearch
@id out_os_linux
@log_level info
include_tag_key true

host opensearch-node1
port 9200
scheme https
ssl_verify false
ssl_version TLSv1_2
user admin
password Thuan@123

index_name fluentd_linux
logstash_format false
include_timestamp true
time_key_format %Y-%m-%dT%H:%M:%S.%N%z
time_key time

<buffer>
flush_thread_count 1
flush_mode interval
flush_interval 10s
chunk_limit_size 8M
total_limit_size 512M
retry_max_interval 30
retry_timeout 72h
retry_forever false
</buffer>
</match>


# ==========================
# --- Host Windows ---
# ==========================
<source>
@type forward
@id in_forward_win
port 24225
bind 0.0.0.0
tag win
</source>

<match win.**>
@type opensearch
@id out_os_win
@log_level info
include_tag_key true

host opensearch-node1
port 9200
scheme https
ssl_verify false
ssl_version TLSv1_2
user admin
password Thuan@123

index_name fluentd_win
logstash_format false
include_timestamp true
time_key_format %Y-%m-%dT%H:%M:%S.%N%z
time_key time

<buffer>
flush_thread_count 1
flush_mode interval
flush_interval 10s
chunk_limit_size 8M
total_limit_size 512M
retry_max_interval 30
retry_timeout 72h
retry_forever false
</buffer>
</match>

Nhấn để mở rộng...

Host Linux

• Gửi log đến Fluentd qua cổng 24224.
• Fluentd gắn tag linux.
• Log được lưu trong OpenSearch tại index fluentd_linux

Host Windows

• Gửi log đến Fluentd qua cổng 24225.
• Fluentd gắn tag win.
• Log được lưu trong OpenSearch tại index fluentd_win

• Tạo file default.conf

server {
listen 80;
listen [::]:80;
server_name localhost;

access_log /var/log/nginx/host.access.log main;

location / {
root /usr/share/nginx/html;
index index.html index.htm;
}

error_page 500 502 503 504 /50x.html;

location = /50x.html {
root /usr/share/nginx/html;
}
}

Nhấn để mở rộng...

• Khởi chạy docker compose

Chạy lệnh docker compose up -d trong thư mục chứa các file docker-compose.yml, default.conf và fluent.conf

Truy cập opensearch dashboard thông qua http://10.30.194.101:5601
Username: admin
Password: Thuan@123




3.2 Cài đặt host linux

Dùng lệnh do fluentbit để cài đặt nhanh chóng trên linux:
curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh
Dùng lệnh: systemctl enable fluentbit để fluentbit tự động gửi log về khi máy client được khởi động
Khởi động fluentbit :
systemctl start fluent-bit
Kiểm tra trạng thái hoạt động của fluentbit :




Truy cập vào /etc/fluent-bit/fluent-bit.conf để cấu hình

[SIZE=5][SERVICE][/SIZE]
# Flush
# =====
# set an interval of seconds before to flush records to a destination
flush 1

# Daemon
# ======
# instruct Fluent Bit to run in foreground or background mode.
daemon Off

# Log_Level
# =========
# Set the verbosity level of the service, values can be:
#
# - error
# - warning
# - info
# - debug
# - trace
#
# by default 'info' is set, that means it includes 'error' and 'warning'.
log_level info

# Parsers File
# ============
# specify an optional 'Parsers' configuration file
parsers_file parsers.conf

# Plugins File
# ============
# specify an optional 'Plugins' configuration file to load external plugins.
plugins_file plugins.conf

# HTTP Server
# ===========
# Enable/Disable the built-in HTTP Server for metrics
http_server on
http_listen 0.0.0.0
http_port 2020

# Storage
# =======
# Fluent Bit can use memory and filesystem buffering based mechanisms
#
# - https://docs.fluentbit.io/manual/administration/buffering-and-storage
#
# storage metrics
# ---------------
# publish storage pipeline metrics in '/api/v1/storage'. The metrics are
# exported only if the 'http_server' option is enabled.
#
storage.metrics on

# storage.path
# ------------
# absolute file system path to store filesystem data buffers (chunks).
#
# storage.path /tmp/storage

# storage.sync
# ------------
# configure the synchronization mode used to store the data into the
# filesystem. It can take the values normal or full.
#
# storage.sync normal

# storage.checksum
# ----------------
# enable the data integrity check when writing and reading data from the
# filesystem. The storage layer uses the CRC32 algorithm.
#
# storage.checksum off

# storage.backlog.mem_limit
# -------------------------
# if storage.path is set, Fluent Bit will look for data chunks that were
# not delivered and are still in the storage layer, these are called
# backlog data. This option configure a hint of maximum value of memory
# to use when processing these records.
#
# storage.backlog.mem_limit 5M
[INPUT]
name CPU
tag linux.cpu
interval_sec 10
[INPUT]
name mem
Tag linux.mem
interval_sec 10
[INPUT]
name disk
tag linux.disk
interval_sec 10
[INPUT]
name netif
tag linux.net
interface ens33

# Read interval (sec) Default: 1
interval_sec 10

[OUTPUT]
name forward
match linux.*
host 10.30.194.101
[SIZE=5] port 24224[/SIZE]

Nhấn để mở rộng...

Các section cấu hình

3.3 Cài đặt host Windows

• Cài đặt fluent-bit

Cài đặt fluent-bit thông qua link https://packages.fluentbit.io/windows/fluent-bit-4.0.7-win64.exe
Sau khi tải về chạy file exe để cài đặt

• Cấu hình fluent-bit

Sau đó cấu hình fluent-bit tại C:\Program Files\fluent-bit\conf\fluent-bit.conf

[SIZE=5][SERVICE][/SIZE]
Flush 5
Daemon Off
Log_Level info
# Hostname có thể tự nhận; muốn set tay thì mở dòng dưới:
# Hostname MY-WINDOWS
# --- (A) Thông tin cấu hình host tĩnh/quasi-tĩnh: chạy mỗi 5s qua PowerShell script ---
[INPUT]
Name exec
Tag win.hostconf
Command powershell -NoProfile -ExecutionPolicy Bypass -File "C:\Program Files\fluent-bit\scripts\hostinfo.ps1"
Interval_Sec 5
# Script in ra đúng JSON 1 dòng, nên không cần Parser
# --- (B) Thống kê hệ thống realtime mỗi 5s (CPU, RAM, Disk, Net) ---
[INPUT]
Name winstat
Tag win.stat
Interval_Sec 5
# (Tuỳ chọn) Gộp thêm nhãn chung
[FILTER]
Name record_modifier
Match win.*
Record agent fluent-bit
Record platform windows
# Gửi về Fluentd (container) nghe ở cổng 24225
[OUTPUT]
Name forward
Match win.*
Host 10.30.194.101
Port 24225
[SIZE=5] tls Off[/SIZE]

Nhấn để mở rộng...

• Tiến hành cài đặt fluent-bit dưới dạng services trên windows

Di chuyển tới thư mục C:\Program Files\fluent-bit\bin sau đó chạy câu lệnh
[SIZE=4]sc.exe create fluent-bit binpath= "C:\Program Files\fluent-bit\bin\fluent-bit.exe -c C:\Program Files\fluent-bit\conf\fluent-bit.conf"[/SIZE]
Khởi động service fluent-bit sc.exe start fluent-bit


Cài đặt cho fluent-bit khởi động tự động khi máy windows được bật [SIZE=4]sc.exe config fluent-bit start= auto[/SIZE]
3.4 Tạo index và giám sát trên opensearch dashboard

Kiểm tra index của fluentd_win

Kiểm tra index của fluentd_linux


4. Tìm hiểu thêm
4.1 Fluentd UI

• Khái niệm

Fluentd-ui là một trình quản lý Fluentd và td-agent dựa trên trình duyệt, hỗ trợ các thao tác sau:

• Cài đặt, gỡ bỏ và nâng cấp các plugin của Fluentd
• Khởi động/dừng/khởi động lại tiến trình Fluentd
• Cấu hình các thiết lập của Fluentd như file cấu hình, đường dẫn file PID, v.v.
• Xem log của Fluentd với trình xem lỗi đơn giản

• Cách hoạt động

Sau khi cài đặt truy cập vào http://10.30.194.101:9292

Thêm đường dẫn đến nới để lưu fluent.conf đã cấu hình. Sau đó start để áp dụng config đã được cấu hình trong fluent.conf
Logs từ khi chạy fluentd sẽ được thu thập và visualize trên dashboard
Thêm vao đó có thể cấu hình cho các config của fluentd thông qua config của fluentd UI