Đăng Trình
Intern
Tìm Hiểu Các Giao Thức Và Công Cụ Thu Thập Log
1. Tổng quanTrong hệ thống giám sát mạng, các thiết bị như Router, Switch, Firewall, Server và Application thường phát sinh một lượng lớn log. Những log này chứa thông tin quan trọng về hoạt động của hệ thống, lỗi, truy cập và các sự kiện bảo mật.
Để tập trung log về một hệ thống phân tích như OpenSearch, cần có các giao thức hoặc công cụ thu thập log.
Các công nghệ phổ biến gồm:
- Syslog
- Beats
- Fluent Bit
- Wazuh
- Vector
2. Syslog
2.1. Khái niệm
Syslog là một giao thức/tiêu chuẩn phổ biến dùng để truyền thông tin log từ thiết bị hoặc hệ thống đến một máy chủ tập trung.
Syslog thường được sử dụng trên:
- Router
- Switch
- Firewall
- Linux Server
- Một số thiết bị mạng và ứng dụng
Router → Syslog Server → OpenSearch → OpenSearch Dashboards
Ví dụ trong hệ thống mạng:
Router → Syslog → Syslog Server → OpenSearch
Router tạo log, sau đó gửi log thông qua Syslog đến Syslog Server. Syslog Server tiếp tục chuyển dữ liệu đến OpenSearch để lưu trữ và phân tích.
2.2. Cổng sử dụng
Syslog thường sử dụng:
- UDP 514: tốc độ nhanh nhưng không đảm bảo log được truyền thành công.
- TCP 514: tin cậy hơn UDP.
- TLS: sử dụng để bảo vệ dữ liệu Syslog trong quá trình truyền.
Aug 19 10:15:20 Router01 %LINK-5-CHANGED: Interface GigabitEthernet0/1 changed state
Log có thể chứa các thông tin như:
- Thời gian.
- Tên thiết bị.
- Loại sự kiện.
- Mức độ nghiêm trọng.
- Nội dung sự kiện.
- Được hỗ trợ rộng rãi trên các thiết bị mạng.
- Cấu hình tương đối đơn giản.
- Phù hợp để tập trung log từ Router, Switch và Firewall.
- UDP không đảm bảo việc truyền log.
- Log từ các thiết bị khác nhau có thể có định dạng khác nhau.
- Cần xử lý và chuẩn hóa log trước khi phân tích.
3. Beats
3.1. Khái niệm
Beats là tập hợp các chương trình thu thập dữ liệu được thiết kế để chạy nhẹ trên máy chủ và gửi dữ liệu đến hệ thống xử lý hoặc lưu trữ.
Một số loại Beats phổ biến:
Thành phần | Chức năng |
Filebeat | Thu thập log từ file |
Winlogbeat | Thu thập Windows Event Log |
Metricbeat | Thu thập thông tin về hệ thống |
Packetbeat | Thu thập dữ liệu mạng |
Auditbeat | Thu thập dữ liệu audit |
Server → Beats → OpenSearch → OpenSearch Dashboards
3.2. Filebeat
Filebeat được sử dụng để đọc và gửi log từ các file trên máy chủ.
Ví dụ:
Linux Server → Filebeat → OpenSearch
Filebeat có thể thu thập:
/var/log/syslog
/var/log/auth.log
/var/log/nginx/access.log
Sau đó gửi dữ liệu về hệ thống xử lý hoặc OpenSearch.
Mô hình
Linux Server → Filebeat → OpenSearch → Dashboards
3.3. Winlogbeat
Winlogbeat được sử dụng để thu thập Windows Event Log.
Mô hình
Windows Server → Winlogbeat → OpenSearch → Dashboards
Có thể thu thập các sự kiện:
- Đăng nhập thành công.
- Đăng nhập thất bại.
- Đăng xuất.
- Thay đổi tài khoản.
- Sự kiện hệ thống.
- Các sự kiện bảo mật.
3.4. Ưu điểm của Beats
- Có nhiều loại Agent cho nhiều mục đích.
- Hoạt động tương đối nhẹ.
- Có khả năng thu thập dữ liệu từ nhiều nguồn.
- Phù hợp với môi trường máy chủ.
4. Fluent Bit
4.1. Khái niệm
Fluent Bit là một công cụ thu thập và xử lý log có hiệu năng cao, tiêu thụ ít tài nguyên.
Fluent Bit thường được sử dụng trong:
- Linux.
- Container.
- Docker.
- Kubernetes.
- Cloud environment.
Server → Fluent Bit → OpenSearch → OpenSearch Dashboards
Hoặc:
Container → Fluent Bit → OpenSearch
4.2. Quy trình xử lý
Fluent Bit có thể thực hiện nhiều bước:
Application → Fluent Bit → Parse → Filter → OpenSearch
Trong đó:
- Input: nhận log.
- Parser: phân tích cấu trúc log.
- Filter: thay đổi hoặc lọc dữ liệu.
- Output: gửi dữ liệu đến hệ thống đích.
Application → Fluent Bit → Parse → Filter → OpenSearch
4.3. Ưu điểm
- Nhẹ.
- Tốc độ xử lý cao.
- Tiêu thụ ít CPU và RAM.
- Có nhiều Input và Output.
- Phù hợp với container và Kubernetes.
5. Wazuh
5.1. Khái niệm
Wazuh là nền tảng giám sát an ninh và phát hiện sự kiện bảo mật. Wazuh không chỉ thu thập log mà còn có khả năng phân tích sự kiện, phát hiện nguy cơ và tạo cảnh báo.
Wazuh thường được sử dụng để giám sát:
- Windows.
- Linux.
- Server.
- Endpoint.
- Firewall.
- Application.
Windows Server → Wazuh Agent → Wazuh Manager → OpenSearch
Hoặc:
Linux Server → Wazuh Agent → Wazuh Manager → OpenSearch
5.2. Wazuh Agent
Wazuh Agent được cài đặt trên máy cần giám sát.
Agent có thể thu thập:
- System log.
- Windows Event Log.
- Security events.
- File Integrity.
- Thông tin hệ thống.
- Các sự kiện liên quan đến bảo mật.
Endpoint → Wazuh Agent → Wazuh Manager
5.3. Wazuh Manager
Wazuh Manager nhận dữ liệu từ các Agent và thực hiện phân tích.
Quá trình:
Wazuh Agent → Wazuh Manager → Phân tích → Alert
Sau đó dữ liệu có thể được lưu trữ và hiển thị thông qua OpenSearch.
Wazuh Agent → Wazuh Manager → OpenSearch → Dashboard
5.4. Ưu điểm
- Tập trung vào bảo mật.
- Có khả năng phân tích log.
- Phát hiện sự kiện bất thường.
- Hỗ trợ giám sát Endpoint.
- Có khả năng tạo cảnh báo bảo mật.
6. Vector
6.1. Khái niệm
Vector là một công cụ xử lý dữ liệu có hiệu năng cao, hỗ trợ thu thập, biến đổi và chuyển tiếp log, metric và event.
Vector có ba thành phần chính:
- Source: nguồn dữ liệu.
- Transform: xử lý dữ liệu.
- Sink: nơi gửi dữ liệu.
Server → Vector → OpenSearch
Hoặc:
Firewall → Vector → OpenSearch
6.2. Quy trình xử lý
Vector có thể thực hiện:
Firewall → Vector → Parse → Filter → Transform → OpenSearch
Ví dụ, Firewall gửi một log:
src=192.168.1.10 dst=10.10.10.20 action=deny
Vector có thể phân tích thành:
source_ip = 192.168.1.10
destination_ip = 10.10.10.20
action = deny
Sau đó gửi dữ liệu đã được chuẩn hóa đến OpenSearch.
Mô hình
Firewall → Vector → Chuẩn hóa Log → OpenSearch → Dashboards
6.3. Ưu điểm
- Hiệu năng cao.
- Có khả năng xử lý dữ liệu trước khi gửi.
- Hỗ trợ nhiều nguồn dữ liệu.
- Có khả năng lọc và biến đổi log.
- Phù hợp với hệ thống có lượng log lớn.
Công nghệ | Loại | Mô hình điển hình | Mục đích chính |
Syslog | Giao thức | Router → Syslog Server | Truyền log |
Beats | Agent | Server → Beats → OpenSearch | Thu thập log |
Fluent Bit | Agent/Collector | Server → Fluent Bit → OpenSearch | Thu thập và xử lý log |
Wazuh | Security Platform | Endpoint → Agent → Manager → OpenSearch | Giám sát bảo mật |
Vector | Data Pipeline | Server → Vector → OpenSearch | Thu thập và biến đổi dữ liệu |
8. So sánh mô hình triển khai
- Syslog
Router → Syslog Server → OpenSearch
- Filebeat
Linux Server → Filebeat → OpenSearch
- Winlogbeat
Windows Server → Winlogbeat → OpenSearch
- Fluent Bit
Container → Fluent Bit → OpenSearch
- Wazuh
Endpoint → Wazuh Agent → Wazuh Manager → OpenSearch
- Vector
Firewall → Vector → Parse/Filter → OpenSearch
9. Kết luận
Syslog, Beats, Fluent Bit, Wazuh và Vector đều đóng vai trò quan trọng trong hệ thống thu thập và phân tích log nhưng có mục đích khác nhau.
Syslog phù hợp với các thiết bị mạng như Router, Switch và Firewall. Beats phù hợp với việc thu thập log từ máy chủ. Fluent Bit có ưu điểm nhẹ và hiệu năng cao, đặc biệt phù hợp với container. Wazuh tập trung vào giám sát và phân tích an ninh. Vector phù hợp với việc xây dựng pipeline để thu thập, xử lý và chuyển tiếp dữ liệu.
Bài viết liên quan
Được quan tâm
Bài viết mới