Trong môi trường SOC, dữ liệu đổ về từ hàng chục nguồn khác nhau (Firewall, Windows, Linux, Web Server). Nếu mỗi nguồn định nghĩa tên trường một kiểu (ví dụ: src_ip, ClientIP, source_address), việc phân tích tương quan và xây dựng Dashboard chung là bất khả thi.
Mục tiêu của task này là thống nhất toàn bộ cấu trúc log về một quy chuẩn duy nhất toàn cầu: Elastic Common Schema (ECS), thông qua việc thiết lập Index Template.
Hệ thống lập tức tiếp nhận dữ liệu và trả về kết quả "result": "created".
Bằng cách sử dụng lệnh GET ecs-logs-test/_mapping, tôi đã trích xuất cấu trúc lõi của Index này. Kết quả trả về vô cùng hoàn hảo:
Mục tiêu của task này là thống nhất toàn bộ cấu trúc log về một quy chuẩn duy nhất toàn cầu: Elastic Common Schema (ECS), thông qua việc thiết lập Index Template.
1. Thiết lập Mapping chuẩn ECS bằng Index Template
Bước đầu tiên, tôi tiến hành khai báo kiểu dữ liệu (Mapping) cho các trường trọng yếu theo đúng chuẩn ECS. Việc này được thực hiện bằng cách tạo một Index Template có tên ecs-standard-template áp dụng cho bất kỳ Index nào có tiền tố ecs-logs-*.- Trường thời gian (@timestamp): Ép kiểu date để phục vụ việc lọc và vẽ biểu đồ Time Series.
- Trường địa chỉ mạng (source.ip, destination.ip): Bắt buộc ép kiểu ip. Việc này cực kỳ quan trọng vì nó cho phép hệ thống truy vấn theo dải mạng CIDR (ví dụ: 192.168.1.0/24) thay vì chỉ tìm chuỗi text thông thường.
- Trường phân loại và định danh (host.name, event.category, event.outcome, user.name): Định nghĩa là keyword để đảm bảo tìm kiếm chính xác tuyệt đối và phục vụ việc gom nhóm (Aggregation) trên Dashboard.
2. Kiểm thử nạp dữ liệu (Data Ingestion Test)
Để xác minh Template hoạt động tự động, tôi tiến hành tạo một Index mới tinh mang tên ecs-logs-test (khớp với pattern của template) và đẩy vào một dòng log mẫu chứa đầy đủ các trường chuẩn ECS: host, source, destination, event, user.Hệ thống lập tức tiếp nhận dữ liệu và trả về kết quả "result": "created".
3. Xác minh tính toàn vẹn của Mapping
Bước cuối cùng và cũng là bước quan trọng nhất để nghiệm thu: Kiểm tra xem dữ liệu có thực sự được định dạng đúng kiểu (Type) như đã khai báo trong Template hay không.Bằng cách sử dụng lệnh GET ecs-logs-test/_mapping, tôi đã trích xuất cấu trúc lõi của Index này. Kết quả trả về vô cùng hoàn hảo:
- Trường @timestamp đã được nhận diện là "type": "date".
- Các trường IP như destination.ip đã được hệ thống hiểu đúng định dạng "type": "ip".
- Các trường còn lại được phân loại đúng chuẩn "type": "keyword".
4. Kết luận
Việc chuẩn hóa ECS và tạo Index Template thành công mang lại lợi ích to lớn cho hệ thống:- Tối ưu hóa lưu trữ và truy vấn: OpenSearch biết chính xác cách index từng loại dữ liệu (IP, Date, Keyword) giúp tăng tốc độ search lên nhiều lần.
- Khả năng tương quan (Correlation): Bất kể log đến từ thiết bị nào, giờ đây chỉ cần tìm kiếm source.ip: 192.168.1.15, tôi có thể theo dõi toàn bộ dấu chân của kẻ tấn công trên toàn mạng.
- Sẵn sàng cho Dashboard: Dữ liệu chuẩn ECS là nguyên liệu hoàn hảo nhất để import các Dashboard SOC có sẵn.