diephan
Moderator
Splunk Enterprise 8.1 System Administration
Prerequisites
Required:
Splunk Fundamentals 1
Strongly Recommended:
Splunk Fundamentals 2
Module 1 - Splunk Server Deployment
Nội dung:- Provide an overview of Splunk
- Identify Splunk components
- Identify the types of Splunk deployments
- List the steps to install Splunk
- Use Splunk CLI commands
- Enable the Monitoring Console
- Splunk Overview
Splunk có thể lập chỉ mục dữ liệu từ các máy chủ, ứng dụng, cơ sở dữ liệu, thiết bị mạng và máy ảo trong cơ sở hạ tầng CNTT. Miễn là máy tạo ra dữ liệu là một phần trong mạng, Splunk có thể thu thập dữ liệu từ mọi nơi, cho dù dữ liệu là cục bộ, từ xa hay trên đám mây.
Lộ trình mà dữ liệu đi qua Splunk từ nguồn (source) đến việc chuyển đổi (transformation) dữ liệu thành các sự kiện có thể tìm kiếm (search) được gọi là data pipeline, gồm các phân đoạn (segments) sau:
- Input: chấp nhận bất kì dữ liệu văn bản nào (có thể đọc được) làm đầu vào
- Parsing: phân tích dữ liệu thành các sự kiện
- Indexing: lưu trữ các sự kiện trong indexs
- Searching: tìm kiếm và báo cáo, xác thực người dùng
Tùy thuộc vào yêu cầu trong hệ thống, Splunk có thể được triển khai theo nhiều mô hình khác nhau, quy mô từ một server duy nhất đến nhiều server với mô hình phân tán.
* Splunk Deployment – Standalone: Triển khai độc lập trong Splunk có nghĩa là tất cả các chức năng mà Splunk thực hiện được quản lí bởi một instance duy nhất, thường được dùng trong việc test, POC,..
* Splunk Deployment – Basic: Tương tự như triển khai độc lập, nhưng một thành phần là Forwarder có nhiệm vụ là thu thập dữ liệu và gửi đến Splunk server sẽ được cài đặt tại data source (các máy chủ cần thu thập log). Splunk server sẽ quản lí việc triển khai và cấu hình của các Forwarder.
* Splunk Deployment – Distributed: để hỗ trợ các môi trường lớn hơn (nơi có nhiều source data, cần xử lí một khối lượng lớn dữ liệu hoặc có nhiều người dùng cần tìm kiếm dữ liệu), ta có thể mở rộng quy mô triển khai bằng cách phân phối các phiên bản Splunk trên nhiều máy.
Trong một triển khai phân tán, mỗi phiên bản Splunk thực hiện một nhiệm vụ chuyên biệt và nằm trên một trong ba cấp xử lí (processing tiers) tương ứng với các chức năng xử lí chính: Data input tier, Indexer tier, Search management tier.
Ví dụ: có thể tạo một triển khai với nhiều indexer để có thể xử lí nhiều đầu vào hoặc tạo một triển khai có nhiều search head để xử lí được nhiều hoạt động search hơn, với triển khai có nhiều Forwarder có thể triển khai thêm một thành phần gọi là Deployment Server để quản lí các cấu hình của Forwarder.
Forwarder thực hiện cân bằng tải tự động: định tuyến dữ liệu tới các indexer khác nhau vào một khoảng thời gian cụ thể (tần suất mặc định là 30s Forwarder sẽ thay đổi indexer nhận dữ liệu)
- Tổng quan về cài đặt Splunk
Các thành phần như: Indexer, search head, deployment server, license master, heavy forwarder, master node: sẽ được cài đặt trong gói phần mềm Splunk Enterprise
Thành phần Deployment client (điển hình là Forwarder): sẽ được cài đặt bởi gói phần mềm Universal Forwarder
2. Cài đặt
Dowload Splunk Enterprise từ trang chủ Splunk (yêu cầu phải có account Splunk) www.splunk.com/download
Cài đặt:
- Với *NIX: giải nén tệp tar.gz trong đường dẫn thích hợp (nơi chứ các thư mục cài đặt của Splunk – mặc định là /opt). Splunk Enterprise không tạo người dùng cụ thể, nếu muốn triển khai Splunk với tư cách một người dùng cụ thể, ta phải tạo người dùng bằng cách thủ công trước khi cài đặt.
- Với Windows: chỉ cần thực thi file cài đặt .msi và làm theo các bước như trình hướng dẫn
- Khi cài trên Windows Splunk sẽ tự động khởi động.
- Khi cài trên *NIX Splunk phải được khởi động theo cách thủ công. Thực hiện khởi động Splunk dưới quyền root bằng lệnh: ./splunk enable boot-start
Best practice: không chạy Splunk với tư cách là super-user như root trong *NIX, Administrator trong Windows
Tạo một tài khoản người dùng để chạy Splunk (tài khoản này phải có khả năng truy cập vào các data source).
Lưu ý: Trên *NIX, các tài khoản không phải root thường không truy cập được vào /var/log và các port <1024. Trên Windows, nên sử dụng domain account nếu Splunk phải connect tới các server khác, nếu không thì dùng tài khoản local mà nó có thể chạy các dịch vụ.
4. Đồng bộ về thời gianBest practice: Sử dụng dịch vụ đồng bộ thời gian như NTP.
Việc tìm kiếm trên Splunk đòi hỏi cần chính xác về thời gian, bắt buộc Splunk Indexer và các máy chủ production phải có cấu hình đồng bộ về thời gian, nếu không sẽ ảnh hưởng đến kết quả tìm kiếm.
Các port mặc định trong Splunk:
Các đề xuất cài đặt trong Linux
- Tăng giá trị ulimit trong cài đặt: các thông số cần được tăng lên để cho phép số lượng lớn buckets/forwarders/users như : core file size, open files, max user processes. (https://docs.splunk.com/Documentation/Splunk/latest/Troubleshooting/ulimitErrors)
- Tắt Transparent Huge Pages (THP) trên Splunk Enterprise servers: THP có liên quan đến sự suy giảm hiệu suất của Splunk Enterprise trong một số phiên bản kernel Linux (ví dụ 2.6.32 kernel trên Red Hat 6 (https://docs.splunk.com/Documentation/Splunk/8.1.3/ReleaseNotes/SplunkandTHP)
Recommend cấu hình tối thiểu của indexer và search head:
- Cấu trúc thư mục trong Splunk
SPLUNK_HOME: là thư mục mà Splunk được cài đặt tại đó.
SPLUNK_HOME/bin: nơi chứa các file thực thi
SPUNK_HOME/etc: nơi chứa các file cấu hình, license và các app được cài đặt trên Splunk
SPLUNK_HOME/var: nơi chứa data index, log và các file temp mà Splunk sinh ra
- Splunkd
- Splunk Web
Mặc định Splunk Web sử dụng port 8000
http://<server_name>:<port>
Sau khi đăng nhập thành công vào Splunk Web, ta có thể sử dụng Splunk Web để cài đặt một số cấu hình :
1. Genneral Setting: Cài đặt chung cho server
Chọn Setting > Server settings > General settings
- Splunk server name: đặt tên máy chủ, tên này sẽ được hiển thị trên Splunk web và hiện thị với các máy chủ Splunk khác trong môi trường phân tán, mặc định server name sẽ lấy từ DNS hoặc IP của Splunk server
- Installation path: đường dẫn nơi Splunk được cài đặt
- Management port: Port quản lí mặc định là 8089, dùng để giao tiếp với splunkd và các máy chủ splunk khác trong môi trường phân tán
- SSO Trusted IP: Xác định địa chỉ IP dùng cho cấu hình xác thực SSO
- Run Splunk Web: Bật/ tắt Splunk Web
- Enable SSL in Splunk Web: Bật HTTPS cho Splunk Web
- Web port: mặc định là port 8000
- App server ports: mặc định là port 8065
- Session timeout: Đặt thời gian timeout cho phiên Splunk Web
- Default host name: Đặt tên cho trường (filed) có giá trị sự kiện bắt nguồn từ máy chủ này
- Path to indexes: Xác định đường dẫn để thay đổi chỉ mục
- Pause indexing if free disk space falls below: Đặt dung lượng ổ đĩa trống tối thiểu trên đĩa chứa dữ liệu index, nếu vượt quá Splunk sẽ ngừng việc indexing
- KV store port: Xác định cổng được KV Store sử dụng để giao tiếp với splunkd (KV store tính năng của Splunk Enterprise cung cấp một cách để lưu và truy xuất dữ liệu trong các ứng dụng Splunk, cho phép quản lý và duy trì trạng thái của ứng dụng.
2. Customizing Login Background – tùy chỉnh hình nền đăng nhập
Chọn Server Setting > Login backgroud
3. Restart server từ Splunk Web
Để áp dụng các thay đổi cần phải restart lại server, khi thay đổi phần nào đó trong cấu hình server sẽ có thông báo nhắc restart server ở mục Messages:
Hoặc vào Settings > Server controls để restart server
Một cách nữa để restart server là sử dụng CLI: vào SPLUNK_HOME/bin nhập lệnh ./splunk restart
Splunk CLI
4. Giao diện dòng lệnh Splunk Enterprise (CLI) : là giao diện văn bản được sử dụng để nhập lệnh hệ thống, chỉnh sửa tệp cấu hình và chạy tìm kiếm. Lệnh splunk được thực thi trong thư mục bin
Cú pháp giống nhau trên tất cả nền tảng mà Splunk có hỗ trợ
Command | Operation |
| splunk help | Hiển thị danh sách các đối tượng để có thể truy cập trợ giúp vào một chủ đề cụ thể |
| splunk help <object> | Hiển thị danh sách các đối tượng và lệnh quản lý cho một đối tượng cụ thể |
| splunk [ start | stop | restart ] | Quản lí Splunk process |
| splunk start --accept-license | Tự động chấp nhận giấy phép mà không cần lời nhắc |
| splunk status | Hiển thị trạng thái của Splunk |
| splunk show splunkd-port | Hiện thị port mà splunkd đang sử dụng |
| splunk show web-port | Hiển thị cổng mà Splunk web đang sử dụng |
| splunk show server-name | Hiện thị server name |
| splunk show default-hostname | Hiển thị tên máy chủ mặc định được sử dụng làm trường host cho tất cả các sự kiện đến từ server này |
5. Monitoring Console (MC)
Monitoring Console là công cụ giám sát Splunk Enterprise. Nó cho phép quản trị viên xem topology chi tiết và thông tin performance, resource usage,…
Mặc định MC không cấu hình chế độ Standalone. Để bật, vào Settings> General Setup, kiểm tra xem indexer, license master và search head có được liệt kê trong Role máy chủ nếu cần thay đổi thì chọn Edit sau đó chọn Apply Changes
Cần phải Apply Changes để khởi chạy MC và sau bất kỳ thay đổi nào.
6. Enabling MC Platform Alerts
Platform Alerts là các tìm kiếm đã lưu được đưa vào MC. Platform Alerts thông báo cho quản trị viên về các điều kiện có thể ảnh hưởng đến môi trường triển khai của họ.
Mặc định Platform Alert ở trạng thái disable, có thể enable và điều chỉnh schedule, thời gian ngăn chặn và hành động cảnh báo
Bất kì mục nào lớn hơn 80% đều được đánh giá là không tốt
Ngoài Platform Alert, MC còn đi kèm với các health check được cấu hình sẵn.
Mỗi health check item chạy một tìm kiếm riêng biệt. Các tìm kiếm chạy tuần tự. Khi một tìm kiếm kết thúc, tìm kiếm tiếp theo sẽ bắt đầu. Sau khi tất cả các tìm kiếm đã hoàn thành, kết quả được sắp xếp theo mức độ nghiêm trọng: Error, Warning, Info, Success, hoặc N/A.
Health checks có thể được disable, modified, create, và export
Sửa lần cuối:
Bài viết liên quan
Bài viết mới