1. Các thành phần của Splunk
Dưới đây là các thành phần cơ bản của splunk trong môi trường phân tán:
Munltisite và single site có các đặc điểm chung sau:
- Cluster gồm 3 thành phần : master, peers, search head.
- Mỗi cluster chỉ có chính xác một master.
- Cluster có số lượng peer node và search head bất kì.
Dưới đây là mô hình two- site cluster sẽ triển khai : gồm 1 master, 2 search head, 4 indexer
3. Các bước thực hiện
Chuẩn bị: 7 máy centos 8 với các chức năng như sau:
Tham khảo : http://splunk-sizing.appspot.com/
Tạo Logical Volume Management (LVM) để quản lí và phân vùng ổ đĩa cài đặt splunk:
- Sử dụng lệnh :
• df : sử dụng để có được một bản tóm tắt đầy đủ về việc sử dụng không gian đĩa có sẵn và được sử dụng của hệ thống tệp trên hệ thống Linux (df: disk filesystem)
• Sử dụng tham số
Sử dụng lệnh lsblk để hiển thị thông tin Block device ( Block Device là những thiết bị như ổ cứng, usb). Ở đây ta thấy có ổ đĩa /dev/sdb với dung lượng 300G
- Sử dụng lệnh
- Để tạo một phân vùng mới nhấn phím n trên bàn phím
- Chọn phân vùng ổ cứng là primary bằng cách nhấn phím p trên bàn phím
( Phân vùng ổ đĩa có 2 loại là: Primary (mặc định) và Extended)
Sau đó nhập thông tin cần thiết cho phân vùng:
• Partition number: Từ 1 => 4, nó sẽ tạo phân vùng là /dev/sdb1 => dev/sdb4
• First sector: Vị trí bắt đầu trên ổ đĩa (chọn default)
• Last sector: Vị trí cuối cùng trên ổ đĩa, hoặc thiết lập kích thước dùng lượng +size(K,M,G). (chọn default)
- Nhấn w để lưu lại kết quả:
>Tạo LVM
Tạo physical Volume:
Tạo volume group với tên vgssd :
Tạo Logical Volume với tên lv_splunk :
Sử dụng file system ext4 để tăng hoặc giảm kích thước của mỗi logical volume (với file system xfs chỉ cho phép tăng kích thước).
>Mount Logical Volume:
Để thực hiện gắn kết vĩnh viễn phải nhập trong tệp /etc/fstab như sau:
Thêm vào: /dev/mapper/vgssd-lv_splunk /splunk ext4 defaults 0 0
- Khởi động lại HĐ
Cài splunk core trên mỗi máy
Dowload file cài đặt trên trang chủ splunk vào thư mục splunk bằng cách sử dụng WinSCP
Trên CentOS vào thư mục splunk đã tạo và giải nén file cài đặt:
Vào mục : cd /splunk/splunk/bin
Dùng lệnh
Đặt tên người dùng và mật khẩu:
Khởi động splunk :
Lưu ý: cần phải tắt firewall và selinux
Cấu hình cluster:
Sau khi splunk khởi động xong ta có thể đăng nhập và quản lí bằng giao diện web với URL: Vào Setting>Indexer Clustering để cấu hình
Trước tiên ta cấu hình trên master :
Trên Indexer:
Trên searchhead
Sau khi cấu hình thành công trên master sẽ có thông tin như sau:
Lưu ý: Khi add license ta chỉ cần add license trên master node, các node còn lại sẽ trỏ về master bằng cách vào Setting>Licensing
Xem thêm:
Dưới đây là các thành phần cơ bản của splunk trong môi trường phân tán:
- Indexers
- Forwarders
- Search heads
- Deployment server
- Indexers: lập chỉ mục dữ liệu, chuyển đổi dữ liệu thô thành các sự kiện và đặt kết quả thành chỉ mục
- Forwarders: tiếp nhận dữ liệu thô và chuyển tiếp dữ liệu đến thành phần khác chẳng hạn như đến một forwarders khác hoặc một indexer, forwarder thường nằn chung trên các máy chạy các ứng dụng tạo ra dữ liệu , chẳng hạn như máy chủ web.
- Search Head: trong môi trường tìm kiếm phân tán, search head có chức năng quản lí tìm kiếm, hướng các yêu cầu của tìm kiếm đến một tập hợp các đối tượng tìm kiếm và sau đó hợp nhất lại kết quả cho người dùng.
- Deployment Server: hoạt động như một trình quản lí cấu hình tập trung, các phiên bản được cấu hình từ xa bởi deployment server gọi là deployment client. Deployment server tải xuống nội dung cập nhật như tệp cáu hình và ứng dụng cho deployment client, các đơn vị của nội dung đó được gọi là deployment app.
Munltisite và single site có các đặc điểm chung sau:
- Cluster gồm 3 thành phần : master, peers, search head.
- Mỗi cluster chỉ có chính xác một master.
- Cluster có số lượng peer node và search head bất kì.
Dưới đây là mô hình two- site cluster sẽ triển khai : gồm 1 master, 2 search head, 4 indexer
3. Các bước thực hiện
Chuẩn bị: 7 máy centos 8 với các chức năng như sau:
| Feature | CPU | Memory | Hard disk 1 (GB) | Hard disk 2 (GB) |
| Master | 4 | 8 | 40 | 150 |
| Indexer 01 | 8 | 16 | 40 | 300 |
| Indexer 02 | 8 | 16 | 40 | 300 |
| Indexer 03 | 8 | 16 | 40 | 300 |
| Indexer 04 | 8 | 16 | 40 | 300 |
| Search head 01 | 8 | 8 | 40 | 150 |
| Search head 02 | 8 | 8 | 40 | 150 |
Tham khảo : http://splunk-sizing.appspot.com/
Tạo Logical Volume Management (LVM) để quản lí và phân vùng ổ đĩa cài đặt splunk:
- Sử dụng lệnh :
df -h để kiểm tra không gian đĩa
• df : sử dụng để có được một bản tóm tắt đầy đủ về việc sử dụng không gian đĩa có sẵn và được sử dụng của hệ thống tệp trên hệ thống Linux (df: disk filesystem)
• Sử dụng tham số
-h với (df -h) sẽ hiển thị số liệu thống kê không gian đĩa hệ thống tệp ở định dạng của con người có thể đọc được, có nghĩa là nó cung cấp các chi tiết theo byte, megabyte và gigabyte.Sử dụng lệnh lsblk để hiển thị thông tin Block device ( Block Device là những thiết bị như ổ cứng, usb). Ở đây ta thấy có ổ đĩa /dev/sdb với dung lượng 300G
- Sử dụng lệnh
fdisk /dev/sdb để tạo mới một phân vùng- Để tạo một phân vùng mới nhấn phím n trên bàn phím
- Chọn phân vùng ổ cứng là primary bằng cách nhấn phím p trên bàn phím
( Phân vùng ổ đĩa có 2 loại là: Primary (mặc định) và Extended)
Sau đó nhập thông tin cần thiết cho phân vùng:
• Partition number: Từ 1 => 4, nó sẽ tạo phân vùng là /dev/sdb1 => dev/sdb4
• First sector: Vị trí bắt đầu trên ổ đĩa (chọn default)
• Last sector: Vị trí cuối cùng trên ổ đĩa, hoặc thiết lập kích thước dùng lượng +size(K,M,G). (chọn default)
- Nhấn w để lưu lại kết quả:
>Tạo LVM
Tạo physical Volume:
pvcreate /dev/sdb1
Tạo volume group với tên vgssd :
vgcreate vgssd /dev/sdb1
Tạo Logical Volume với tên lv_splunk :
lvcreate --size 299GB --name lv_splunk vgssd
Sử dụng file system ext4 để tăng hoặc giảm kích thước của mỗi logical volume (với file system xfs chỉ cho phép tăng kích thước).
mkfs.ext4 /dev/vgssd/lv_splunk
>Mount Logical Volume:
mkdir -pv /splunk
mount /dev/vgssd/lv_splunk /splunkĐể thực hiện gắn kết vĩnh viễn phải nhập trong tệp /etc/fstab như sau:
vi /etc/fstabThêm vào: /dev/mapper/vgssd-lv_splunk /splunk ext4 defaults 0 0
- Khởi động lại HĐ
rebootCài splunk core trên mỗi máy
Dowload file cài đặt trên trang chủ splunk vào thư mục splunk bằng cách sử dụng WinSCP
Trên CentOS vào thư mục splunk đã tạo và giải nén file cài đặt:
tar -vzxf splunk-8.0.3-a6754d0441hf-Linux-x86_64.tgz -C /splunk
Vào mục : cd /splunk/splunk/bin
Dùng lệnh
./splunk enable boot-start –accept-license để đặt splunk khởi động cùng hệ thống
Đặt tên người dùng và mật khẩu:
Khởi động splunk :
./splunk start
Lưu ý: cần phải tắt firewall và selinux
Cấu hình cluster:
Sau khi splunk khởi động xong ta có thể đăng nhập và quản lí bằng giao diện web với URL: Vào Setting>Indexer Clustering để cấu hình
Trước tiên ta cấu hình trên master :
Trên Indexer:
Trên searchhead
Sau khi cấu hình thành công trên master sẽ có thông tin như sau:
Lưu ý: Khi add license ta chỉ cần add license trên master node, các node còn lại sẽ trỏ về master bằng cách vào Setting>Licensing
Xem thêm:
