Splunk DEPLOY SPLUNK CLUSTER MULTI INDEXER Phần 1: Chuẩn bị môi trường cài đặt.

pluto

Internship/Fresher
Sep 8, 2020
51
11
8
DEPLOY SPLUNK CLUSTER MULTI INDEXER

Phần 1: Chuẩn bị môi trường cài đặt.
1.Mô hình
Mô hình hệ thống Splunk như sau:
1612252928609.jpeg


Các thành phần trong mô hình gồm:
  • 01 Master server: 10.120.140.150
  • 02 Search Head server: 10.120.140.157 , 10.120.140.158
  • 04 Indexer server: 10.120.140.151, 10.120.140.152, 10.120.140.153, 10.120.140.154
  • Hệ số Replication factor = 3
  • Hệ số Search factor = 2
Chi tiết chức năng từng thành phần và các khái niệm xem tại bài viết:

http://securityzone.vn/t/lab-1-how-to-onboard-data-in-splunk-cluster.11782/



Tài nguyên cho từng thành phần như sau:
1612252978559.jpeg

Trên mỗi VM, cài đặt hệ điều hành CentOS 7.5, gồm 2 ổ đĩa: 01 ổ dung lượng 79GB để cài OS, ổ còn lại được mount vào thư mục /splunk , được sử dụng để cài Splunk. Tùy từng vai trò của từng thành phần trong hệ thống mà có dung lượng khác nhau, chi tiết xem bảng trên.


2.Chuẩn bị môi trường OS cài đặt Splunk
2.1 Tạo Template VM CentOS 7.5
Trước khi cài đặt Splunk , OS có một số yêu cầu về cài đặt và cài đặt một số công cụ phục vụ cho quá trình tìm lỗi trong hệ thống Splunk, bao gồm:
  • yum update
  • tcpdump
  • wget
  • telnet
  • traceroute
  • NTP(yêu cầu các thành phần trong hệ thống Splunk cùng trỏ về một NTP để đồng bộ thời gian).
a) yum update
Để update, thực hiện lệnh sau:

#yum update –y
1612253027957.jpeg




b) tcpdump
Để cài đặt tcpdump, thực hiện lệnh sau:
#yum install tcpdump –y
1612253048488.jpeg



Kiểm tra phiên bản tpcdump:
#tcpdump –version
1612253067778.jpeg



c) wget
Để cài đặt wget, thực hiện lệnh sau:
#yum install wget -y
1612253090423.jpeg



Kiểm tra version wget:
#wget –version
1612253109905.png




d) telnet
Để cài đặt telnet, thực hiện lệnh sau:
#yum install telnet –y
1612253135320.jpeg


Để kiểm tra telnet, sử dụng lệnh sau:
#telnet
Dùng lệnh sau để thoát telnet:
>quit
1612253164135.png



e) traceroute
Để cài đặt traceroute, thực hiện lệnh sau:
#yum install traceroute -y
1612253185408.jpeg



f) NTP
Để cài đặt ntp, thực hiện lệnh sau:
#yum install ntp -y
1612253220544.jpeg


Sử dụng lệnh sau để edit fille /etc/ntp.conf để cấu hình ntp server:
#vi /etc/ntp.conf
1612253238023.png


Chỉnh sửa nội dung file /etc/ntp.conf như sau:
server 10.120.100.201 iburst
server 10.120.100.201 iburst
1612253260218.jpeg



Sử dụng các lệnh sau để khởi động lại service ntp:

#systemctl status ntpd
#systemctl enable ntpd
#systemctl restart ntpd
1612253283474.jpeg




Sử dụng các lệnh sau để tắt firewall:
#service firewalld status
#service firewalld stop
#chkconfig firewalld off
1612253307530.jpeg



Sử dụng câu lệnh sau để kiểm tra tình trạng NTP:
#ntpq -p
1612253325336.jpeg



2.2 Deploy các thành phần trong hệ thống Splunk
a)Deploy các thành phần trong hệ thống Splunk từ template

Sau khi hoàn thành các cấu hình trên , tiến hành Power Off VM, đóng thành teamplate trên vCenter. Sau đó, deploy các thành VM khác, dùng để cài các thành phần trong hệ thống Splunk. Chọn template, phải chuột chọn New VM from This Template:
1612253353235.jpeg



Hoàn thành Virtual machine name, chọn thư mục chứa VM, sau đó chọn NEXT:
1612253386541.jpeg





Chọn host chứa VM, sau đó chọn NEXT:
1612253406479.jpeg




Chọn storage, sau đó chọn NEXT:
1612253428093.jpeg




Chọn Customize this virtual machine’s hardware, sau đó chọn NEXT:
1612253445080.jpeg





Tùy chỉnh cấu hình cho phù hợp với tài nguyên từng thành phần trong hệ thống Splunk, sau đó chọn NEXT:
1612253464534.jpeg





Review lại VM, sau đó chọn FINISH:
1612253502585.jpeg




Sau đó Power On cho các VM:
1612253518298.jpeg


Sau khi VM boot thành công, đăng nhập và cấu hình IP Address và hostname theo sizing cho từng thành phần trong hệ thống Splunk.


b)Đặt lại chỉ IP và hostname

Để đặt địa chỉ IP, sử dụng lệnh sau:
#nmtui
1612253555272.jpeg





Chọn Edit a connection, sau đó ấn Enter:
1612253568612.jpeg




Chọn card mạng ens192, sau đó chọn Edit , ấn Enter( sử dụng các mũi tên điều hướng để chọn):
1612253584565.jpeg





Tùy chọn theo các cấu hình như sau, sau đó chọn OK:
1612253600929.jpeg




Sau đó sử dụng lệnh sau để edit hosname:
#vi /etc/hostname
1612253624200.png


Edit theo tên hostname đã sizing cho các thành phần trong hệ thống:
1612253641230.png




Sau đó reboot lại VM bằng lệnh sau:
#reboot
1612253662163.png



Sau khi reboot, kiểm tra lại các thông tin đã cấu hình bên trên: IP, hostname, NTP server. Sau đó làm tương tự , lần lượt đối với các Search Head server, Indexer server trong hệ thống.


2.3 Cấu hình LVM cho thư mục cài Splunk
a) Add hard disk vào VM trên vCenter

Để add các hard disk vào VM, chọn VM cần add, chọn ACTION>Edit Settings:
1612253710636.jpeg



Chọn ADD NEW DEVICE > Hard Disk:
1612253724776.jpeg





Trong phần New Hard Disk, nhập dung lượng cần thêm, sau đó chọn OK để hoàn tất:
image054.jpg




Thực hiện tương tự với các thành phần còn lại(Search Head, Indexer), tùy vào sizing cho từng thành phần để thêm dung lượng khác nhau.

Sau khi add hard disk trên vCenter, sử dụng lệnh sau để kiểm tra trên OS:
#lsblk
1612253759204.jpeg




# fdisk –l
1612253774781.jpeg




#df –h
1612253791809.jpeg



Sau khi add hard disk vào các thành phần khác trong hệ thống Splunk, tiến hành kiểm tra tương tự như các bước trên trong OS.

b)Cấu hình LVM cho Master server
Sau khi thêm hard disk dung lượng 100GB vào Master server, kiểm tra sau khi VM đã nhận. Lúc này sẽ tiến hành cấu hình LVM cho hard disk mới này, sau đó tạo thư mục /splunk, và mount hard disk đã cấu hình LVM vào thư /splunk. Sau khi hoàn tất các bước trên, sẽ cài đặt Splunk Enterprise vào thư mục /splunk này. Khi cấu hình LVM, sẽ dễ dàng cấu hình mở rộng tăng dung lượng hard disk(extend) trong trường hợp cần thêm dung lượng cho thư mục /splunk khi hệ thống Splunk được mở rộng.

Kiểm tra hard disk mới thêm bằng lệnh sau:

#fdsisk –l
1612253812100.jpeg



#fdisk /dev/sdb
1612253829522.jpeg




Type m:
1612253845224.jpeg




Type n > p > 1 > Enter > Enter:
1612253860966.jpeg




Type w:
1612253877168.jpeg





Kiểm tra sau khi cấu hình:

#fdisk –l
1612253893018.jpeg




#lsblk
1612253907292.jpeg




Tạo pv /dev/sdb1 với lệnh sau:
#pvcreate /dev/sdb1
1612253929730.png



Kiểm tra pv /dev/sdb1 sau khi tạo:
1612253945572.jpeg





Tạo vgssd với lệnh sau:
#vgcreate vgssd /dev/sdb1
1612253967254.png




Kiểm tra vgssd sau khi tạo:
#vgscan
1612253985375.png




#vgdisplay vgssd
1612254007186.jpeg





Tạo lv lv_splunk cho vgssd bằng lệnh sau:
#lvcreate –size 99GB –name lv_splunk vgssd

Lưu ý: option --size có số dung lượng < dung lượng hard disk thật.
1612254026158.png




Kiểm tra sau khi tạo lv lv_splunk:
#lvscan
1612254055881.jpeg

#lvs
1612254077536.jpeg





Tạo định dạng ext cho lv_splunk
#mkfs.ext4 /dev/vgssd/lv_splunk
1612254095249.jpeg





Đi đến thu mực root, sau đó xem các thư mục trong đó với lệnh sau:
#cd /
#ls
1612254115795.jpeg





Tạo thư mục /splunk với lệnh sau:
#mkdir –pv /splunk
1612254132365.jpeg





Kiểm tra thư mục root sau khi tạo /splunk, sau đó mount /dev/vgssd/lv_splunk /splunk với lệnh sau:
#ls
#mount /dev/vgssd/lv_splunk /splunk
1612254184837.jpeg



Sử dụng lệnh sau để xem nội dung cấu hình trong file /etc/fstab
#cat /etc/fstab
1612254195132.jpeg




Sử dụng lệnh sau để edit file /etc/fstab. Thêm dòng dưới đây vào file /etc/fstab:
/dev/mapper/vgssd-lv_splunk /splunk ext4 defaults 0 0


Mục đích cấu hình file này để khi VM restart, sẽ không bị mất cấu hình mount vào /splunk
1612254220863.jpeg





Kiểm tra cấu hình mount, sau đó dùng lệnh “mount –a” kiểm tra, nếu không có lỗi , tiến hành reboot VM:
#df –h
#mount –a
#reboot
1612254244945.jpeg




Sau khi VM reboot lại, sử dụng lệnh sau để kiểm tra cấu hình lvm trên /splunk:
#df –h
1612254264217.jpeg



Như vậy đã hoàn thành cấu hình lvm cho hard disk mới thêm vào, và đã mount thành công vào thư mục /splunk
Thực hiện cấu hình LVM tương tự đối với Search Head server và Indexer server.
Chú ý: Tại bước tạo lv sau:
1612254327034.png


Tùy vào dung lượng của hard disk thật được add vào, mà có tùy chọn size khác nhau , sao cho thỏa điều kiện < dung lượng thật của hard disk.
Ví dụ Search Head server được add hard disk thật là 500GB, thì --size là 499GB.
 

Attachments

  • 1612254040980.png
    1612254040980.png
    70.4 KB · Views: 0
Last edited:

About us

  • Securityzone.vn là một trang web chuyên về an ninh mạng và công nghệ thông tin. Trang web này cung cấp các bài viết, tin tức, video, diễn đàn và các dịch vụ liên quan đến lĩnh vực này. Securityzone.vn là một trong những cộng đồng IT lớn và uy tín tại Việt Nam, thu hút nhiều người quan tâm và tham gia. Securityzone.vn cũng là nơi để các chuyên gia, nhà nghiên cứu, sinh viên và người yêu thích an ninh mạng có thể trao đổi, học hỏi và chia sẻ kiến thức, kinh nghiệm và giải pháp về các vấn đề bảo mật trong thời đại số.

Quick Navigation

User Menu