Splunk THAY THẾ INDEXER TRONG MÔI TRƯỜNG SPLUNK CLUSTERING

pluto

Moderator
THAY THẾ INDEXER TRONG MÔI TRƯỜNG SPLUNK CLUSTERING

1.Đặt vấn đề
1624806023280.png


Hệ thống Splunk hiện tại có sơ đồ như sau:
  • 01 Master Server ( kiêm vai trò license server) - 10.120.190.90
  • 02 Indexer: 10.120.190.91 và 10.120.190.92
  • 01 Search Head server: 10.120.190.95
  • 01 Citrix đóng vai trò Loadbalancing: 10.120.140.221(MGMT)
Chi tiết trạng thái Cluster được mô tả bên dưới đây.



Indexer ( Peer node: gồm van_idx01 và van_idx02):
1624806041514.png




Indexes(có 4 index đang chứa dữ liệu, đây là môi trường LAB, trong thực tế số lượng index và dung lượng mỗi index sẽ lớn hơn rất nhiều):
1624806051949.png




Search Head( gồm van_master và van_sh01):
1624806062999.png



Tình huống đưa ra như sau: Trong môi trường thực thế, các thành phần trong Splunk Clustering được triển khai trên các máy chủ server vật lý. Vì lí do bất khả kháng( sự cố, nâng cấp, update server vật lý…) , phải di chuyển Indexer02 sang một máy chủ server vật lý khác. Nhưng vì lý do, dung lượng của Indexer02 quá lớn, không thể sử dụng các biện pháp migrate từ máy chủ vật lý này sang máy chủ vật lý khác. Do đó, cần phải thực hiện deploy một Indexer03 thay thế cho Indexer02, mà vẫn đảm bảo được các yêu cầu về dữ liệu đang có trong hệ thống Splunk Cluster hiện tại. Sau khi Indxer03 có được dữ liệu, và hoàn toàn đảm bảo nếu mất đi Indexer02, hệ thống vẫn hoạt động và dữ liệu trong hệ thống không mất đi, sẽ thực hiện cấu hình thay thế Indexer03 thành Indexer02. Như vậy, sẽ hoàn thành việc chuyển một Indexer từ server vật lý này sang server vật lý khác mà không dùng phương pháp migrate. Chi tiết các bước sẽ được trình bày bên dưới.


2.Các bước thực hiện
2.1 Deploy Indxer03 mới
Deploy Indxer mới, có hostname van_idx03 , IP 10.120.190.93.

Chi tiết các bước deploy một Indexer được trình bày trong phần 2.Chuẩn bị môi trường OS cài đặt Splunk của bài viết (https://securityzone.vn/t/deploy-sp...xer-phan-1-chuan-bi-moi-truong-cai-dat.11861/ ) và phần 3. Cài đặt Splunk Core của bài viết ( https://securityzone.vn/t/deploy-sp...han-2-cau-hinh-cluster-va-onboard-data.11862/ ). Lưu ý, version của Splunk Core được cài trên Indxer03 phải cùng với version của các Indxer trong Cluster.


Sau khi deploy theo các bước trên, sẽ được một Indexer03 bên dưới đây:
1624806090181.png



2.2 Cấu hình join cluster idx03
Sau khi deploy, tiến hành cấu hình Indexer03 join Cluster hiện tại. Truy cập WEB UI của Indexer03 :

https://10.120.190.93:8000

Sau đó chọn Settings > Licensing:
1624806107194.png




Chọn Designate a different Splunk instance as the master license server, sau đó nhập URL của master server(cũng chính là license server) https:/10.120.190.90:8089 , sau đó chọn Save:
1624806124914.png




Sau đó chọn Restart Now để restart Splunk theo yêu cầu:
1624806137974.png




Restarting Splunk Enterprise:
1624806154197.png





Indexer03 đã trỏ get license từ Master Server thành công:
1624806168599.png





Tiếp theo , cấu hình Indexer02 joint Cluster. Chọn Settings> Indexer Clustering:
1624806180547.png




Chọn Enabel indexer clustering:
1624806193097.png





Chọn Peer node > Next:
1624806205425.png




Nhập các thông tin như bên dưới ( theo cấu hình hiện tại của Splunk Cluster) , sau đó chọn Enable peer node:
1624806217800.png




Chọn Restart Now:
1624806233703.png




Sau khi cấu hình, trên Indxer Clustering của Master server như hình bên dưới, như vậy đã join cluster thành công:
1624806244366.png





2.3 Ngắt log tới Indexr02 , để log về Indexr01 và Indexr03


Để thực hiện ngắt log tới Indexr02 , để log về Indexr01 và Indexr03 , thực hiện cấu hình trên LoadBalancing Citrix.

Truy cập Citrix, chọn Traffic management > Load Balancing > Servers, chọn SPL_VAN_IDX02 (Indexer02), sau đó chọn Edit:
1624806261295.png




Trong phần IPAdress, đổi từ 10.120.190.92(Indexer02) sang 10.120.190.93(Indxer03), sau đó chọn OK:
1624806276684.png



Như vậy, đã hoàn thành việc ngắt log tới Indxer02, và chuyển các log từ thời điểm hiện tại sang cho Indxer03 và Indexer01.

2.4 Off idx02


Sau khi thực hiện bước ngắt log trên Indxer02 sang Indxer03, chỉ giải quyết được phần log sau khi đã cấu hình ngắt log. Còn các phần log đã được lưu trữ trên Indxer02 trước đó sẽ không được giải quyết. Do đó, cần thực hiện Off Indxer02, để dữ liệu từ Indexer01 được Sync qua Indxer03, trong thực tế, có nhiều Indxer trong mô hình Cluster, do đó, Data cần Sync sẽ được lấy từ nhiều Indxer , việc này được điều tiết bởi Master Server.

Để Off Indxer02, truy cập CLI Indxer02, sử dụng lệnh shutdown now:
1624806293301.png




Sau khi Off Indxer02 , trên Indxer Clustering của Master Node thông báo như sau:
1624806306470.png





2.5 Sync Data và remove Indxer02 ra khỏi Cluster
a)Check Sync Data
Để check quá trình Sync Data, thực hiện kiểm tra các thông số dưới đây:


Indexes – Đây là thông số quan trọng nhất cần kiểm tra. Các Index chứa dữ liệu trên toàn bộ hệ thống Splunk khi hợp lại, phải đảm bảo yếu tố “searchale”. Ngoài ra các thông số số All Data is Searchable, Search Factor is Met, Replication Factor is Met đang có trạng thái tích xanh:
1624806321885.png




Ngoài ra, truy cập Search Head, kiểm tra một nguồn dữ liệu bất kì trong thời gian gần nhất:
1624806337390.png





Có thể thấy, giá trị trong trường splunk_server là van_idx01 và van_idx03 , như vậy, log đã tương đối đều trên Indxer mới và Indxer cũ:
1624806349661.png





Việc Sync Data trong môi trường thực tế có thể mất nhiều thời gian hơn tùy vào dữ liệu có trên các Indxer. Trong thời gian này, cần theo dõi tình trạng Splunk Cluster, và xử lý các lỗi nếu có.

b)Unjoin Indexer02 ra khỏi Cluster

Để cấu hình Unjoin Indexer02 ra khỏi Cluster, trước tiên cần Power On Indxer02 đã tắt, sau khi Indxer02 ON, trên Indexer Clustering Master hiển thị như sau:
1624806362756.png




Truy cập WEB UI Indexer02, https://10.120.190.92:8000, chọn Settings> Indexer clustering:
1624806378138.png




Chọn Edit > Disable Indexer Clustering:
1624806397365.png



Chọn Restart Now:
1624806411503.png





Sau khi Indxer02 unjoin Clustering, trên Indexer Clustering Master hiển thị như sau:
1624806425149.png




Như vậy , Indexer02 đã Unjoint Cluster, tuy nhiên, để xóa hoàn toàn Indexer02 ra khỏi Cluster, cần phải remove Indexer02 trên Master Server. Chi tiết thực hiện tiền hành trong bước tiếp theo


c)Remove Indexer02 ra khỏi Cluster

Sử dung Putty, truy cập SSH tới Master Server :
1624806439640.png




Đi đến thư mục install Splunk Core /home/splunk/bin , sau đó thực hiện lệnh liệt kê các indexer (peer node) đang có trong Cluster:

#./splunk list cluster-peers
Dưới đây là danh sách 3 Indxer. Lần lượt như sau:

Van_idx01 , IP 10.120.190.91 , Có GUID là 5BFFABFF-0571-…… :
1624806460850.png




Van_idx03 , IP 10.120.190.93 , Có GUID là 72DEB2F2-FFF4-…… :
1624806470852.png



Van_idx02 , IP 10.120.190.92 , Có GUID là ACE5AC8B-141F-44CF-9D00-E2D54D7D6DC5:
1624806485436.png





Xác định cần remove Indexer02 có tên van_idx02 , GUID=ACE5AC8B-141F-44CF-9D00-E2D54D7D6DC5

Thực hiện lệnh sau để remove Indxer02 ra khỏi Cluster:
#./splunk remove cluster-peers -peers ACE5AC8B-141F-44CF-9D00-E2D54D7D6DC5
1624806497640.png




Sau khi Remove Indexer02, Indexer Clustering trên Master hiển thị như sau:
1624806509953.png




Như vậy, đã hoàn thành Remove Indexer02 ra khỏi Cluster.

Lúc này, đã có thể Shutdown Indexer02:
1624806527076.png




2.6 Chuyển đổi Indxer03 thành Indxer02


Sau khi hệ thống Splunk đi vào hoạt động ổn định, Data đã đảm bảo, cần cấu hình lại Indexer03 thành Indexer02 theo như mô hình ban đầu.

Trước tiên, cần cấu hình hình lại IP trên Citrix, chọn Traffic Management > Load Balancing > Servers, chọn SPL_VAN_IDX02, chọn Edit:
1624806545763.png





Tại IPAdress , đổi IP từ 10.120.190.93 thành 10.120.190.92, sau đó chọn OK:
1624806555766.png



Lúc này, trên Indxer Clustering của Master sẽ thông báo như sau:
1624806566359.png




Lúc này cần phải thực hiện đổi IP của Indxer03 thành 10.120.190.92:
1624806575619.png




Khi đó, trên Indexer Clustering của Master sẽ hiển thị trạng thái Cluster bình thường như sau:
1624806586707.png




Thực hiện list peer node trên Master server, thông tin mới như sau, van_idx03 đã đổi từ 10.120.190.93 sang 10.120.190.92, tuy nhiên GUID vẫn giữ nguyên:
1624806609904.png





Truy cập Web UI của Indexer03(lúc này IP đã được đổi) , https://10.120.190.92:8000, chọn Settings > Server Settings:
1624806619337.png




Chọn General settings:
1624806633577.png




Tiến hành đổi tên của Splunk server name và Default host name từ van_idx03 thành van_idx02 như sau, sau đó chọn Save:
1624806644538.png

1624806648241.png



Chọn Message > Click here to Restart from Server controls:
1624806656832.png




Chọn Restart Splunk:
1624806664411.png





Trên Indexer Clustering của Master Node đã hiển thị thay đổi:
1624806672494.png




List peer node trên Master server đã ghi nhận sự thay đổi:
1624806681118.png




Như vậy, đã hoàn thành việc chuyển một Indexer từ server vật lý này sang server vật lý khác mà không dùng phương pháp migrate thành công.
 
Top