THAY THẾ INDEXER TRONG MÔI TRƯỜNG SPLUNK CLUSTERING
1.Đặt vấn đề
Hệ thống Splunk hiện tại có sơ đồ như sau:
- 01 Master Server ( kiêm vai trò license server) - 10.120.190.90
- 02 Indexer: 10.120.190.91 và 10.120.190.92
- 01 Search Head server: 10.120.190.95
- 01 Citrix đóng vai trò Loadbalancing: 10.120.140.221(MGMT)
Indexer ( Peer node: gồm van_idx01 và van_idx02):
Indexes(có 4 index đang chứa dữ liệu, đây là môi trường LAB, trong thực tế số lượng index và dung lượng mỗi index sẽ lớn hơn rất nhiều):
Search Head( gồm van_master và van_sh01):
Tình huống đưa ra như sau: Trong môi trường thực thế, các thành phần trong Splunk Clustering được triển khai trên các máy chủ server vật lý. Vì lí do bất khả kháng( sự cố, nâng cấp, update server vật lý…) , phải di chuyển Indexer02 sang một máy chủ server vật lý khác. Nhưng vì lý do, dung lượng của Indexer02 quá lớn, không thể sử dụng các biện pháp migrate từ máy chủ vật lý này sang máy chủ vật lý khác. Do đó, cần phải thực hiện deploy một Indexer03 thay thế cho Indexer02, mà vẫn đảm bảo được các yêu cầu về dữ liệu đang có trong hệ thống Splunk Cluster hiện tại. Sau khi Indxer03 có được dữ liệu, và hoàn toàn đảm bảo nếu mất đi Indexer02, hệ thống vẫn hoạt động và dữ liệu trong hệ thống không mất đi, sẽ thực hiện cấu hình thay thế Indexer03 thành Indexer02. Như vậy, sẽ hoàn thành việc chuyển một Indexer từ server vật lý này sang server vật lý khác mà không dùng phương pháp migrate. Chi tiết các bước sẽ được trình bày bên dưới.
2.Các bước thực hiện
2.1 Deploy Indxer03 mới
Deploy Indxer mới, có hostname van_idx03 , IP 10.120.190.93.
Chi tiết các bước deploy một Indexer được trình bày trong phần 2.Chuẩn bị môi trường OS cài đặt Splunk của bài viết (https://securityzone.vn/t/deploy-sp...xer-phan-1-chuan-bi-moi-truong-cai-dat.11861/ ) và phần 3. Cài đặt Splunk Core của bài viết ( https://securityzone.vn/t/deploy-sp...han-2-cau-hinh-cluster-va-onboard-data.11862/ ). Lưu ý, version của Splunk Core được cài trên Indxer03 phải cùng với version của các Indxer trong Cluster.
Sau khi deploy theo các bước trên, sẽ được một Indexer03 bên dưới đây:
2.2 Cấu hình join cluster idx03
Sau khi deploy, tiến hành cấu hình Indexer03 join Cluster hiện tại. Truy cập WEB UI của Indexer03 :
https://10.120.190.93:8000
Sau đó chọn Settings > Licensing:
Chọn Designate a different Splunk instance as the master license server, sau đó nhập URL của master server(cũng chính là license server) https:/10.120.190.90:8089 , sau đó chọn Save:
Sau đó chọn Restart Now để restart Splunk theo yêu cầu:
Restarting Splunk Enterprise:
Indexer03 đã trỏ get license từ Master Server thành công:
Tiếp theo , cấu hình Indexer02 joint Cluster. Chọn Settings> Indexer Clustering:
Chọn Enabel indexer clustering:
Chọn Peer node > Next:
Nhập các thông tin như bên dưới ( theo cấu hình hiện tại của Splunk Cluster) , sau đó chọn Enable peer node:
Chọn Restart Now:
Sau khi cấu hình, trên Indxer Clustering của Master server như hình bên dưới, như vậy đã join cluster thành công:
2.3 Ngắt log tới Indexr02 , để log về Indexr01 và Indexr03
Để thực hiện ngắt log tới Indexr02 , để log về Indexr01 và Indexr03 , thực hiện cấu hình trên LoadBalancing Citrix.
Truy cập Citrix, chọn Traffic management > Load Balancing > Servers, chọn SPL_VAN_IDX02 (Indexer02), sau đó chọn Edit:
Trong phần IPAdress, đổi từ 10.120.190.92(Indexer02) sang 10.120.190.93(Indxer03), sau đó chọn OK:
Như vậy, đã hoàn thành việc ngắt log tới Indxer02, và chuyển các log từ thời điểm hiện tại sang cho Indxer03 và Indexer01.
2.4 Off idx02
Sau khi thực hiện bước ngắt log trên Indxer02 sang Indxer03, chỉ giải quyết được phần log sau khi đã cấu hình ngắt log. Còn các phần log đã được lưu trữ trên Indxer02 trước đó sẽ không được giải quyết. Do đó, cần thực hiện Off Indxer02, để dữ liệu từ Indexer01 được Sync qua Indxer03, trong thực tế, có nhiều Indxer trong mô hình Cluster, do đó, Data cần Sync sẽ được lấy từ nhiều Indxer , việc này được điều tiết bởi Master Server.
Để Off Indxer02, truy cập CLI Indxer02, sử dụng lệnh shutdown now:
Sau khi Off Indxer02 , trên Indxer Clustering của Master Node thông báo như sau:
2.5 Sync Data và remove Indxer02 ra khỏi Cluster
a)Check Sync Data
Để check quá trình Sync Data, thực hiện kiểm tra các thông số dưới đây:
Indexes – Đây là thông số quan trọng nhất cần kiểm tra. Các Index chứa dữ liệu trên toàn bộ hệ thống Splunk khi hợp lại, phải đảm bảo yếu tố “searchale”. Ngoài ra các thông số số All Data is Searchable, Search Factor is Met, Replication Factor is Met đang có trạng thái tích xanh:
Ngoài ra, truy cập Search Head, kiểm tra một nguồn dữ liệu bất kì trong thời gian gần nhất:
Có thể thấy, giá trị trong trường splunk_server là van_idx01 và van_idx03 , như vậy, log đã tương đối đều trên Indxer mới và Indxer cũ:
Việc Sync Data trong môi trường thực tế có thể mất nhiều thời gian hơn tùy vào dữ liệu có trên các Indxer. Trong thời gian này, cần theo dõi tình trạng Splunk Cluster, và xử lý các lỗi nếu có.
b)Unjoin Indexer02 ra khỏi Cluster
Để cấu hình Unjoin Indexer02 ra khỏi Cluster, trước tiên cần Power On Indxer02 đã tắt, sau khi Indxer02 ON, trên Indexer Clustering Master hiển thị như sau:
Truy cập WEB UI Indexer02, https://10.120.190.92:8000, chọn Settings> Indexer clustering:
Chọn Edit > Disable Indexer Clustering:
Chọn Restart Now:
Sau khi Indxer02 unjoin Clustering, trên Indexer Clustering Master hiển thị như sau:
Như vậy , Indexer02 đã Unjoint Cluster, tuy nhiên, để xóa hoàn toàn Indexer02 ra khỏi Cluster, cần phải remove Indexer02 trên Master Server. Chi tiết thực hiện tiền hành trong bước tiếp theo
c)Remove Indexer02 ra khỏi Cluster
Sử dung Putty, truy cập SSH tới Master Server :
Đi đến thư mục install Splunk Core /home/splunk/bin , sau đó thực hiện lệnh liệt kê các indexer (peer node) đang có trong Cluster:
#./splunk list cluster-peers
Dưới đây là danh sách 3 Indxer. Lần lượt như sau:
Van_idx01 , IP 10.120.190.91 , Có GUID là 5BFFABFF-0571-…… :
Van_idx03 , IP 10.120.190.93 , Có GUID là 72DEB2F2-FFF4-…… :
Van_idx02 , IP 10.120.190.92 , Có GUID là ACE5AC8B-141F-44CF-9D00-E2D54D7D6DC5:
Xác định cần remove Indexer02 có tên van_idx02 , GUID=ACE5AC8B-141F-44CF-9D00-E2D54D7D6DC5
Thực hiện lệnh sau để remove Indxer02 ra khỏi Cluster:
#./splunk remove cluster-peers -peers ACE5AC8B-141F-44CF-9D00-E2D54D7D6DC5
Sau khi Remove Indexer02, Indexer Clustering trên Master hiển thị như sau:
Như vậy, đã hoàn thành Remove Indexer02 ra khỏi Cluster.
Lúc này, đã có thể Shutdown Indexer02:
2.6 Chuyển đổi Indxer03 thành Indxer02
Sau khi hệ thống Splunk đi vào hoạt động ổn định, Data đã đảm bảo, cần cấu hình lại Indexer03 thành Indexer02 theo như mô hình ban đầu.
Trước tiên, cần cấu hình hình lại IP trên Citrix, chọn Traffic Management > Load Balancing > Servers, chọn SPL_VAN_IDX02, chọn Edit:
Tại IPAdress , đổi IP từ 10.120.190.93 thành 10.120.190.92, sau đó chọn OK:
Lúc này, trên Indxer Clustering của Master sẽ thông báo như sau:
Lúc này cần phải thực hiện đổi IP của Indxer03 thành 10.120.190.92:
Khi đó, trên Indexer Clustering của Master sẽ hiển thị trạng thái Cluster bình thường như sau:
Thực hiện list peer node trên Master server, thông tin mới như sau, van_idx03 đã đổi từ 10.120.190.93 sang 10.120.190.92, tuy nhiên GUID vẫn giữ nguyên:
Truy cập Web UI của Indexer03(lúc này IP đã được đổi) , https://10.120.190.92:8000, chọn Settings > Server Settings:
Chọn General settings:
Tiến hành đổi tên của Splunk server name và Default host name từ van_idx03 thành van_idx02 như sau, sau đó chọn Save:
Chọn Message > Click here to Restart from Server controls:
Chọn Restart Splunk:
Trên Indexer Clustering của Master Node đã hiển thị thay đổi:
List peer node trên Master server đã ghi nhận sự thay đổi:
Như vậy, đã hoàn thành việc chuyển một Indexer từ server vật lý này sang server vật lý khác mà không dùng phương pháp migrate thành công.
