Splunk Splunk 7.x Fundamentals 2 - Module 1&2: Course Introduction and Beyond Search Fundamentals

1. Giới thiệu Splunk 7.x Fundametals 2
Mục tiêu khóa học:

• Sử dụng các lệnh transforming và visualizations.
• Lọc và định dạng kết quả tìm kiếm
• Correlate events into transactions
• Tạo và quản lý Knowledge Object
• Tạo và quản lý extracted fields, field aliases, calculated fields
• Tạo tags and event types
• Tạo và sử dụng macros and workflow objects
• Tạo và quản lý data model.
• Sử dụng Splunk Common Information Model (CIM)

Chi tiết nội dung Module trong khóa học:

• Module 1: Course Introduction
• Module 2: Beyond Search Fundamentals
• Module 3: Commands for Visualizations
• Module 4: Advanced Visualizations
• Module 5: Filtering and Formatting Data
• Module 6: Correlating Events
• Module 7: Introduction to Knowledge Objects
• Module 8: Creating and Managing Fields
• Module 9: Creating Field Aliases and Calculated Fields
• Module 10: Creating Tags and Event Types
• Module 11: Creating and Using Macros
• Module 12: Creating and Using Workflow Actions
• Module 13: Creating Data Models
• Module 14: Using the Common Information Model (CIM) Add-On

Môi trường thực hành được cung cấp với Splunk qua truy cập web browser, đối tượng dữ liệu trong khóa học được phân chia và sắp xếp như sau:



2.How Splunk Search



Khi một Event đến nơi lưu trữ trên Splunk, Splunk sẽ lưu trữ Event vào HOT Bucket. Bucket sẽ được sắp xếp theo thứ tự: HOT, WARM, COLD.

Mỗi Bucket sẽ chứa: raw data, metdata(source, sourcetype, host) và file index(dữ liệu sau khi được index).



Khi bắt đầu search, Splunk sẽ dựa vào time range để chọn ra Bucket có chứa dữ liệu cần để thực hiện tìm kiếm các index file dựa trên các cụm từ tìm kiếm.


3. General Search Practices
Các quy tắc sau giúp cho việc tìm kiếm hiệu quả hơn:

+Time range là bộ lọc hiệu quả nhất, vì các sự kienj được lưu trữ theo thời gian.

+Sau time range, sử dụng các keyword sau giúp cho việc tìm kiếm hiệu quả hơn gồm: source, sourcetype, host(tùy từng dữ liệu và yêu cầu để sắp xếp việc sử dụng từ khóa nào trước trong câu search).

+Thêm nhiều từ khóa liên quan đến sự kiện cần tìm kiếm nhất có thể vào trong câu search.

Ví dụ:

Câu search “sourcetpe=pan:log failure” sẽ trả về kết quả sát hơn so với câu search chỉ có “failure”

+Trong trường hợp câu search dài , cần thực hiện qua nhiều bước, nên sử dụng lệnh “fields” để giữ lại các trường cần thiết, sẽ giúp cho câu seach nhanh hơn.

+Trong trường hợp không biết chính xác keyword, có thể sử dụng ký tự thay thế wildcard(*). Tuy nhiên để sử dụng hiệu quả, cần chú ý các quy tắc sau:

• Ký tự wildcard bắt đầu ở keyword( *fail) sẽ scan toàn bộ event trong time range.
• Ký tự wildcard ở giữa keyword(fa*l) sẽ trả về các kết quả không mong muốn.
• Vì vậy, sử dụng ký tự wildcard ở cuối keyword(fail*).
• Sau khi tìm chính xác keyword, remove wildcard và thay thế bằng keyword vừa tìm được.

+Sử dụng các chế độ tìm kiếm thích hợp:

• Fast
• Smart [default]
• Verbose

4.Search Mode
4.1 Fast Mode

Fast Mode: Tốc độ trả về kết quả tìm kiếm nhanh nhất, tuy nhiên kết quả trả về không chi tiết, các trường dữ liệu bị rút bớt.


Đối với các câu search non-transforming(không làm chuyển đổi data), Fast Mode trả về kết quả như sau:

Event: Có kết quả.


Patterns: Có kết quả







Stattics or visualizaions: Không có kết quả.









Đối với các câu search transforming(làm chuyển đổi data), Fast Mode trả về:



Event: Không có kết quả.


Patterns: Không có kết quả.




Stattics or visualizaions: Có kết quả.











4.2 Verbose Mode

Verbose Mode: Trả về kết quả chi tiết và đầy đủ nhất.






Đối với các câu search non-transforming(không làm chuyển đổi data), Verbose Mode trả về kết quả như sau:
Event: Có kết quả




Patterns:Có kết quả





Stattics or visualizaions: Không có kết quả







Đối với các câu search transforming(làm chuyển đổi data), Verbose Mode trả về kết quả như sau:

Event:Có kết quả



Patterns:Có kết quả




Stattics or visualizaions: Có kết quả











4.3 Smart Mode

Smart Mode: Là tùy chọn mặc định, được thay đổi giữa Fast Mode và Verbose Mode. Đối với các câu search non-transforming(không làm chuyển đổi data), hoạt động theo Verbose Mode. Đối với các câu search transforming(làm chuyển đổi data), hoạt động như Fast Mode.

Đối với các câu search non-transforming(không làm chuyển đổi data), Smart Mode trả về kết quả như sau:
Event:Có kết quả



Patterns:Có kết quả




Stattics or visualizaions: Không có kết quả





Đối với các câu search transforming(làm chuyển đổi data), Smart Mode trả về kết quả như sau:

Event: Không có kết quả





Patterns:Không có kết quả




Stattics or visualizaions: Có kết quả.





Lưu ý, trong quá trình thống kê sự kiện, rút ra như sau:

• Trong trường hợp xảy ra sự cố, cần tìm rõ nguyên nhân, cần tìm kiếm ở chế độ Verbose Mode để tránh bỏ sót các sự kiện.
• Trong trường hợp kiểm tra log(xem đã có chưa, đã đúng sourcetype, source, host), nên tìm kiếm ở Fast Mode hoặc Smart Mode để giảm hiệu năng cho hệ thống và tiết kiệm thời gian.
• Trong trường hợp buid dashboard, cần sử dụng các câu search transforming(làm chuyển đổi data), để chế độ Fast Mode hoặc Smart Mode để hiển thị kết quả nhanh hơn, tuy nhiên vẫn có sai số. Vì vậy, những dashboard có các giá trị hiển thị quá nhỏ( ví dụ count < 5) , chọn chế độ Verbose Mode.

5.Search Job
5.1 Search History
Là công cụ cho phép xem lại các câu search đã thực hiện tìm kiếm trên Splunk. Có các tùy chọn Time Filter:

• No Time Filter.
• Today.
• Last 7 Days.
• Last 30 Days.

Tùy vào quyền User mà người từng User có thể nhìn thấy các câu search của các User khác trong hệ thống.




Sau khi xem lịch sử các câu Search, có thể chọn Add to Search để chạy ngay câu search đã chọn:



5.2 Seach Job

Search Job là công cụ cho phép kiểm tra:

• Thống kê tổng thể về search (ví dụ: bản record các câu search đã được xử lý và trả về, thời gian xử lý)
• Quá trình xử lý một câu Search.
• Thời gian Splunk thực hiện các quá trình xử lý.

Được sử dụng trong trường hợp khắc phục sự cố về hiệu suất của tìm kiếm và giúp người dùng hiểu tác động của các knowledge objects với việc xử lý (ví dụ: event types, tags, lookup)





Chọn Job, sau đó chọn Inspect Job, sẽ xuất hiện Search Job Inspector, bao gồm:

• Header
• Execution costs
• Search job properties.

Header:

Bảng Header cung cấp thông tin cơ bản, bao gồm thời gian chạy và số sự kiện được quét.





Execution costs:

Cung cấp chi tiết các thông tin như : Component(thành phần được gọi để thực hiện câu search), Invocations(Số lần thực hiện compnent tương ứng), Inputcount(số event Input), Output Count(số event output). Một số các component quan trọng như:

• command.search.index: thời gian tìm kiếm vị trí của index chứa data cần tìm kiếm(rawdata).
• command.search.filter: thời gian để lọc/loại bỏ các sự kiện không phù hợp.
• command.search.rawdata: thời gian đọc các sự kiện từ rawdata.

Search job properties:

Cung cấp các thông số, thông số chi tiêt về câu search vừa được thực hiện. Một số các thông tin quan trọng như:

• scanCount
• resultCount