Splunk Splunk 7.x Fundamentals Part 1 - Module 8: SPL - Splunk Search Processing Language

1.Search Syntax
Ngôn ngữ tìm kiếm được xây dựng từ năm thành phần:

• The Search Terms(cụm từ tìm kiếm): các từ khóa để tìm kiếm kết quả mong muốn.Ví dụ như: keywords, phrases(cụm từ), các toán từ kết hợp.
• Commands: Các lệnh cho Splunk biết sẽ làm gì với kết quả tìm kiếm, ví dụ như:, thống kê tính toán, tạo biểu đồ.
• Functions: là các hàm được splunk hỗ trợ để thực hiện các chức năng như: tính toán và đánh giá kết quả.Xem chi tiết các Command và Functions tại tài liệu:

https://docs.splunk.com/Documentation/Splunk/8.0.6/SearchReference/

• Arguments(đối số, tham số): các giá trị muốn truyền vào cho hàm.
• Clauses(mệnh đề): dùng để xác định hoặc nhóm các kết quả dưới dạng dữ liệu mong muốn. Chi tiết xem tại tài liệu:

Hai thành phần tìm kiếm này được phân tách bằng pipes. Sử dụng một pipes để yêu cầu Splunk chuyển kết quả của thành phần tìm kiếm một làm đầu vào của thành phần tìm kiếm tiếp theo.



2.Visual Pipeline
Câu lệnh tìm kiếm trở nên trực quan hơn nhiều với bản phát hành splunk 6.5.

Khi nhập các câu lệnh tìm kiếm, splunk sẽ cung cấp các tính năng tự động hoàn thành, và các phần trong câu lệnh tìm kiếm sẽ có màu tự động. Chi tiết như sau:


Toán tử boolean và công cụ sửa đổi lệnh sẽ hiển thị bằng màu cam



Các câu lệnh-command sẽ hiển thị là màu xanh nước biển.



Các tùy chọn của lệnh-command arguments sẽ hiển thị là màu xanh lá cây.



Hàm-Functions hiển thị là màu tím.



Giúp cho việc dễ dàng xem những câu lệnh đang xảy ra trong tìm kiếm. Khi con trỏ được đặt sau dấu ngoặc đơn trong chuỗi tìm kiếm, 2 dấu ngoặc đơn chứa con trỏ sẽ được tô sáng.



Ngoài ra, Splunk còn hỗ trợ SPL editor giúp cài đặt giao diện câu lệnh tìm kiếm. Để cài đặt, chọn user, sau đó chọn Preferences.



Tiếp tục chọn SPL Editor:



Tại tab General, có tùy chỉnh xuống dòng khi tìm kiếm, và tự động gợi ý định dạng cú pháp tìm kiếm khi type.



Vào tab Theme, để tùy chỉnh theme:

• Black on White: Câu lệnh tìm kiếm là chữ đen, nền trắng.
• Light Thêm: Câu lệnh tìm kiếm có các màu tùy chọn như trên, nền trắng.
• Dark Theme: Câu lệnh tìm kiếm có các màu tùy chọn như trên, nền đen.

3.The Search Pipeline



Khi câu lệnh tìm kiếm Splunk thực hiện, Splunk sẽ đọc kết quả từ đĩa và tạo một bản sao trong bộ nhớ, xóa những sự kiện trong kết quả tìm kiếm mà không khớp với câu lệnh tìm kiếm. Kết quả cuối cùng giống như một bảng tính, chỉ chứa các trường và giá trị bạn đã tìm kiếm. Cùng với việc sử dụng bộ lọc thời gian thời gian cho các sự kiện, với các cụm từ tìm kiếm tối ưu, sẽ làm cho bảng tính nhỏ hơn và câu lệnh tìm kiếm nhanh hơn.

4.Fields Command
Fields command cho phép chọn hoặc loại trừ các fields-trường cụ thể từ kết quả tìm kiếm. Điều này giúp ích khi cần giới hạn các trường được hiển thị và làm cho tìm kiếm chạy nhanh hơn. Để chọn một trường trong kết quả tìm kiếm, thêm tên trường vào sau lệnh fields để làm đối số. Ví dụ

Ví dụ câu lệnh dưới đây, chỉ hiện thị 2 trường “status” and “clientip”:



Để loại trừ một trường, sử dụng một dấu trừ “-“ sau lệnh fields và trước tên trường cần loại bỏ. Ví dụ với câu lệnh sau đây, trường status và clientip sẽ bị xóa khỏi danh sách trường:


5.Table command
Lệnh table tương tự như lệnh fields ở chỗ, các trường được chỉ định được giữ trong kết quả tìm kiếm. Nhưng lệnh table khác ở chỗ là nó sẽ hiển thị lại dữ liệu ở định dạng bảng. Ví du: câu lệnh sau sẽ hiển thị giá trị sessionid, tên sản phẩm và giá sản phẩm:


Để sắp xếp lại thứ tự hiển thị các cột trong bảng, thay đổi thứ tự của các đối số theo thứ tự các cột trong bảng muốn hiển thị.


6.Rename Command
Lệnh rename được sử dụng để đổi tên các trường.

Cùng xem câu search sau:



Đối với những người lập trình hệ thống, có thể biết rằng JSESSIONID là cookie phiên cho khách hàng thực hiện mua hàng, nhưng đối với những người không trực tiếp làm nên hệ thống, họ sẽ không biết JSESSIONID là gì? Do đó, cần sử dụng lệnh rename để đổi lại thành User Session. Bằng cách sử dụng lệnh rename như sau:




Ngoài ra cũng có thể sử dụng lệnh rename cho nhiều trường:



7.Sort Command
Lệnh sắp xếp sẽ cho phép bạn hiển thị kết quả của mình theo thứ tự tăng dần hoặc giảm dần.

Với câu search, tên của các Vendor hiển thị không theo thứ tự:



Sắp xếp theo tên các Vendor:



Sắp xếp theo Vendor và tên sản phẩm của các vendor:




Sắp xếp theo giá bán của sản phẩm, mặc định sẽ sắp xếp theo giá trị tăng dần:



Câu lệnh “sort sale_price” và “sort + sale_price” là tương đương nhau:



Để hiện thị theo giá trị giảm dần, thêm dấu “-“ trước trường cần sắp xếp:




Sắp xếp theo thứ tự trường sale_price giảm dần, Vendor giảm dần. Vì dấu “-“ cách 1 khoảng trắng trước tên trường.

“sort – sale_price Vendor” tương đương với ““sort –sale_price -Vendor”



Sắp xếp theo giá trị sale_price giảm dần, giá trị Vendor tăng dần:

“sort –sale_price Vendor” tương đương với “sort –sale_price +Vendor”



8.Deup Command
Bạn có thể sử dụng lệnh deup để loại bỏ các sự kiện trùng lặp khỏi kết quả có chung giá trị. Với câu search dưới đây, kết quả hiện thị các giá trị trùng nhau.


Câu tìm kiếm sau, sẽ xuất hiện 2 event trùng nhau:




Sau khi bổ sung lệnh dedup, các kết quả trùng lặp đã được loại bỏ:


Kết bài
Qua bài viết này, chúng ta đã tìm hiểu các nội dung sau:

• Cấu trúc và thành phần của một câu lệnh tìm kiếm SPL.
• Các tùy chỉnh SPL editor.
• Cách các câu lệnh làm việc để có được kết quả.
• Tìm hiểu câu lệnh Fields.
• Tìm hiểu câu lệnh Table.
• Tìm hiểu câu lệnh Rename.
• Tìm hiểu câu lệnh Sort.
• Tìm hiểu câu lệnh Dedup.