[研究]Splunk Server 9.0.5 (on Rocky Linux 9.2) 回傳停止之解決

[研究]Splunk Server 9.0.5 (on Rocky Linux 9.2) 回傳停止之解決

2023-06-17

有一套 Splunk Enterprise Server 9.0.5 安裝於 Rocky Linux 9.2 上 (類似 CentOS 的 Linux)

某次連續於幾台 Windows 升級安裝 Splunk Universal Forwarder 9.0.5，結果發現 Splunk Server 9.0.5 有收到部分回傳 Log，有的沒收到，檢查發現 

The mininum free space (5000MB) reached for /opt/splunk/var/run/splunk/dispatch.

/opt/splunk/var/run/splunk/dispatch 已達到最小可用空間 (5000MB)。

也就是 / 根目錄的空間不到 5GB 時，Splunk Server 會停止運作。

(下圖) df  -h 檢查每個磁碟分割空間使用狀況，根目錄可用剩 4.9 GB

(下圖) df  /opt 可知掛載在根目錄，也就是 Splunk Server 安裝到 根目錄

(下圖) tmp 目錄也在 根目錄分割，後來發現空間占用很少，沒幫助

(下圖) yum  config-manager  -dump  |  grep  cachedir   

查一下 yum 或 dnf 的 cache 在哪個目錄，清除後是否能空出空間

(下圖) dnf  clean  all 刪除 dnf cache，但後來發現占用空間也很少

(下圖) 根目錄分割幾乎被 Splunk 的 var 目錄占用 

(下圖) 後來發現幾個舊版的 .rpm 還留著，砍了後就有 5GB 了

(下圖) 訊息正常了

(下圖) 仍有警告

目前暫時解決了，回傳繼續，但仍要想辦法研究一下幾個議題：

• 磁碟空間配置
• 把 /opt/splunk/var 改用 /home 磁碟分割
• 是否能把 /home 部分空間挪部分給 / 根目錄分割
• 把 /home 掛載廢除，空間全整併給根目錄分割
• sudo splunk clean eventdata 可以徹底刪除 Splunk 累績了 log 和分析結果

(完)

相關

[研究]Rocky Linux 9.2 , CentOS 安裝時手動分割磁區
https://shaurong.blogspot.com/2023/06/rocky-linux-92-centos.html

[研究]Rocky Linux 8.8、9.2預設分割大小測試
https://shaurong.blogspot.com/2023/06/rocky-linux-8892.html

[研究]Splunk 9.0.5 (on Rocky Linux 9.2) 回傳停止之解決
https://shaurong.blogspot.com/2023/06/splunk-905-on-rocky-linux-92.html