說明:如果您有任何疑問或想咨詢其他業務請撥打電話 400 685 0732
全網監測海量數據按需發布監測預警
實時把握輿情動態精準追溯信息源頭
鑒于KPI100貌似密碼又忘了,但bruce也弄不進去了,所以這次的博客更新在這里。
之前用的工具一直是光年。光年這個工具怎么說呢,感覺是百度統計,整體能看看,但一旦出現問題想要看到細分的領域,用光年還是感到力不從心。推薦一款splunk的日志分析軟件,并且說說里面有哪些讓我感到興奮的點:
(的話請百度搜索splunk,然后翻墻下吧,用light版本,這個版本僅提供日志分析,已經夠用了,安裝完后你會發現他是本地的localhost:)
1、簡單的數據導入,即使不和服務器打通,在自己的硬盤里放一個日志的文件夾,以后把新的內容再添加進去能自動分析了,這個蠻方便的。如下圖,幾個項目的日志被我分開來放,導入導出很快。
2、可以隨時調整日志的搜索時間,并且根據文檔提供的語句調整自己需要的內容(這點不太傻瓜了,但語句真的具有挺強大的功能)。想要什么只要在搜索框你輸入行了。比如下圖中我要搜404狀態碼,在搜索框打入status = 404,OK了,等著它自己跑數據庫提取。
另外一個很好的地方是有一個時間線的提示,這里能很直觀的找到你所搜索的這個事件在這個時間段內出現了多少次,便捷的幫助我們找到網站的問題并監視終的結果。
3、另外個是不錯的統計功能,比如我稍微變化一下搜索的語句,如下圖中的status = 404| top limit=100 uri,能轉化成統計的視圖表,
這樣的視圖能幫助你找到這個URL出現的次數和所占的百分比。
4、當然還能導出你的篩選結果,這個棒極了。
想想如果再把這些語句發揚一下:
我們還能用這個工具來,
1、監測某個蜘蛛的每天,每時的爬取情況,哪個時間段被蜘蛛喜歡(馬上能分析出)
2、統計某個時間段被抓取的頁面,如果一直想要的頁面沒有被抓取,那么馬上需要作出調整;如果被抓取了卻沒被收錄,那么可能是頁面質量的問題了
3、找出浪費爬蟲抓取量的垃圾頁面,獲得數據之后,迅速的做調整(而光年只能看到整體,不能具體到哪個頁面)。
4、xenu工具跑的只是爬蟲的角度,平常用來處理404頁面。我們還可以從用戶和蜘蛛的角度去看返回的一些狀態碼,如果你夠專業,不僅要處理xenu工具跑出來的頁面很直觀的架構問題,還要從具體的服務器請求看結果,幫助網站真正的做個體檢。
推薦閱讀
另一個維度比較靠譜的免費日志分析工具 – Splunk@steven | 文軍...1、簡單的數據導入,即使不和服務器打通,在自己的硬盤里放一個日志的文件夾,以后把新的內容再添加進去能自動分析了,這個蠻方便的。如下圖,幾個項目的日志被我分開來放,導入導出很快。 2、可以隨時調整日志的搜索時間,并且根據文檔提供的語句調整自己需要的內容(這點不太傻瓜了,但語句真的具有挺強大的功能)。想要...另一個維度比較靠譜的免費日志分析工具 – Splunk@steven | 文軍...1、簡單的數據導入,即使不和服務器打通,在自己的硬盤里放一個日志的文件夾,以后把新的內容再添加進去能自動分析了,這個蠻方便的。如下圖,幾個項目的日志被我分開來放,導入導出很快。 2、可以隨時調整日志的搜索時間,并且根據文檔提供的語句調整自己需要的內容(這點不太傻瓜了,但語句真的具有挺強大的功能)。想要...
說明:如果您有任何疑問或想咨詢其他業務請撥打電話 400 685 0732