說明:如果您有任何疑問或想咨詢其他業(yè)務(wù)請撥打電話 400 685 0732
全網(wǎng)監(jiān)測海量數(shù)據(jù)按需發(fā)布監(jiān)測預(yù)警
實時把握輿情動態(tài)精準追溯信息源頭
提起向百度提交數(shù)據(jù),大家基本都會想到sitemap,近又推出的etag是什么東東?真的能有效果嗎?其實在etag推出之初,我們平臺的非技術(shù)人員對效果也是沒有預(yù)期的。下面來一起分享一下。
sitemap是解決網(wǎng)站收錄至關(guān)重要的途徑之一,而通常sitemap的更新都不是很及時,并且體量都相對較大,,此時也消耗了相應(yīng)的網(wǎng)站流量及帶寬。而ETag可以用來標示網(wǎng)頁是否發(fā)生了變化,如果沒有變化返回304狀態(tài)碼,不用再重新傳輸整個網(wǎng)頁了。
在我們的sitemap配置了ETag之后,對日志一段時間的監(jiān)測發(fā)現(xiàn),其sitemap響應(yīng)時間以及耗時的平均時間均大幅度下降,爬蟲訪問sitemap文件的次數(shù)有所增加,對于收錄而言,通過圖表也能看出相對的增長曲線,我們的整體收錄率大致提升范圍在2% – 5%左右。所以在此,強烈建議大家設(shè)置sitemap的ETag,簡簡單單的一個小動作能看到相對明顯的效果還是很不錯的。
ETag全稱EntityTags,HTTP協(xié)議規(guī)格說明中定義“ETag”為“被請求變量的實體值”。我們也可以把ETag理解為是一個客戶端與服務(wù)器關(guān)聯(lián)的記號。這個記號告訴客戶端,當前網(wǎng)頁在上次請求之后是否有發(fā)生變化,當發(fā)生變化時,ETag的值重新計算,并返回200狀態(tài)碼。如果沒有變化,返回304狀態(tài)碼。從而不會重新加載整個頁面信息。
如下,是我司站點的sitemap文件的頭信息:
我們看到,ETag中包含了一連串的數(shù)據(jù),這是計算出來的一個值,如果它發(fā)生變化,說明其頁面內(nèi)容一定發(fā)生了變化。如果頁面沒有發(fā)生變化時,頭信息應(yīng)該如下:
在我們與技術(shù)溝通配置ETag時,需要通過此種方式進行驗證。次訪問200狀態(tài)碼,有ETag的一行文本,再次訪問該頁面時,狀態(tài)碼為304,ETag的值不變。至此,我們可以確定ETag配置成功。
另外,sitemap啟用Etag后:
1、 百度可以更及時地響應(yīng)sitemap的更新;
2、 頁面沒有更新的情況下,對流量的消耗極小;
3、 百度更加及時的抓取sitemap,便于更好的收錄;
但多數(shù)情況下,ETag會與Last-Modified一起使用,這樣可利用客戶端(例如瀏覽器)的緩存。因為服務(wù)器首先產(chǎn)生Last-Modified/Etag標記,服務(wù)器可在稍后使用它來判斷頁面是否已經(jīng)被修改。本質(zhì)上,客戶端通過將該記號傳回服務(wù)器要求服務(wù)器驗證其(客戶端)緩存。
對于如何配置ETag站長學(xué)院有很詳細的文章指南:對站點服務(wù)器如何配置ETag,是對全站進行配置ETag,這樣對于站點而言,在帶寬消耗、爬蟲抓取上的提升還是會有很大收益的。
推薦閱讀
說明:如果您有任何疑問或想咨詢其他業(yè)務(wù)請撥打電話 400 685 0732