seo日誌分析

1、關於seo日誌分析需要關注的幾個點

一、蜘蛛抓取情況
1、都有哪些蜘蛛來訪問
看一下主流的蜘蛛是否有訪問網站，如果沒有的話，可能是被網站屏蔽了，可以檢查下網站的robots文件設置，如果不會寫，可以參考搜外的robots.txt文件，很標准。
2、抓取了哪些目錄
統計蜘蛛對網站目錄的抓取情況，網站各層級目錄是否抓取正常，一些需要重點推廣的目錄是否有抓取，如果沒有抓取的話則需要對網站內鏈進行調整或者增加外鏈，提升欄目權重，引導蜘蛛抓取。另外，蜘蛛可能會抓取一些無意義的目錄，比如我們不希望搜索引擎了解的信息，這時候就可以把這些目錄屏蔽掉。

3、抓取了哪些頁面

統計蜘蛛對網站頁面的抓取情況，通過一段時間的觀察你會發現蜘蛛經常抓取的一些頁面，分析蜘蛛為什麼喜歡這些頁面，這些頁面跟其它頁面相比有什麼不同，有沒有其它頁面可以借鑒的地方。此外，還可以通過分析頁面抓取情況，了解到網站的一些問題，比如重復頁面問題、url規范化問題等等。
4、蜘蛛訪問次數、停留時間、抓取量

蜘蛛頻繁訪問網站，說明喜歡網站，經常來看看網站內容是否有更新，對網站來說是一件好事。如果十天半個月才來一次，那網站內容可能得更新勤快點了，另外還要多增加一些外鏈，引導蜘蛛訪問網站。停留時間長短可以反映蜘蛛對網站的喜歡程度，需要注意的一點是，如果停留時間長，但是抓取量低的就有問題了，可能是蜘蛛對網站內容抓取困難，或者網站內容質量偏低導致的。這三個指標要綜合起來看，才會得到比較有價值的信息。

二、http狀態碼
主要關注的有404、500、302之類的。404就不用說了，最好定期整理死鏈接，並提交到站長平台。如果經常出現500，可能是伺服器的問題，比如內容太多，伺服器無法滿足需求，超負荷運轉了，就會出現超時、無法訪問的情況。302是暫時重定向，這個要具體看下是什麼問題，搜索引擎比較喜歡301，如果可以的話就做成301的。
三、網站安全情況

通過日誌分析，還可以及時了解到網站是否安全。分析日誌的時候如果發現一些不存在的目錄，或者一些奇怪的頁面，就要仔細去分析一下，很可能就是有問題的。

2、如何進行網站日誌分析

1.什麼是網站日誌?
2.在什麼情況下需要做網站日誌分析?

什麼是網站日誌?
網站日誌，准確來說是伺服器日誌。通過伺服器日誌，我們可以了解到用戶在什麼IP、在什麼解析度的設備、什麼時間、什麼地區訪問了我們的網站，以及當時訪問的頁面是否正常。
對於我們網站而言，搜索引擎也是網站用戶之一。本文提到的網站日誌分析，更多是在分析搜索引擎這種用戶。

在什麼情況下需要做網站日誌分析?
1、老站點(建站1年且正常運營的網站)：Seo流量出現異常波動。
2、剛建立不久的站點(建站6個月以下的網站)：定期分析。
了解以上兩種情況後，我們如何進行網站日誌分析?

針對老站點網站日誌分析
作為一個Seoer是需要定期做數據分析。了解網站Seo流量的波動情況。當網站Seo流量波動在10%及以上就需要進一步深入分析。
分2種情況：
了解外界： 了解外界的前提在於平時你得有一定的人脈基礎，如果沒有也沒關系。泡2個地方——去搜索引擎站長平台或者加入搜索引擎站長群。比如，像百度搜索引擎，它擁有站長平台，也會相應建立站長QQ群。
有人脈基礎上，可以直接了解外界的情況——是否也出現類似幅度的波動?這個的前提要結合你短期做過的SEO操作一並考慮，避免誤判。
無人脈的情況，泡群、泡站長平台。通常如果是搜索引擎演算法升級，會在群里或者站長平台有相關的小道信息出現。
如果是搜索引擎自身演算法升級導致的流量波動，那麼就得根據新演算法做相應的站內優化。
比如，百度冰桶3.0版本提出：將嚴厲打擊在百度移動搜索中，打斷用戶完整搜索路徑的調起行為。
如果站點有存在以上的情況就需要針對性的做優化：無論是通過對接的APPLINK調起，還是網頁自主調起的應用，以及普通的網頁，都應是可返回，可關閉的。用戶校驗搜索結果的准確性，不需要額外下載APP或者許可權。
分析內在： 在分析內在之前，再次拋出這個公式：
Seo流量=抓取量*收錄率(准確來說應該是索引率)*首頁率*點擊率 。當抓取頻次、抓取時間出現異常必然引起抓取量的減少。
因此，排除了外界的因素，就需要對網站的日誌進行分析。如果你的站點是中文站點，且是百度站長平台的VIP用戶。那麼，你就可以先藉助百度站長平台的「抓取頻次」工具，先了解搜索引擎近期的抓取頻次、抓取時間、異常頁面。通常藉助這個工具，我們可以對搜索引擎近期抓取情況有初步了解，並且可以藉助這個工具，相應的找到一些解決辦法。
在此先解釋2個概念，方便理解：
1.抓取頻次： 抓取頻次是搜索引擎在單位時間內(天級)對網站伺服器抓取的總次數，如果搜索引擎對站點的抓取頻次過高，很有可能造成伺服器不穩定，Baispider會根據網站內容更新頻率和伺服器壓力等因素自動調整抓取頻次。
2.抓取時間： 指的是搜索引擎每次抓取耗時。
影響抓取頻次的可能原因
1.抓取頻次上限誤調，調低了，則會直接影響到抓取量減少，抓取量減少則索引量少，流量相應減少。
2. 運營層面：存在大量重復頁面(情況一：自身網站存在大量重復的內容。情況二：自身網站內容採集了大量互聯網已存在的內容)。從搜索引擎的目標出發——搜索引擎希望抓取到更多更好的頁面，而你的網站產出的卻是網上泛濫的內容，何必浪費資源在你的網站上?另外，網站內容太久不更新。建議，通過有規律定期產出優質內容來解決此問題。
抓取時間變長，也會導致網站抓取量減少。通常存在的可能情況是，伺服器速度變慢導致抓取時間變長。還有一種可能是與網站自身結構有關系。層級太深導致
小結一下老站如何做網站日誌分析(針對中文站點)：
外界排除：了解搜索引擎最新演算法是否發生變動、同行是否也有類似變化。
內在分析：
1.使用工具：百度站長平台。(非VIP賬戶看後文介紹)
2.分析方法：主要使用抓取頻次分析工具進行分析，網站抓取頻次、抓取時間、異常頁面情況等數據變化。並與相關部門進行對接解決。

針對新站點如何做網站日誌分析
對新站點做網站日誌分析，主要目的在於如何促進新站點被索引並獲得一定的排名。通常新站建立之初都會進入沙盒期(沙盒是指一個新站建立後搜索引擎會對其進行一個類似資格評價的階段，我們將這個階段稱為沙盒，在沙盒裡面的這段時間，我們將其稱為沙盒期，沙盒期一般都是2-6個月。)進入沙盒期並不意味著站點不會被抓取，由於新站點建立之初，權重較低，內容量較少，因此抓取量等相應的也不會太多。
前期，我們分析新站點網站日誌，主要是分析站點是否有被爬蟲抓取過?如果沒有的情況下，一來是要讓站點持續更新優質的內容，二來，在站點建設較為完善的情況下，需要主動向搜索引擎提交鏈接，讓爬蟲發現你的站點。除此之外，還可以通過正確渠道交換一些優質的友情鏈接，吸引爬蟲來抓取。
通常新站點建立之初較難獲得百度站長平台VIP賬號，那麼分析網站日誌，我們可以通過下載光年日誌分析工具進行分析。
步驟
1、下載網站日誌(如果是企業站點，可以直接讓運維部門的童鞋幫忙下載，如果是個人站長，直接在你所購買的虛擬主機後台進行下載，文件以.log為結尾的便是)
2、打開光年日誌分析工具，上傳網站日誌。

3、日誌分析有什麼用，做SEO優化為什麼要分析網站日誌

通過分析網站日誌可以清楚的知道搜索引擎對網站的抓取情況，和網站的一些問題，然後進行解決，可以幫助網站更好的排名，搜外問答交流下網站seo優化

4、光年SEO日誌分析怎麼使用

菜單欄-文件-填寫任務名-下一步-添加要分析的日誌文件-選擇報告存放目錄-選擇是-就可以看到分析報告了

5、如何做網站日誌分析？

一、什麼是網站日誌
1.網站日誌是記錄web伺服器接收處理請求以及運行時錯誤等各種原始信息的以·log結尾的文件。

2.通過網站日誌可以清楚的得知用戶在什麼IP、什麼時間、用什麼操作系統、什麼瀏覽器、什麼解析度設備下訪問了網站的哪個頁面，是否訪問成功。

3.搜索引擎也屬於網站中的一類用戶，我們今天的分享課，主要是針對搜索引擎這種用戶在伺服器留下的記錄展開分析。
為了方便讀懂搜索引擎日誌，我們需要了解不同搜索引擎蜘蛛的標識，以下為4種搜索引擎的標識——*百度蜘蛛：Baispider*搜狗：Sogou News Spider*360：360Spider*谷歌：Googlebot

二、如何看懂網站日誌
（以下為一段日誌記錄）www.cafehome.com
58.180.251.134 - - [25/Mar/2015:13:24:33 +0800] "GET /m53256.html
HTTP/1.1" 200 12264 "http://www.cafehome.com/index-1s2i2p2" "Mozilla/5.0
(Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/35.0.1916.153 Safari/537.36 SE 2.X MetaSr 1.0" "-" "-" "-"
以下為欄位解讀：

通常日誌文件較大的情況下，需要藉助shell與python結合起來，做數據提取與分析。所以讀懂網站日誌中的欄位就有利於日常的分析。這個在此不贅述，有興趣的童鞋 可以繼續深入了解。
大型網站通常可以用以上的方法來進行做日誌分析。
普通的個人站點，或者企業網站，則可以通過 光年日誌分析工具結合百度站長平台一起使用。

三、為什麼要做網站日誌分析
 先來了解SEO流量的獲取流程：抓取－－>索引－－－>排名－－－>點擊－－－>流量
因此，要獲得SEO流量的前提務必是，有價值的頁面被搜索引擎抓取到。
所以，對於SEO運營而言，分析搜索引擎網站日誌就顯得非常有必要：*分析抓取有無：解決一定的索引問題。*發現異常：及時規避。如存在大量異常頁面，404等*抓取調控：讓更多優質的內容被抓取，過濾無效抓取。
網站分析的最終目標：讓更多有價值的頁面被抓取，將有機會獲得索引，從而有機會獲得SEO流量。

四、怎麼做網站日誌分析
*定期監控搜索引擎抓取量變化，歷史數據的橫向縱向對比才能發現異常情況。*藉助第三方站長平台，如百度站長平台，了解搜索引擎抓取頻次變化。*藉助光年日誌分析工具，定期做數據記錄，了解重要欄目、重要頁面的抓取量變化。
舉個栗子：
老站點（建站1年且有人維護的網站）：Seo流量出現異常波動。
分2種情況：
了解外界：了解外界的前提在於平時你得有一定的人脈基礎，如果沒有也沒關系。泡2個地方——去搜索引擎站長平台或者加入搜索引擎站長群。比如，像百度搜索引擎，它擁有站長平台，也會相應建立站長QQ群。有人脈基礎上，可以直接了解外界的情況——是否也出現類似幅度的波動？這個的前提要結合你短期做過的SEO操作一並考慮，避免誤判。無人脈的情況，泡群、泡站長平台。通常如果是搜索引擎演算法升級，會在群里或者站長平台有相關的小道信息出現。如果是搜索引擎自身演算法升級導致的流量波動，那麼就得根據新演算法做相應的站內優化。比如，百度冰桶3.0版本提出：將嚴厲打擊在百度移動搜索中，打斷用戶完整搜索路徑的調起行為。如果站點有存在以上的情況就需要針對性的做優化：無論是通過對接的APPLINK調起，還是網頁自主調起的應用，以及普通的網頁，都應是可返回，可關閉的。用戶校驗搜索結果的准確性，不需要額外下載APP或者許可權。
分析內在：
在分析內在之前，再次拋出這個公式：Seo流量=抓取量*收錄率（准確來說應該是索引率）*首頁率*點擊率

。當抓取頻次出現異常必然引起抓取量的減少。因此，排除了外界的因素，就需要對網站的日誌進行分析。如果你的站點是中文站點，且是百度站長平台的VIP用戶。那麼，你就可以先藉助第三方站長平台的「抓取頻次」工具（如，百度），先了解搜索引擎近期的抓取頻次、抓取時間、異常頁面。通常藉助這個工具，我們可以對搜索引擎近期抓取情況有初步了解，並且可以藉助這個工具，相應的找到一些解決辦法。
在此先解釋這個概念，方便理解：

1.抓取頻次：抓取頻次是搜索引擎在單位時間內（天級）對網站伺服器抓取的總次數，如果搜索引擎對站點的抓取頻次過高，很有可能造成伺服器不穩定，蜘蛛會根據網站內容更新頻率和伺服器壓力等因素自動調整抓取頻次。

2.抓取時間：指的是搜索引擎每次抓取耗時。而影響抓取頻次的可能原因有：

（1）抓取頻次上限誤調，調低了，則會直接影響到抓取量減少，抓取量減少則索引量少，流量相應減少。
（2）運營層面：存在大量重復頁面（情況一：自身網站存在大量重復的內容。情況二：自身網站內容採集了大量互聯網已存在的內容）。從搜索引擎的目標出發——搜索引擎希望抓取到更多更好的頁面，而你的網站產出的卻是網上泛濫的內容，何必浪費資源在你的網站上？另外，網站內容太久不更新。建議，通過有規律定期產出優質內容來解決此問題。抓取時間變長，也會導致網站抓取量減少。通常存在的可能情況是，伺服器速度變慢導致抓取時間變長。還有一種可能是與網站自身結構有關系。層級太深導致。
小結一下：
老站如何做網站日誌分析（針對中文站點）：外界排除：
了解搜索引擎最新演算法是否發生變動、同行是否也有類似變化。

內在分析：
（1）使用工具：百度站長平台（非VIP賬戶看後文介紹）
（2）分析方法：主要使用抓取頻次分析工具進行分析，網站抓取頻次、抓取時間、異常頁面情況等數據變化。並與相關部門進行對接解決。

五、用光年日誌分析工具
非百度VIP：
步驟：
1.下載網站日誌（如果是企業站點，可以直接讓運維部門的童鞋幫忙下載，如果是個人站長，直接在你所購買的虛擬主機後台進行下載，文件以.log為結尾的便是）
2.打開光年日誌分析工具，上傳網站日誌。
3.查看分析結果。主要維度有這幾個：
（1）概況分析：各種爬蟲的總抓取量、總停留時間、總訪問次數。

（2）目錄分析：各種爬蟲抓取各目錄的情況分析。通過這個可以了解到搜索引擎對一些重要欄目的抓取情況，又抓取了哪些無效的頁面。

（3）頁面分析：通過頁面分析可以了解到經常被重復抓取的頁面有哪些，可以相應的做優化調整。比如，像網站的一些注冊頁面及登錄頁面，經常會發現多次被抓取，發現這種情況，我們通常會將登錄/注冊頁面進行屏蔽處理。

（4）狀態碼分析主要分為2種，爬蟲狀態碼以及用戶狀態碼。主要反應用戶/爬蟲訪問頁面時的頁面狀態。通過頁面狀態碼，我們可以了解到頁面狀態，做相應調整，如，當網站存在大量404頁面。那就需要進一步排查，比如，有些團購頁面，團購過期後，頁面就直接變成404了，但並未向百度站長平台提交死鏈清單，則容易造成無效抓取。

6、如何查看網站seo日誌？

搜外網告訴你怎麼查看網站日誌文件的位置主要有以下幾個步驟：
1.使用遠程鏈接方式進入伺服器
2.找到IIS管理器
3.打開IIS管理器
4.點擊本地計算機下的網站按鈕
5.找到要查看網站日誌的網站
6.右鍵點擊要查看的網站，然後再點屬性按鈕
7.進入網站屬性面板，再選擇頭部的網站按鈕
8.網站面板下面有個「活動日誌格式」這快，我們再點擊下「屬性」按鈕
9.好了，在屬性面板下面的「日誌文件目錄」，我們就可以看到網站的日誌文件在什麼地方了。

7、什麼是網站日誌分析需要分析哪些內容？

網站日誌是記錄web伺服器接收處理請求以及運行時錯誤等各種原始信息的以·log結尾的文件，確切的講，應該是伺服器日誌。網站日誌最大的意義是記錄網站運營中比如空間的運營情況，被訪問請求的記錄。

怎麼分析網站日誌？

登錄「FTP」賬號，鏈接到網站數據，找到網站日誌文件夾。（注意：一般情況下，網站日誌所在文件夾都是與網站文件同級文件夾，且帶有log字樣。只有少數情況下，網站日誌文件夾在網站根目錄下。）

打開文件夾，下載日誌壓縮文件！（下載方法很簡單，只要選中文件直接拖到電腦桌面，然後左下方的本地瀏覽下載目錄的文件上「右鍵—傳輸隊列」即可！）

解壓下載的日誌文件，而後將解壓後文件的後綴改為「txt」

新建一個excel表格，並打開！找到頂端工具欄的「數據」工具

點擊「導入數據」，默認「直接打開數據文件」，再選擇「選擇數據源」。

選中解壓後的txt文檔，並打開！

默認「其他編碼「

選擇「分隔符號」，並「下一步」；

勾選所有選項，然後「下一步」；

默認「常規」，並「完成」；

如圖，網站日誌哥數據項之間全部分隔開來；

接下來只要保留自己需要的數據項即可。刪除不需要的數據項！（如圖，僅保留了數據分析需要的訪客ip、訪問文件、訪問狀態碼以及訪客名稱四項數據。）

選中訪客名稱一整列，然後點擊「開始」欄目的「篩選」工具

點擊訪客名稱一列上方的三角下拉按鈕；

取消「全選」，找到百度蜘蛛的訪客名稱，選中並「確定」；

我們就可以得到日誌當天百度蜘蛛訪問網站的所有數據。

最後，該數據保存到網站每日分析日誌中。（注意：每日更新原創內容的網站一般在分析日誌的時候還需要保留時間數據。）

8、SEO優化如何進行網站日誌分析

網站日誌中數據量過大，所以我們一般需要藉助網站日誌分析工具來查看。常用的日誌分析工具有：光年日誌分析工具、web log exploer 、WPS表格等

117.26.203.167 - - [02/May/2011:01:57:44 -0700] "GET/index.php HTTP/1.1" 500 19967 "-" "Mozilla/4.0 (compatible; MSIE8.0;Windows NT 5.1; Trident/4.0; AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar)"

分析：

117.26.203.167：來訪ip

02/May/2011:01:57:44 -0700 訪問日期 -時區

GET/index.php HTTP/1.1 根據HTTP/1.1 協議 抓取（域名下）/index.php 這個頁面（GET表示伺服器動作）

500：伺服器響應狀態碼

伺服器響應狀態碼通常狀態碼有以下幾種：200,301,302,304,404,500等。200代表用戶成功的獲取到了所請求的文件，如果是搜索引擎，則證 明蜘蛛在這次爬行中順利的發現了一些新的內容。而301則代表用戶所訪問的某個頁面url已經做了301重定向(永久性)處理，302則是暫時性重 定向。404則代表所訪問的頁面已經不存在了，或者說訪問的url根本就是個錯誤的。500則是伺服器的錯誤。

19967：表示抓取了19967個位元組

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0;
AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa
Toolbar表示訪問者使用火狐瀏覽器及Alexa Toolbar 等訪問端信息

如果你的日誌里格式不是如此，則代表日誌格式設置不同。

很多日誌里可以看到 200 0 0和200 0 64 則都代表正常抓取。

抓取頻率是通過查看每日的日誌里百度蜘蛛抓取次數來獲知，抓取頻率並沒有一個規范的時間表或頻率數字，我們一般通過多日的日誌對比來判斷,當然，我們希望百度蜘蛛每日抓取的次數越多越好，這里分享下如何分辨百度蜘蛛《如何分辨真假百度搜索引擎蜘蛛IP》。

有時候我們的路徑不統一出現帶斜杠和不帶斜杠的問題，蜘蛛會自動識別為301跳轉到帶斜杠的頁面，這里我們就發現了搜索引擎是可以判斷我們的目錄的，所以我們要對我們的目錄進行統一。

我們分析日誌分析時間長了，我們能夠看出蜘蛛的抓取規律，同一目錄下面的單個文件的抓取頻率間隔和不同目錄的抓取頻率間隔都可以看出來，這些抓取頻率間隔時間是蜘蛛根據網站權重和網站更新頻率來自動確定的。

蜘蛛對於我們的頁面的抓取是分等級的，是根據權重依次遞減的，一般順序為首頁、目錄頁、內頁

9、seo日誌分析工具有哪些推薦

光年日誌分析工具（網站日誌分析軟體），可分析iis和apache等日誌。做站必備工具，這個對於大文件日子很給力。這是第一個專門為SEO設計的日誌分析軟體。以前的很多日誌分析軟體，都是順帶分析一下SEO方面的數據，而這個軟體裡面分析的每一個指標都是為SEO設計的。而且很多的分析維度，都是其他日誌分析軟體沒有的。這能讓你看到很多非常有用、但是以前獲取不了的數據。它能分析無限大的日誌，而且速度很快。

10、如何查看和分析網站日誌

工具/原料
網站伺服器、運行中網站
網站日誌分析工具、FTP工具
網站日誌查看流程
登錄虛擬主機的管理系統（本經驗以萬網為例），輸入主機的賬號以及密碼，登陸。操作如下圖所示：

登錄系統後台，找到"網站文件管理"中的"weblog日誌下載",並點擊。操作如下圖所示：

點擊"weblog日誌下載"，可以看到很多以"ex"+時間命名的壓縮文件可以下載。選擇所需要下載的網站日誌，點擊下載。操作如下圖所示：

登錄FTP工具，在根目錄下找到"wwwlogs"文件，下載所需的壓縮文件。注意：不同程序，日誌存放目錄不一樣。操作如下圖所示：

網上有很多日誌分析軟體，本經驗以"光年seo日誌分析系統"這款軟體為例子,點擊"新建分析任務"。操作如下圖所示：

在"任務導向"中，按照實際要求改任務名以及日誌類別。一般情況下可以不用修改。點擊系下一步，操作如下圖所示：

接著上一步，在"任務導向"中添加所需要分析的網站日誌（也就是本經驗第三步下載的文件），添加文件可以是一個或者多個。點擊系下一步，操作如下圖所示：

接著上一步，在"任務導向"中選擇報告保存目錄。點擊系下一步，操作如下圖所示：

完成之後，軟體會生成一件文件夾，包含一個"報告"網頁以及"files"文件，點擊"報告"網頁就可以查看網站日誌數據了。