seo日志分析

1、关于seo日志分析需要关注的几个点

一、蜘蛛抓取情况
1、都有哪些蜘蛛来访问
看一下主流的蜘蛛是否有访问网站，如果没有的话，可能是被网站屏蔽了，可以检查下网站的robots文件设置，如果不会写，可以参考搜外的robots.txt文件，很标准。
2、抓取了哪些目录
统计蜘蛛对网站目录的抓取情况，网站各层级目录是否抓取正常，一些需要重点推广的目录是否有抓取，如果没有抓取的话则需要对网站内链进行调整或者增加外链，提升栏目权重，引导蜘蛛抓取。另外，蜘蛛可能会抓取一些无意义的目录，比如我们不希望搜索引擎了解的信息，这时候就可以把这些目录屏蔽掉。

3、抓取了哪些页面

统计蜘蛛对网站页面的抓取情况，通过一段时间的观察你会发现蜘蛛经常抓取的一些页面，分析蜘蛛为什么喜欢这些页面，这些页面跟其它页面相比有什么不同，有没有其它页面可以借鉴的地方。此外，还可以通过分析页面抓取情况，了解到网站的一些问题，比如重复页面问题、url规范化问题等等。
4、蜘蛛访问次数、停留时间、抓取量

蜘蛛频繁访问网站，说明喜欢网站，经常来看看网站内容是否有更新，对网站来说是一件好事。如果十天半个月才来一次，那网站内容可能得更新勤快点了，另外还要多增加一些外链，引导蜘蛛访问网站。停留时间长短可以反映蜘蛛对网站的喜欢程度，需要注意的一点是，如果停留时间长，但是抓取量低的就有问题了，可能是蜘蛛对网站内容抓取困难，或者网站内容质量偏低导致的。这三个指标要综合起来看，才会得到比较有价值的信息。

二、http状态码
主要关注的有404、500、302之类的。404就不用说了，最好定期整理死链接，并提交到站长平台。如果经常出现500，可能是服务器的问题，比如内容太多，服务器无法满足需求，超负荷运转了，就会出现超时、无法访问的情况。302是暂时重定向，这个要具体看下是什么问题，搜索引擎比较喜欢301，如果可以的话就做成301的。
三、网站安全情况

通过日志分析，还可以及时了解到网站是否安全。分析日志的时候如果发现一些不存在的目录，或者一些奇怪的页面，就要仔细去分析一下，很可能就是有问题的。

2、如何进行网站日志分析

1.什么是网站日志?
2.在什么情况下需要做网站日志分析?

什么是网站日志?
网站日志，准确来说是服务器日志。通过服务器日志，我们可以了解到用户在什么IP、在什么分辨率的设备、什么时间、什么地区访问了我们的网站，以及当时访问的页面是否正常。
对于我们网站而言，搜索引擎也是网站用户之一。本文提到的网站日志分析，更多是在分析搜索引擎这种用户。

在什么情况下需要做网站日志分析?
1、老站点(建站1年且正常运营的网站)：Seo流量出现异常波动。
2、刚建立不久的站点(建站6个月以下的网站)：定期分析。
了解以上两种情况后，我们如何进行网站日志分析?

针对老站点网站日志分析
作为一个Seoer是需要定期做数据分析。了解网站Seo流量的波动情况。当网站Seo流量波动在10%及以上就需要进一步深入分析。
分2种情况：
了解外界： 了解外界的前提在于平时你得有一定的人脉基础，如果没有也没关系。泡2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。比如，像百度搜索引擎，它拥有站长平台，也会相应建立站长QQ群。
有人脉基础上，可以直接了解外界的情况——是否也出现类似幅度的波动?这个的前提要结合你短期做过的SEO操作一并考虑，避免误判。
无人脉的情况，泡群、泡站长平台。通常如果是搜索引擎算法升级，会在群里或者站长平台有相关的小道信息出现。
如果是搜索引擎自身算法升级导致的流量波动，那么就得根据新算法做相应的站内优化。
比如，百度冰桶3.0版本提出：将严厉打击在百度移动搜索中，打断用户完整搜索路径的调起行为。
如果站点有存在以上的情况就需要针对性的做优化：无论是通过对接的APPLINK调起，还是网页自主调起的应用，以及普通的网页，都应是可返回，可关闭的。用户校验搜索结果的准确性，不需要额外下载APP或者权限。
分析内在： 在分析内在之前，再次抛出这个公式：
Seo流量=抓取量*收录率(准确来说应该是索引率)*首页率*点击率 。当抓取频次、抓取时间出现异常必然引起抓取量的减少。
因此，排除了外界的因素，就需要对网站的日志进行分析。如果你的站点是中文站点，且是百度站长平台的VIP用户。那么，你就可以先借助百度站长平台的“抓取频次”工具，先了解搜索引擎近期的抓取频次、抓取时间、异常页面。通常借助这个工具，我们可以对搜索引擎近期抓取情况有初步了解，并且可以借助这个工具，相应的找到一些解决办法。
在此先解释2个概念，方便理解：
1.抓取频次： 抓取频次是搜索引擎在单位时间内(天级)对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，Baispider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。
2.抓取时间： 指的是搜索引擎每次抓取耗时。
影响抓取频次的可能原因
1.抓取频次上限误调，调低了，则会直接影响到抓取量减少，抓取量减少则索引量少，流量相应减少。
2. 运营层面：存在大量重复页面(情况一：自身网站存在大量重复的内容。情况二：自身网站内容采集了大量互联网已存在的内容)。从搜索引擎的目标出发——搜索引擎希望抓取到更多更好的页面，而你的网站产出的却是网上泛滥的内容，何必浪费资源在你的网站上?另外，网站内容太久不更新。建议，通过有规律定期产出优质内容来解决此问题。
抓取时间变长，也会导致网站抓取量减少。通常存在的可能情况是，服务器速度变慢导致抓取时间变长。还有一种可能是与网站自身结构有关系。层级太深导致
小结一下老站如何做网站日志分析(针对中文站点)：
外界排除：了解搜索引擎最新算法是否发生变动、同行是否也有类似变化。
内在分析：
1.使用工具：百度站长平台。(非VIP账户看后文介绍)
2.分析方法：主要使用抓取频次分析工具进行分析，网站抓取频次、抓取时间、异常页面情况等数据变化。并与相关部门进行对接解决。

针对新站点如何做网站日志分析
对新站点做网站日志分析，主要目的在于如何促进新站点被索引并获得一定的排名。通常新站建立之初都会进入沙盒期(沙盒是指一个新站建立后搜索引擎会对其进行一个类似资格评价的阶段，我们将这个阶段称为沙盒，在沙盒里面的这段时间，我们将其称为沙盒期，沙盒期一般都是2-6个月。)进入沙盒期并不意味着站点不会被抓取，由于新站点建立之初，权重较低，内容量较少，因此抓取量等相应的也不会太多。
前期，我们分析新站点网站日志，主要是分析站点是否有被爬虫抓取过?如果没有的情况下，一来是要让站点持续更新优质的内容，二来，在站点建设较为完善的情况下，需要主动向搜索引擎提交链接，让爬虫发现你的站点。除此之外，还可以通过正确渠道交换一些优质的友情链接，吸引爬虫来抓取。
通常新站点建立之初较难获得百度站长平台VIP账号，那么分析网站日志，我们可以通过下载光年日志分析工具进行分析。
步骤
1、下载网站日志(如果是企业站点，可以直接让运维部门的童鞋帮忙下载，如果是个人站长，直接在你所购买的虚拟主机后台进行下载，文件以.log为结尾的便是)
2、打开光年日志分析工具，上传网站日志。

3、日志分析有什么用，做SEO优化为什么要分析网站日志

通过分析网站日志可以清楚的知道搜索引擎对网站的抓取情况，和网站的一些问题，然后进行解决，可以帮助网站更好的排名，搜外问答交流下网站seo优化

4、光年SEO日志分析怎么使用

菜单栏-文件-填写任务名-下一步-添加要分析的日志文件-选择报告存放目录-选择是-就可以看到分析报告了

5、如何做网站日志分析？

一、什么是网站日志
1.网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件。

2.通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率设备下访问了网站的哪个页面，是否访问成功。

3.搜索引擎也属于网站中的一类用户，我们今天的分享课，主要是针对搜索引擎这种用户在服务器留下的记录展开分析。
为了方便读懂搜索引擎日志，我们需要了解不同搜索引擎蜘蛛的标识，以下为4种搜索引擎的标识——*百度蜘蛛：Baispider*搜狗：Sogou News Spider*360：360Spider*谷歌：Googlebot

二、如何看懂网站日志
（以下为一段日志记录）www.cafehome.com
58.180.251.134 - - [25/Mar/2015:13:24:33 +0800] "GET /m53256.html
HTTP/1.1" 200 12264 "http://www.cafehome.com/index-1s2i2p2" "Mozilla/5.0
(Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/35.0.1916.153 Safari/537.36 SE 2.X MetaSr 1.0" "-" "-" "-"
以下为字段解读：

通常日志文件较大的情况下，需要借助shell与python结合起来，做数据提取与分析。所以读懂网站日志中的字段就有利于日常的分析。这个在此不赘述，有兴趣的童鞋 可以继续深入了解。
大型网站通常可以用以上的方法来进行做日志分析。
普通的个人站点，或者企业网站，则可以通过 光年日志分析工具结合百度站长平台一起使用。

三、为什么要做网站日志分析
 先来了解SEO流量的获取流程：抓取－－>索引－－－>排名－－－>点击－－－>流量
因此，要获得SEO流量的前提务必是，有价值的页面被搜索引擎抓取到。
所以，对于SEO运营而言，分析搜索引擎网站日志就显得非常有必要：*分析抓取有无：解决一定的索引问题。*发现异常：及时规避。如存在大量异常页面，404等*抓取调控：让更多优质的内容被抓取，过滤无效抓取。
网站分析的最终目标：让更多有价值的页面被抓取，将有机会获得索引，从而有机会获得SEO流量。

四、怎么做网站日志分析
*定期监控搜索引擎抓取量变化，历史数据的横向纵向对比才能发现异常情况。*借助第三方站长平台，如百度站长平台，了解搜索引擎抓取频次变化。*借助光年日志分析工具，定期做数据记录，了解重要栏目、重要页面的抓取量变化。
举个栗子：
老站点（建站1年且有人维护的网站）：Seo流量出现异常波动。
分2种情况：
了解外界：了解外界的前提在于平时你得有一定的人脉基础，如果没有也没关系。泡2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。比如，像百度搜索引擎，它拥有站长平台，也会相应建立站长QQ群。有人脉基础上，可以直接了解外界的情况——是否也出现类似幅度的波动？这个的前提要结合你短期做过的SEO操作一并考虑，避免误判。无人脉的情况，泡群、泡站长平台。通常如果是搜索引擎算法升级，会在群里或者站长平台有相关的小道信息出现。如果是搜索引擎自身算法升级导致的流量波动，那么就得根据新算法做相应的站内优化。比如，百度冰桶3.0版本提出：将严厉打击在百度移动搜索中，打断用户完整搜索路径的调起行为。如果站点有存在以上的情况就需要针对性的做优化：无论是通过对接的APPLINK调起，还是网页自主调起的应用，以及普通的网页，都应是可返回，可关闭的。用户校验搜索结果的准确性，不需要额外下载APP或者权限。
分析内在：
在分析内在之前，再次抛出这个公式：Seo流量=抓取量*收录率（准确来说应该是索引率）*首页率*点击率

。当抓取频次出现异常必然引起抓取量的减少。因此，排除了外界的因素，就需要对网站的日志进行分析。如果你的站点是中文站点，且是百度站长平台的VIP用户。那么，你就可以先借助第三方站长平台的“抓取频次”工具（如，百度），先了解搜索引擎近期的抓取频次、抓取时间、异常页面。通常借助这个工具，我们可以对搜索引擎近期抓取情况有初步了解，并且可以借助这个工具，相应的找到一些解决办法。
在此先解释这个概念，方便理解：

1.抓取频次：抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，蜘蛛会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。

2.抓取时间：指的是搜索引擎每次抓取耗时。而影响抓取频次的可能原因有：

（1）抓取频次上限误调，调低了，则会直接影响到抓取量减少，抓取量减少则索引量少，流量相应减少。
（2）运营层面：存在大量重复页面（情况一：自身网站存在大量重复的内容。情况二：自身网站内容采集了大量互联网已存在的内容）。从搜索引擎的目标出发——搜索引擎希望抓取到更多更好的页面，而你的网站产出的却是网上泛滥的内容，何必浪费资源在你的网站上？另外，网站内容太久不更新。建议，通过有规律定期产出优质内容来解决此问题。抓取时间变长，也会导致网站抓取量减少。通常存在的可能情况是，服务器速度变慢导致抓取时间变长。还有一种可能是与网站自身结构有关系。层级太深导致。
小结一下：
老站如何做网站日志分析（针对中文站点）：外界排除：
了解搜索引擎最新算法是否发生变动、同行是否也有类似变化。

内在分析：
（1）使用工具：百度站长平台（非VIP账户看后文介绍）
（2）分析方法：主要使用抓取频次分析工具进行分析，网站抓取频次、抓取时间、异常页面情况等数据变化。并与相关部门进行对接解决。

五、用光年日志分析工具
非百度VIP：
步骤：
1.下载网站日志（如果是企业站点，可以直接让运维部门的童鞋帮忙下载，如果是个人站长，直接在你所购买的虚拟主机后台进行下载，文件以.log为结尾的便是）
2.打开光年日志分析工具，上传网站日志。
3.查看分析结果。主要维度有这几个：
（1）概况分析：各种爬虫的总抓取量、总停留时间、总访问次数。

（2）目录分析：各种爬虫抓取各目录的情况分析。通过这个可以了解到搜索引擎对一些重要栏目的抓取情况，又抓取了哪些无效的页面。

（3）页面分析：通过页面分析可以了解到经常被重复抓取的页面有哪些，可以相应的做优化调整。比如，像网站的一些注册页面及登录页面，经常会发现多次被抓取，发现这种情况，我们通常会将登录/注册页面进行屏蔽处理。

（4）状态码分析主要分为2种，爬虫状态码以及用户状态码。主要反应用户/爬虫访问页面时的页面状态。通过页面状态码，我们可以了解到页面状态，做相应调整，如，当网站存在大量404页面。那就需要进一步排查，比如，有些团购页面，团购过期后，页面就直接变成404了，但并未向百度站长平台提交死链清单，则容易造成无效抓取。

6、如何查看网站seo日志？

搜外网告诉你怎么查看网站日志文件的位置主要有以下几个步骤：
1.使用远程链接方式进入服务器
2.找到IIS管理器
3.打开IIS管理器
4.点击本地计算机下的网站按钮
5.找到要查看网站日志的网站
6.右键点击要查看的网站，然后再点属性按钮
7.进入网站属性面板，再选择头部的网站按钮
8.网站面板下面有个“活动日志格式”这快，我们再点击下“属性”按钮
9.好了，在属性面板下面的“日志文件目录”，我们就可以看到网站的日志文件在什么地方了。

7、什么是网站日志分析需要分析哪些内容？

网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件，确切的讲，应该是服务器日志。网站日志最大的意义是记录网站运营中比如空间的运营情况，被访问请求的记录。

怎么分析网站日志？

登录“FTP”账号，链接到网站数据，找到网站日志文件夹。（注意：一般情况下，网站日志所在文件夹都是与网站文件同级文件夹，且带有log字样。只有少数情况下，网站日志文件夹在网站根目录下。）

打开文件夹，下载日志压缩文件！（下载方法很简单，只要选中文件直接拖到电脑桌面，然后左下方的本地浏览下载目录的文件上“右键—传输队列”即可！）

解压下载的日志文件，而后将解压后文件的后缀改为“txt”

新建一个excel表格，并打开！找到顶端工具栏的“数据”工具

点击“导入数据”，默认“直接打开数据文件”，再选择“选择数据源”。

选中解压后的txt文档，并打开！

默认“其他编码“

选择“分隔符号”，并“下一步”；

勾选所有选项，然后“下一步”；

默认“常规”，并“完成”；

如图，网站日志哥数据项之间全部分隔开来；

接下来只要保留自己需要的数据项即可。删除不需要的数据项！（如图，仅保留了数据分析需要的访客ip、访问文件、访问状态码以及访客名称四项数据。）

选中访客名称一整列，然后点击“开始”栏目的“筛选”工具

点击访客名称一列上方的三角下拉按钮；

取消“全选”，找到百度蜘蛛的访客名称，选中并“确定”；

我们就可以得到日志当天百度蜘蛛访问网站的所有数据。

最后，该数据保存到网站每日分析日志中。（注意：每日更新原创内容的网站一般在分析日志的时候还需要保留时间数据。）

8、SEO优化如何进行网站日志分析

网站日志中数据量过大，所以我们一般需要借助网站日志分析工具来查看。常用的日志分析工具有：光年日志分析工具、web log exploer 、WPS表格等

117.26.203.167 - - [02/May/2011:01:57:44 -0700] "GET/index.php HTTP/1.1" 500 19967 "-" "Mozilla/4.0 (compatible; MSIE8.0;Windows NT 5.1; Trident/4.0; AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar)"

分析：

117.26.203.167：来访ip

02/May/2011:01:57:44 -0700 访问日期 -时区

GET/index.php HTTP/1.1 根据HTTP/1.1 协议 抓取（域名下）/index.php 这个页面（GET表示服务器动作）

500：服务器响应状态码

服务器响应状态码通常状态码有以下几种：200,301,302,304,404,500等。200代表用户成功的获取到了所请求的文件，如果是搜索引擎，则证 明蜘蛛在这次爬行中顺利的发现了一些新的内容。而301则代表用户所访问的某个页面url已经做了301重定向(永久性)处理，302则是暂时性重 定向。404则代表所访问的页面已经不存在了，或者说访问的url根本就是个错误的。500则是服务器的错误。

19967：表示抓取了19967个字节

Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0;
AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa
Toolbar表示访问者使用火狐浏览器及Alexa Toolbar 等访问端信息

如果你的日志里格式不是如此，则代表日志格式设置不同。

很多日志里可以看到 200 0 0和200 0 64 则都代表正常抓取。

抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知，抓取频率并没有一个规范的时间表或频率数字，我们一般通过多日的日志对比来判断,当然，我们希望百度蜘蛛每日抓取的次数越多越好，这里分享下如何分辨百度蜘蛛《如何分辨真假百度搜索引擎蜘蛛IP》。

有时候我们的路径不统一出现带斜杠和不带斜杠的问题，蜘蛛会自动识别为301跳转到带斜杠的页面，这里我们就发现了搜索引擎是可以判断我们的目录的，所以我们要对我们的目录进行统一。

我们分析日志分析时间长了，我们能够看出蜘蛛的抓取规律，同一目录下面的单个文件的抓取频率间隔和不同目录的抓取频率间隔都可以看出来，这些抓取频率间隔时间是蜘蛛根据网站权重和网站更新频率来自动确定的。

蜘蛛对于我们的页面的抓取是分等级的，是根据权重依次递减的，一般顺序为首页、目录页、内页

9、seo日志分析工具有哪些推荐

光年日志分析工具（网站日志分析软件），可分析iis和apache等日志。做站必备工具，这个对于大文件日子很给力。这是第一个专门为SEO设计的日志分析软件。以前的很多日志分析软件，都是顺带分析一下SEO方面的数据，而这个软件里面分析的每一个指标都是为SEO设计的。而且很多的分析维度，都是其他日志分析软件没有的。这能让你看到很多非常有用、但是以前获取不了的数据。它能分析无限大的日志，而且速度很快。

10、如何查看和分析网站日志

工具/原料
网站服务器、运行中网站
网站日志分析工具、FTP工具
网站日志查看流程
登录虚拟主机的管理系统（本经验以万网为例），输入主机的账号以及密码，登陆。操作如下图所示：

登录系统后台，找到"网站文件管理"中的"weblog日志下载",并点击。操作如下图所示：

点击"weblog日志下载"，可以看到很多以"ex"+时间命名的压缩文件可以下载。选择所需要下载的网站日志，点击下载。操作如下图所示：

登录FTP工具，在根目录下找到"wwwlogs"文件，下载所需的压缩文件。注意：不同程序，日志存放目录不一样。操作如下图所示：

网上有很多日志分析软件，本经验以"光年seo日志分析系统"这款软件为例子,点击"新建分析任务"。操作如下图所示：

在"任务导向"中，按照实际要求改任务名以及日志类别。一般情况下可以不用修改。点击系下一步，操作如下图所示：

接着上一步，在"任务导向"中添加所需要分析的网站日志（也就是本经验第三步下载的文件），添加文件可以是一个或者多个。点击系下一步，操作如下图所示：

接着上一步，在"任务导向"中选择报告保存目录。点击系下一步，操作如下图所示：

完成之后，软件会生成一件文件夹，包含一个"报告"网页以及"files"文件，点击"报告"网页就可以查看网站日志数据了。