XML地图 深圳SEO培训为广大SEO爱好者提供免费SEO教程,致力于SEO优化、SEO服务
首页 > SEO优化 » ROBOTS禁止收录写法、详细说明

ROBOTS禁止收录写法、详细说明

2018-04-13 | 人围观 | 关键词:ROBOTS

  搜索网站显示robots文件限制,然后一段时间网站搜索不到了!

  之前百度首页显示由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述,后来再就搜不到网站了,我的网站去哪儿了啊?求大神帮助!!!辛辛苦苦几个月就这么白费了么?我不甘心,一个外行的业余从业者,跪谢!

  夜里听风雨:应该是你把蜘蛛给禁了,不让它抓取你网站的内容,我之前程序就给我上错了,完全不知,直到出现你那种情况才发现。

  华尔兹 · 十二年老司机:是因为之前Robots.txt屏蔽了蜘蛛,现在robots.txt解除蜘蛛限制而排名没有了?你需要增加外链优化!

  天空:我i之前遇到跟你一样的问题,重新提交Robots文件, 就最简单的那种,然后提交百度。

  对于新手朋友来说,不太清楚robots该如何书写不会错,robots对网站内的优化又是非常重要的,今天老朱来为大家简单讲解下robots的正确写法。(以下内容本着实用易懂的目的出发描述)

  这里蔡江先把几种常用的写出来,后面再讲每一句的含义:

  禁止所有搜索引擎抓取:

  User-agent: *

  Disallow: /

  禁止百度蜘蛛抓取:

  User-agent: baiduspider

  Disallow: /

  允许百度抓取,禁止谷歌抓取:

  User-agent: *

  Allow: /

  User-agent: baiduspider

  Allow: /

  User-agent: Googlebot

  Disallow: /

  聪明的朋友可能已经看出来了改如何写robots了。没看明白的不着急,请看下文

  robots是一行或多行User-agent开始,后面跟上多个Disallow和Allow行,参照上面案例

  User-agent: 后面跟搜索引擎机器人的名字

  Disallow: (不可以被抓取)

  Allow: (可以被抓取)

  注:robots所有属性后面都要加 一个空格。例如:Allow: xxx,冒号的后面一定要有一个空格(半角下的空格)

  下面重点说下百度蜘蛛的通配符:

  Baiduspider支持使用通配符"*"和"$"来模糊匹配url。

  "$" 匹配行结束符。

  "*" 匹配0或多个任意字符。

  附上我的站点的robots,我用的织梦:

  User-agent: *

  Disallow: /plus/ad_js.php

  Disallow: /plus/advancedsearch.php

  Disallow: /plus/car.php

  Disallow: /plus/carbuyaction.php

  Disallow: /plus/shops_buyaction.php

  Disallow: /plus/erraddsave.php

  Disallow: /plus/posttocar.php

  Disallow: /plus/disdls.php

  Disallow: /plus/feedback_js.php

  Disallow: /plus/mytag_js.php

  Disallow: /plus/rss.php

  Disallow: /plus/search.php

  Disallow: /plus/recommend.php

  Disallow: /plus/stow.php

  Disallow: /plus/count.php

  Disallow: /include

  Disallow: /templets

  Disallow: /index.php

  Disallow: /member

  Disallow: /plus/vote

  
 

robots
 

 

  注:写robots要严格按照规则来写,不然写出来的是无效的。写好之后可以到百度站长平台robots更新一下,检查robots是否书写正确。另外robots中还可以加入网站地图sitemap,有些人认为这不安全,写到里面容易被人轻松获得了网站的链接。我认为真正有人想采集网站的文章,不是知道网站地图与否能够阻挡的了的。所以robots中大可以申明网站地图的链接。

相关内容推荐:

Top