1、二级域名想让百度禁止收录,该如何写robots协议
Disallow: /plus/ad_js.php
把后面的 /plus/ad_js.php 改成你二级域名的目录地址。
2、关于robots中,屏蔽二级域名的写法?
robots中,屏蔽二级域名的写法:
User-Agent:
*Disallow: /
robots.txt一般指robots协议,(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。robots.txt文件是一个文本文件,使用任何一个常见的文本编辑器,就可以创建和编辑它。
3、robots屏蔽二级域名蜘蛛抓取 会导致主域名不收录吗?
分情况来看,如果二级域名有独的内容,可在二级域名网站中单独设置robots ;如果二级域名和主域名的内容是一样的,则可301转向到主域名,这样主站权重集中,不分散,也有利于排名。
4、robots.txt 写法,Disallow: /zh-cn/ 是不允许 域名/zh-cn/下的所有网址吗? 例如禁止 域名/zh-cn/1.html
如果你要禁止zh-cn下所有内容,就写成Disallow: /zh-cn/
如果只禁止所有html文件,那么就写成Disallow: /zh-cn/*.html
5、网站前端和后端域名不一样,robots如何设置禁止抓取后台?
限制蜘蛛抓取你后台域名绑定的文件目录就可以了,比如你二级域名在根目录里的/manage/
robots里:
User-agent: *
Disallow: /manage/
6、禁止某二级域名的抓取,robots如何写
首先,你要明白robots文件怎么写!一般允许抓取的话是
allow:/www/xxx/
如果是不允许的话就是:disallow:/www/xxxx/
你如果想禁用你的二级网站的话,只需要禁用二级网站所在的文件夹就好了!例如,你的二级网站所在的文件夹是/erji/
那么,你就可以在robots加入:
disallow:/www/erji/ 就可以了!