1、seo面试:roboxs.txt有什么用
一、robots.txt是什么？
robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该内网站中不想被搜索引容擎访问的部分，或者指定搜索引擎只收录指定的内容。
当一个搜索引擎（又称搜索机器人或蜘蛛程序）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
二、robots.txt的作用
1、引导搜索引擎蜘蛛抓取指定栏目或内容；
2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接；
3、屏蔽死链接、404错误页面；
4、屏蔽无内容、无价值页面；
5、屏蔽重复页面，如评论页、搜索结果页；
6、屏蔽任何不想被收录的页面；
7、引导蜘蛛抓取网站地图；
2、seo中robots.txt是什么意思？
它是一种存放于网站根目录下的文本文件，通常告诉搜索引擎蜘蛛 网站中哪些内容是不能被搜索引擎蜘蛛获取的 哪些是可以获取的
3、网站优化必读：SEO教程电子书txt全集下载
网站优化必读：SEO教程 txt全集小说附件已上传到百度网盘，点击免费下载：
4、什么是黑帽seo，百度蜘蛛劫持代码.txt
利用搜索引擎规则漏洞或某些特定程序,欺骗百度蜘蛛,快速获得排名但也容易被 K 站。
我直接讲一下百度蜘蛛劫持代码的步骤
第一步:配置 asp 版的劫持程序.
第二步:如果 shell 主页没有<!--#include file="conn.asp"-->,我们就自己添加一下,一般情况 asp网站都有的.
第三步:修改调用代码.代码的意思是 判断来访路径 是搜索引擎程序,还是真实客户访问,进行内容抓取,也就是快照,然后判断跳转.然后把代码上传到 conn.asp 文件里面.
做完以上步骤,可以刷下外链,快速吸引蜘蛛,刷外链等快照更新就可显示我们自己网站的快照,并进行判断来路跳转了.
不过建议大家还是不要违规，毕竟白帽seo才是正规的seo优化网站的方式，白帽seo不懂可以去搜外网学习操作方式。
5、SEO搜索引擎优化基础教程的txt全集下载地址
SEO搜索引擎优化基础教程 txt全集小说附件已上传到百度网盘，点击免费下载：
6、Robot.txt对SEO有什么影响？
很多人认为只有防止搜索引擎技术抓取的时候才有用。但是实际上正确使用Robot.txt对 SEO很有好处，比如重复内容用不同形式表现是经常需要的，而这种情况很容易被搜索引擎判定为重复内容堆砌。正确利用Robot可以引导搜索引擎只收录首 选内容这样就不会有作弊嫌疑了。（参见：google网站管理员blog的文章
巧妙地处理内容重复）除了处理重复外，Yahoo允许你在Robot.txt文件里面用Crawl-delay:参数设定抓取频率（参看：
）。
7、如何为wordpress创建有利于seo的robots.txt文件
如果您不想让 Google 或其他搜索引擎访问您网站中的某些内容,请用 robots.txt 文件指定搜索引擎抓取您的网站内容的方式。这是google管理员工具对robots.txt功能的一个描述。robots.txt文件说白了就是告诉爬虫哪些网址是可以被收录那些是禁止收录的。对于大多数wordpress博主来说很少注意robots.txt,认为他无关紧要,其实不然,robots.txt在wordpress优化,网站seo方面有着很重要的作用。robots.txt不光可以保护网站隐私链接不被搜索到,而且可以控制网站内容的重复和抓取错误。下面我就写几种wordpress常用的robots.txt规则。
最简单的robots.txt规则:
User-agent: *Disallow:
这是开放式的写法,Disallow:留空,是让搜索引擎收录所有链接。
安全性的robots.txt书写规则:
User-agent: *Disallow: /cgi-bin/Disallow: /wp-Allow: /wp-content/uploads/Disallow: /*.php$Disallow: /*.inc$Disallow: /*.js$Disallow: /*.css$Disallow: /*.cgi$Disallow: /?s=
有利于seo的robots.txt书写规则:(以本站为例)
User-agent: *Disallow: /cgi-bin/Disallow: /wp-Disallow: */rss.xmlDisallow: /author/Disallow: /page/Disallow: /tag/Disallow: */trackback/Disallow: */feed/Disallow: /*.php$Disallow: /*.inc$Disallow: /*.js$Disallow: /*.css$Disallow: /*.cgi$Disallow: /*?*Disallow: /?s=Sitemap: http://www.pakelab.com/sitemap.xml
先说所我为什么这么设置。google管理员工具在分析我网站抓取错误信息的时候,发现大量链接是http://www.pakelab.com/xxxx/rss.xml的形式,为了减少抓取错误,我就让搜索不爬这些链接,Disallow: */rss.xml ,如果你没遇到和我一样的问题这一条你可以不用加。同样,如果你的网站有大量抓取错误的无效链接,你可以在这里指定不抓取。
再有就是网站元重复太严重(标题重复,描述重复,关键词重复),这严重影响搜索引擎排名,我看中的是文章页排名,所以像标签页,作者文章归档,月份存档页,分页这些我选择Disallow。因为我的文章页面在google中的权重很高,流量几乎都是文章页面的,所以才这么设置。这个根据自己网站实际情况选择性的设置。
feed和trackback的条款是一定要的,可以说wordpress 80%以上的补充材料都是和它们有关。
wordpress官方robots.txt书写规则(国外)
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /author/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# digg mirror
User-agent: ggmirror
Disallow: /
8、跪求《SEO艺术》,txt版本
《SEO艺术》(The Art of SEO)扫描版[PDF]
发布用户 ed2k
添加日期 2013/6/26 8:34:17
大小 61.83 MB
最后更新 2013/6/26 8:34:17
9、与搜索引擎优化（SEO）相关的教程或者教材，最好是TXT的或者其他类型电子书也可以 邮箱 [email protected]
给你发了几本书，收到请及时采纳。
10、关于SEO的robots.txt,众所周知robots可以禁止或允许百度蜘蛛访问网站哪些文件夹;
蜘蛛在访问网站时，最先访问的是该网站robots.txt文件
如果网站有robots.txt文件并且里面有禁止蜘蛛访问的代码的话蜘蛛就不会访问了
例如：robots.txt文件中的代码为：
User-agent：*
Disallow：/
上面这个robot.txt文件禁止所有搜索引擎爬取任何内容