1、什么是robots.txt文件？在网站优化中有什么作用
robots.txt 也就 robots协议，是搜索引擎中访问网站的时候要查看的第一个文件。通过robots.txt文件告诉搜索引擎蜘蛛哪些页面可以抓取，哪些页面不能抓取。
2、seo中robots.txt是什么意思？
它是一种存放于网站根目录下的文本文件，通常告诉搜索引擎蜘蛛 网站中哪些内容是不能被搜索引擎蜘蛛获取的 哪些是可以获取的
3、seo面试:roboxs.txt有什么用
一、robots.txt是什么？
robots.txt是一个纯文本文件，在这个文件中网站管理者可以声明该内网站中不想被搜索引容擎访问的部分，或者指定搜索引擎只收录指定的内容。
当一个搜索引擎（又称搜索机器人或蜘蛛程序）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。
二、robots.txt的作用
1、引导搜索引擎蜘蛛抓取指定栏目或内容；
2、网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接；
3、屏蔽死链接、404错误页面；
4、屏蔽无内容、无价值页面；
5、屏蔽重复页面，如评论页、搜索结果页；
6、屏蔽任何不想被收录的页面；
7、引导蜘蛛抓取网站地图；
4、在网站中的robots.txt是用来干什么的哦？对网站有什么影响啊？
本文我们将看一看机器人拒绝标准(Robots Exclusion Standard)，这听起来像是科幻小说里的内容，其实它是一个用于阻止搜索引擎者蜘蛛(spider)或机器人(robots)访问网站内容的一个工具。
Robots.txt是一个纯文本文件，通过该文件可以控制搜索引擎蜘蛛(spider)访问网站的内容，必须将其放在网站的根目录才可以正常使用，且文件名应该为小写，比如“http://www.youdomain.com/robots.txt”，即使您的网站没有设置对搜索引擎访问的限制，最好也能放一个空白的robots.txt文件在网站根目录下。
创建一个Robots.txt
如果不希望任何机器人(robots)或者蜘蛛(spider)索引网站，可以在Robots.txt里键入如下规则：
User-agent: *
Disallow: /
在这个例子中，"*"是个通配符，表示此规则被应用到所有的搜索引擎(Search Engine)，此通配符是
一个特殊的符号表示一切内容，一个典型的用法：如果键入 “d*ng” ，则计算机可以解释为：
“ding”,"dang","dong","ng","dzing" 等更多的内容会符合。
Disallow表示不允许被搜索引擎访问的网页文件或者目录，对它的设置正确与否非常重要，如果设置
不当，也许会对网站造成极大的损失。
如果允许搜索引擎蜘蛛(spider)访问网站的全部内容，则设置方法如下：
User-agent: *
Disallow:
以上设置方法中，User-agent仍然是使用通配符*表示所有搜索引擎蜘蛛，Disallow为空表示允许搜索
引擎蜘蛛访问网站所有的文件，即不对搜索引擎做任何限制，完全敞开了让蜘蛛们任意访问。
如果让所有搜索引擎机器人不访问和索引网站根目录下的images目录，则可以使用如下写法：
User-agent: *
Disallow: /images/
上面的例子表示让所有搜索引擎蜘蛛远离/images/目录及目录下所有的文件。注意/images/后的“/”
，如果是/images的话，则比如/images.html , /images/index.html都不允许搜索引擎蜘蛛访问。
如果不允许搜索引擎蜘蛛访问指定的一个文件，则设置方法如下：
User-agent: *
Disallow: /images/biggorillaonatricycle.jpg
这时搜索引擎蜘蛛会扫描访问除了images目录下biggorillaonatricycle.jpg的所有文件，但是如果其
它目录比如imagestwo下有biggorillaonatricycle.jpg这张图片的话，那么搜索引擎蜘蛛一样会访问
到，因此我们可以使用如下设置方法：
User-agent: *
Disallow: /images/biggorillaonatricycle.jpg
Disallow: /imagestwo/biggorillaonatricycle.jpg
下面的设置方法也不错:
User-agent: *
Disallow: /images/
Disallow: /imagestwo/
Disallow: /aboutus/
上面例子告诉搜索引擎蜘蛛忽视指定的三个目录，但是也可以同时指定目录和文件：
User-agent: *
Disallow: /images/
Disallow: /imagestwo/
Disallow: /aboutus/wearereallyevil.html
限制指定的搜索引擎蜘蛛(spider)/机器人(Robots)
之前说到如何限制搜索引擎蜘蛛访问网站文件，下面开始如何限制指定的搜索引擎蜘蛛访问网站文件
。
如果想告诉某一个搜索引擎蜘蛛忽视网站的所有目录和文件，则使用如下设置方法：
User-agent: Google-Bot
Disallow: /
Google-Bot表示为Google的搜索引擎蜘蛛/机器人
slurp 表示为Yahoo的搜索引擎蜘蛛/机器人
当然也可以告诉一个指定的搜索引擎蜘蛛，忽视网站的一个指定目录和文件，设置方法如下：
User-agent: Google-Bot
Disallow: /images/
Disallow: /secrets/globaldomination.html
User-agent: slurp
Disallow: /images/
Disallow: /secrets/globaldomination.html
Disallow: /tmp/
User-agent: slurp
Disallow: /images/
Disallow: /secrets/globaldomination.html
User-agent: Google-Bot
Disallow: /images/
Disallow: /secrets/globaldomination.html
Disallow: /cgi-bin/
参考资料：http://www.hi-open.cn/index.php/archives/9/
来自：http://www.hi-open.cn
5、robots文件是什么意思？他对网站的优化能起到什么作用？
最主要的用处是告诉搜索引擎哪些页面不需要收录
6、robotx.txt怎么写？对网站优化有什么好处
下面把robots.txt正确写法分享给大家！
我们先来了解一下什么是robots.txt？
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。您可以在您的网站中创建一个纯文本文件robots.txt，在文件中声明该网站中不想被robot访问的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件或者创建一个内容为空的robots.txt文件。
robots.txt 放置位置
robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站(比如http://www.ubangmang.com)时，首先会检查该网站中是否存在http://www.ubangmang.com/robots.txt这个文件，如果
Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
robots.txt 格式
文件包含一条或更多的记录，这些记录通过空行分开(以CR,CR/NL,
or
NL作为结束符)，每一条记录的格式如下所示：”:”。在该文件中可以使用#进行注解。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行,详细情况如下。
User-agent:
该项的值用于描述搜索引擎robot的名字。在”robots.txt”文件中，如果有多条User-agent记录说明有多个robot会受到”robots.txt”的限制，对该文件来说，至少要有一条User-agent记录。
如果该项的值设为*，则对任何robot均有效，在”robots.txt”文件中，”User-agent:*”这样的记录只能有一条。如果在”robots.txt”文件中，加入”User-
agent:SomeBot”和若干Disallow、Allow行，那么名为”SomeBot”只受到”User-agent:SomeBot”后面的
Disallow和Allow行的限制。 Disallow:
该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。例
如”Disallow: /help”禁止robot访问/help*.html、/help/index.html， 而”Disallow:
/help/”则允许robot访问/help*.html，不能访问/help/index.html。
"Disallow:"说明允许robot访问该网站的所有url，在”/robots.txt”文件中，至少要有一条Disallow记录。如果”/robots.txt”不存在或者为空文件，则对于所有的搜索引擎robot，该网站都是开放的。
Allow:
该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。例如”Allow:/hibaidu”允许robot访问/hibaidu.htm、/hibaiducom.html、
/hibaidu/com.html。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。
需要特别注意的是Disallow与Allow行的顺序是有意义的，robot会根据第一个匹配成功的 Allow或Disallow行确定是否访问某个URL。
使用”*”和”$”： Baispider 支持使用通配符”*”和”$”来模糊匹配url。 “$” 匹配行结束符。 “*” 匹配0或多个任意字符。
robots.txt文件用法举例：
1. 允许所有的robot访问
User-agent: * Allow: / 或者 User-agent: * Disallow:
2. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
3. 仅禁止Baispider访问您的网站
User-agent: Baispider
Disallow: /
4. 仅允许Baispider访问您的网站
User-agent: Baispider
Disallow:
5. 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
6. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
7. 使用”*”限制访问url
禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
8. 使用”$”限制访问url
仅允许访问以”.htm”为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /
例9. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
10. 禁止Baispider抓取网站上所有图片
仅允许抓取网页，禁止抓取任何图片。
User-agent: Baispider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
11. 仅允许Baispider抓取网页和.gif格式图片
允许抓取网页和gif格式图片，不允许抓取其他格式图片
User-agent: Baispider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
12. 仅禁止Baispider抓取.jpg格式图片
User-agent: Baispider
Disallow: .jpg$
一般这个在网站未上线前使用，等网站做好之后 就把这个协议去掉了，便于搜索引擎的抓取。
7、robots.txt与蜘蛛之间的关系是什么？在seo优化中占据什么位置
炒的可以吗...
2分钟前一个人每天看你的空间，为什么？...
2分钟前20多了，整天以网吧为家，不劳不作。...
2分钟前解方程：4（x减1）的平方=9怎样做...
2分钟前老板不还工资怎么办...
8、网站中的robots.txt文件有什么作用
网站中的robots文件是一个搜索引擎抓取协议，可以通过提示搜索引擎哪些文件可以抓取哪些不能够抓取。
9、.robots.txt具体作用是做什么的？
1.对搜索引擎做出规定，抓取或者不抓取。
2.由于有些信息规定了不让抓取，所以可以保护到一些必要的信息，比如：网站后台，用户信息。
3.节省搜索引擎抓取资源。