1、关于SEO的robots.txt,众所周知robots可以禁止或允许百度蜘蛛访问网站哪些文件夹;
蜘蛛在访问网站时，最先访问的是该网站robots.txt文件
如果网站有robots.txt文件并且里面有禁止蜘蛛访问的代码的话蜘蛛就不会访问了
例如：robots.txt文件中的代码为：
User-agent：*
Disallow：/
上面这个robot.txt文件禁止所有搜索引擎爬取任何内容
2、SEO搜索引擎优化基础教程的txt全集下载地址
SEO搜索引擎优化基础教程 txt全集小说附件已上传到百度网盘，点击免费下载：
3、与搜索引擎优化（SEO）相关的教程或者教材，最好是TXT的或者其他类型电子书也可以 邮箱 [email protected]
给你发了几本书，收到请及时采纳。
4、Robot.txt对SEO有什么影响？
很多人认为只有防止搜索引擎技术抓取的时候才有用。但是实际上正确使用Robot.txt对 SEO很有好处，比如重复内容用不同形式表现是经常需要的，而这种情况很容易被搜索引擎判定为重复内容堆砌。正确利用Robot可以引导搜索引擎只收录首 选内容这样就不会有作弊嫌疑了。（参见：google网站管理员blog的文章
巧妙地处理内容重复）除了处理重复外，Yahoo允许你在Robot.txt文件里面用Crawl-delay:参数设定抓取频率（参看：
）。
5、跪求《SEO艺术》,txt版本
《SEO艺术》(The Art of SEO)扫描版[PDF]
发布用户 ed2k
添加日期 2013/6/26 8:34:17
大小 61.83 MB
最后更新 2013/6/26 8:34:17
6、如何为wordpress创建有利于seo的robots.txt文件
如果您不想让 Google 或其他搜索引擎访问您网站中的某些内容,请用 robots.txt 文件指定搜索引擎抓取您的网站内容的方式。这是google管理员工具对robots.txt功能的一个描述。robots.txt文件说白了就是告诉爬虫哪些网址是可以被收录那些是禁止收录的。对于大多数wordpress博主来说很少注意robots.txt,认为他无关紧要,其实不然,robots.txt在wordpress优化,网站seo方面有着很重要的作用。robots.txt不光可以保护网站隐私链接不被搜索到,而且可以控制网站内容的重复和抓取错误。下面我就写几种wordpress常用的robots.txt规则。
最简单的robots.txt规则:
User-agent: *Disallow:
这是开放式的写法,Disallow:留空,是让搜索引擎收录所有链接。
安全性的robots.txt书写规则:
User-agent: *Disallow: /cgi-bin/Disallow: /wp-Allow: /wp-content/uploads/Disallow: /*.php$Disallow: /*.inc$Disallow: /*.js$Disallow: /*.css$Disallow: /*.cgi$Disallow: /?s=
有利于seo的robots.txt书写规则:(以本站为例)
User-agent: *Disallow: /cgi-bin/Disallow: /wp-Disallow: */rss.xmlDisallow: /author/Disallow: /page/Disallow: /tag/Disallow: */trackback/Disallow: */feed/Disallow: /*.php$Disallow: /*.inc$Disallow: /*.js$Disallow: /*.css$Disallow: /*.cgi$Disallow: /*?*Disallow: /?s=Sitemap: http://www.pakelab.com/sitemap.xml
先说所我为什么这么设置。google管理员工具在分析我网站抓取错误信息的时候,发现大量链接是http://www.pakelab.com/xxxx/rss.xml的形式,为了减少抓取错误,我就让搜索不爬这些链接,Disallow: */rss.xml ,如果你没遇到和我一样的问题这一条你可以不用加。同样,如果你的网站有大量抓取错误的无效链接,你可以在这里指定不抓取。
再有就是网站元重复太严重(标题重复,描述重复,关键词重复),这严重影响搜索引擎排名,我看中的是文章页排名,所以像标签页,作者文章归档,月份存档页,分页这些我选择Disallow。因为我的文章页面在google中的权重很高,流量几乎都是文章页面的,所以才这么设置。这个根据自己网站实际情况选择性的设置。
feed和trackback的条款是一定要的,可以说wordpress 80%以上的补充材料都是和它们有关。
wordpress官方robots.txt书写规则(国外)
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /author/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# digg mirror
User-agent: ggmirror
Disallow: /
7、SEO入门应该看什么教材？
初级基础
搜索引擎基础
一 什么是搜索引擎
1.1.1. 搜索引擎的作用
1.1.2. 搜索引擎的定义
二 搜索引擎的工作原理
1.2.1. 探寻蜘蛛和机器人
1.2.2. 如何辨别搜索引擎机器人身份
三 SiteMap 介绍
1.3.1. 什么是SiteMap
1.3.2. Sitemaps 文件的位置
1.3.3. XML Sitemaps 格式
1.3.4. 创建SiteMap
1.3.4.1. 根据 Sitemap 协议创建 Sitemap
1.3.4.2. Sitemap 生成器
1.3.4.3. 使用第三方工具
1.3.5. 使用 Sitemaps 索引文件
1.3.6. 验证您的 Sitemaps
1.3.7. 提交SiteMap
四 Robots.txt 介绍
1.4.1. 什么是Robots.txt
1.4.2. robots.txt 的语法格式
1.4.3. robots.txt 使用技巧
1.4.4. robots.txt 用法举例
1.4.5. robots.txt 举例
1.4.6. 常见robots.txt 错误
主要搜索引擎介绍
一 Google
2.1.1. 关于Google
2.1.2. Google 的P ageRank 技术
2.1.3. Google 的SiteMap 技术
2.1.3.1. Google 的SiteMap 技术是什么？
2.1.3.2. 怎样设立Google 站点地图
2.1.3.3. 向 Google 添加网站
2.1.4. 网站管理员工具
二 百度
2.2.1. 关于百度
2.2.2. 百度的SiteMap
2.2.3. 百度论坛的开发协议
三 YaHoo（雅虎）
2.3.1. 关于雅虎
2.3.2. YaHoo 中国
2.3.3. 中文搜索引擎列表
网站的基本查询方式
一 域名查询
3.1.1. 域名信息查询
3.1.2. 域名历史查询
3.1.3. 主机连接速度和 IP 地址查询
二 收录查询
3.2.1. 网站是否被收录
3.2.2. 网页收录数量
三 反向链接查询
四 网站 PR 查询
五 关键词排名查询
六 ALEXA 查询
3.6.1. 什么是Alexa？
3.6.2. Alexa 的主要数据
3.6.3. Alexa 的作用
3.6.4. 提高Alexa 排名
搜索引擎优化基础
一 搜索引擎优化的定义和价值
4.1.1. 搜索引擎优化的定义
4.1.2. 搜索引擎优化的价值
二 搜索引擎优化究竟为了什么
4.2.1. SEO 体现网站效果
4.2.2. SEO 的终极目标和实现目标
三 白帽SEO 和黑帽SEO
四 关于搜索引擎优化的一些观点
4.4.1. 搜索引擎优化合法吗？
4.4.2. 会不会和搜索引擎对着干？
4.4.3. 我的网站有大量的优质原创内容，所以我不需要SEO了
4.4.4. SEO 没有技术含量或SEO 需要很高深的技术
4.4.5. 大网站那样做了，我也向他们学习
4.4.6. SEO 企业或SEO 工具的保证排名宣传
4.4.7. 稳定的排名
4.4.8. 竞争对手无法破坏我的排名
网站设计的优化操作
一 域名对SEO 的影响
5.1.1. 域名的基本常识
5.1.2. 不同后缀的域名在搜索引擎中的权重
二 主机对SEO 的影响
5.2.1. 共享主机、独立主机的区别？
5.2.2. 主机服务商选择
5.2.3. 主机服务商转移
三 对搜索引擎友好的设计
5.3.1. 目录结构
5.3.2. URL
5.3.3. 导航结构
5.3.4. 框架结构
5.3.5. 图片优化
5.3.6. FLASH 优化
5.3.7. 404 错误页设置
四 网站设计思维
5.4.1. 重视网站结构一致性
5.4.2. W3C 浏览器兼容验证
高级基础
单个页面的优化操作
一 重要的网页重命名
二 重要的网页标题
1.2.1. 关键词的采用和突出
1.2.2. 控制标题长度和关键词频率
1.2.3. 吸引搜索者
三 网页题头标签的作用
1.3.1. 网页描述的标签
1.3.2. 图片替代文字
1.3.3. 题头标签的作用
网站外链的优化操作
一 链接的基本知识
2.1.1. 链接的重要性和普遍性
2.1.2. 怎样看链接的普遍性
2.1.3. 链接影响PR值
二 让搜索引擎知道新网站
2.2.1. 登录搜索引擎
2.2.2. 登录网站名录导航站
2.2.3. 让搜索引擎自己发现
三 链接的判断和建立
2.3.1. 如何请求链接
2.3.2. 购买链接
2.3.3. 诱饵链接
四 导入链接和导出链接
2.4.1. 导入链接
2.4.2. 导出链接
五 确定链接策略
六 外链建设中的几个误区
2.6.1. 外部链接数目增长的自然化
2.6.2. 不要忘记你最能做好的事情
2.6.3. 不宜使用软件群发
关键词的研究
一 关键词分析
3.1.1. 挑选正确的关键词
3.1.2. 选择关键词的基本原则
3.1.3. 竞价关键词
二 关键词密度
3.2.1. 什么是关键词密度
3.2.2. 适当的关键词密度
3.2.3. 关键词分布的位置
3.2.4. 关键词密度的基本原则
3.2.5. 增加关键词密度
三 搜索引擎尾巴现象
文本优化
一 网站内容的组织
二 网站内容的来源
4.2.1. 自己撰写原创文章
4.2.2.“原创”转载的内容
4.2.3. 鼓励用户贡献内容
三 网站内容的延续性
4.3.1. 内容匮乏怎么办
4.3.2. 网站内容采集
网站流量检测和分析
一 网站流量数据统计与分析
5.1.1. 什么叫网站流量及网站流量统计分析
5.1.2. 网站流量指标
5.1.3. 用户行为指标
二 常见流量统计系统介绍
5.2.1. CNZZ 服务统计
5.2.2. 51.la 统计服务
5.2.3. 51Yes 网站流量统计
5.2.4. Google Analytics
5.2.5. Measure Map
5.2.6. Statcounter.com
三 行业热点跟踪
5.3.1. 百度风云榜
5.3.2. 百度指数
5.3.3. Google 关键词分析工具
搜索引擎优化常见误区
一 网站优化非法操作
6.1.1. 隐藏文本和透明文字
6.1.2. 误导性或重复性关键词
6.1.3. 障眼法（Cloaking）
6.1.4. 桥页、跳页
6.1.5. 细微文字
二 网站外部推广的非法操作
6.2.1. 复制网页和镜像网页
6.2.2. 域名伪装
6.2.3. 域名轰炸
6.2.4. 隐蔽链接
6.2.5. 转向
6.2.6. 链接养殖场
6.2.7. 博客污染
三 挽救搜索引擎除名的网站
基础篇：入门知识
新手需知网站基础常识
关于域名、开源程序和虚拟主机的选择指南
通过FTP把网站上传到主机空间（图解）
没有网站的同学，请到这里了解学习一下（3个方案）
如何在自己的电脑上搭建服务器并第一次建站？
给新手建议的网络创业流程图
对HTML标签初步认识
SEO工作时会常用到的HTML知识
举例说明关键词在所有网页所有标签中的写法
SEO中存在的一些常见规律和现象
一定要知道的SEO基本知识
8、SEO 的 robot.txt 文件是怎么写的，怎样屏蔽一些他们已经收录了的网页。 求指点，不说明白是不给分的。
如果是谷歌的话，反应很快的；如果是百度，就算你加上也有可能收录，而且去掉速度也很慢，我的情侣seo博客就是很好的例子。
•要拦截整个网站，请使用正斜线。
Disallow: /•要拦截某一目录以及其中的所有内容，请在目录名后添加正斜线。
Disallow: /无用目录/ •要拦截某个网页，请列出该网页。
Disallow: /私人文件.html•要从 Google 图片中删除特定图片，请添加以下内容：
User-agent: Googlebot-Image
Disallow: /images/狗.jpg •要从 Goo le 图片中 除您网站上的所有图片，请执行以下指令：
User-agent: Googlebot-Image
Disallow: / •要拦截某一特定文件类型的文件（例如 .gif），请使用以下内容：
User-agent: Googlebot
Disallow: /*.gif$•要阻止抓取您网站上的网页，而同时又能在这些网页上显示 Adsense 广告，请禁止除 Mediapartners-Google 以外的所有漫游器。这样可使网页不出现在搜索结果中，同时又能让 Mediapartners-Google 漫游器分析网页，从而确定要展示的广告。Mediapartners-Google 漫游器不与其他 Google User-agent 共享网页。例如：
User-agent: *
Disallow: /
User-agent: Mediapartners-Google
Allow: /
Googlebot（但并非所有搜索引擎）遵循某些模式匹配原则。
•要匹配连续字符，请使用星号 (*)。例如，要拦截对所有以 private 开头的子目录的访问，请使用以下内容：
User-agent: Googlebot
Disallow: /private*/•要拦截对所有包含问号 (?) 的网址的访问（具体地说，这种网址以您的域名开头、后接任意字符串，然后接问号，而后又接任意字符串），请使用以下内容：
User-agent: Googlebot
Disallow: /*?•要指定与某个网址的结尾字符相匹配，请使用 $。例如，要拦截以 .xls 结尾的所有网址，请使用以下内容：
User-agent: Googlebot
Disallow: /*.xls$您可将此模式匹配与 Allow 指令配合使用。例如，如果 ? 代表一个会话 ID，那么您可能希望排除包含 ? 的所有网址，以确保 Googlebot 不会抓取重复网页。但是以 ? 结尾的网址可能是您希望包含在内的网页的版本。在此情况下，您可以对您的 robots.txt 文件进行如下设置：
User-agent: *
Allow: /*?$
Disallow: /*?Disallow: /*? 指令会阻止包含 ? 的所有网址（具体地说，它将拦截所有以您的域名开头、后接任意字符串，然后接问号，而后又接任意字符串的网址）。
Allow: /*?$ 指令将允许以 ? 结尾的任何网址（具体地说，它将允许所有以您的域名开头、后接任意字符串，然后接 ?，? 之后不接任何字符的网址）。
9、网站优化必读：SEO教程电子书txt全集下载
网站优化必读：SEO教程 txt全集小说附件已上传到百度网盘，点击免费下载：