1、SEO优化，怎么引蜘蛛秒收录
您好，蜘蛛只是起到了一个爬行抓取网页然后分析的作用，那么如何让蜘蛛爱上你的站呢？下面就让我们来了解一下吧：
大家做站长也好，给人做提供seo服务也好，都要对蜘蛛这个小东西摸的透彻!让她对你死心塌地!我们的互联网就好比一张巨大的网，搜索引擎通过蜘蛛来获取我们的网站，她爬到哪个站点，就意味着快照更新，收录增加。那么怎么来让蜘蛛更多青睐自己的站点呢，本文将详细给你介绍。
一，引蜘蛛需要的是耐心
你的网站是否出现过内容不收录，快照不更新的情况呢?估计每一位站长或者seo而都遇到过这种情况。这种情况就是蜘蛛没有爬去你的网站。那么当我们遇到这种情况我们应该怎么办呢?经验告诉我遇到这种情况我们需要一个好的心态。在我们做优化过程中一个好的心态是最重要的。这个时候我们一定要稳住阵脚，分析最近的操作，寻找引起蜘蛛厌恶的原因，并通过一系列操作让你的站点重新获得蜘蛛的青睐。一个良好的心态是做为SEOer的基础，所以笔者将这点放在我们吸引蜘蛛三要素的第一。
二，给蜘蛛一份美味的食物。
在我们吸引蜘蛛之前，我们需要了解它的喜好，蜘蛛做为搜索索引索引的工具，是非常喜欢高质量的原创内容的，也只有这个可以打动她的芳心。试想一下，你的内容质量越高，蜘蛛就会觉得更加的“美味”，蜘蛛会更加的青睐你的站点。
我们要做的就是提高站内的高质量内容!
1，就是内容的原创性，搜索引擎都喜欢原创的内容，如果你是转载的那么他会收录权重高的站点，而不会关注你的，所以作为站长，抽点时间写点原创文章吧。
2，文章的字数，对于蜘蛛我们当然不能太小气，作为文章最好在500字以上。
3，文章的语意，文章的文字需要通俗易懂，自然，切勿伪原创。
二，在我们给蜘蛛一个美味的食物了之后，就要给他做一个窝，让她吃饱了休息!下面我们就来给她‘结网’，把她套劳!
其实我们的结网就是建设外链及优化内链。建设外链方面我们可以在一些高质量的论坛、博客、网站发表文章并附上链接，也可以通过传统的友情链接进行外部的吸引蜘蛛的方法。内部链接优化的话，我们就需要合理的设计我们的robots.txt文件，使用nofollow或者iframe框架屏蔽一些不必要的内容，在文章内容中添加相关内容的链接等等，给蜘蛛创建一个爬行的好环境。
如果这几点你下足了功夫，我想蜘蛛会很快迷上你的站的!本文内容可能会比较基础，但是笔者想要说的是注重基础的事情往往能成就不基础的事情。
2、百度seo优化：百度蜘蛛喜欢抓取怎样的网站
百度seo网站优化，原来蜘蛛的抓取规律喜欢这样子来的。
百度seo网站优化之如何向搜素引擎彰显网站的亮点
百度seo网站优化做吸引眼球的标题
用户在百度网页搜索中搜索到你的网页时，title会做为最重要的内容显示在摘要中，一个主题明确的title可以帮助用户更方便地从搜索结果中判断你网页上内容是否符合他需求。并且很多时候好的标题能让你的网站在众多网站中脱颖而出，可能在排名低于别人的情况下用户选择你。
1、标题要主题明确，包含这个网页中最重要的内容
2、文章页title中不要加入过多的额外描述，会分散用户注意力
3、使用用户所熟知的语言描述
4、描述合乎逻辑，用户能看懂
5、如果您的网站用户比较熟悉，建议将网站名称列到title中合适的位置，品牌效应会增加用户点击的机率
6、标题要对用户有吸引力
7、能让用户产生信任感
百度seo网站优化怎样布置网站描述
网站描述是对网页内容的精练概括。很多人会问为什么我的网站的快照描述不是我在Meta信息中写的，是这样的，网站描述信息只是写给搜索引擎的一个推荐描述，如果description描述与网页内容相符，百度会把description当做摘要的选择，网站SEO优化，如果与网页不相符，百度就会在该网页中采集一段认为相符的文字，但很多时候百度采集的描述很差，设置是一句不连贯的话，所以写好一个与网站内容相符的描述非常最要，一个好的描述会帮助用户更方便的从搜索结果中判断你的网页内容是否和需求相符。标题的篇幅毕竟是有限的，描述就是对标题最好的拓展。
百度搜索引擎优化指南这样之初：描述不是权值计算的直接参考因素，这个标签存在与否不影响网页权值，只会用做搜索结果摘要的一个选择目标。
但是我们在优化中往往会发现好的网站都会有不错的描述，尽管描述不直接参与排名，但是可以突出品牌，吸引点击，这是间接促进了网站的排名。
1、网站首页、频道页、产品参数页等都要有不同的描述信息
2、准确的描述网页，不要堆砌关键词;
3、如果您的网站用户比较熟悉，建议将网站名称列到描述中合适的位置，整站优化，品牌效应会增加用户点击的机率;
4、长度合理，不过长不过短。
百度seo网站优化的"三项规则"，请滚瓜烂熟
奥运会有铁人三项，此运动更好的协调了运动员的综合素质水平，而百度优化排名中的"三项规则"规则则是让网站在百度seo优化的整体质量更好的满足市场用户体验。针对不同部分的操作，可以让网站在每个细节处都能凸显以人为本的服务理念，也更贴合了当代为人服务的根本。途光网络今天要和大家分享就是探讨百度优化排名中的"铁人三项"规则。
我们知道在网站推广中，不可缺少的部分有网站品牌词、网站内容、网站布局等。在百度的三项硬件规则中，网站的关键词设定、网站内容的整合和网站链接投票因素则是最为重要的。
第一，网站品牌词定位。
网站品牌词多是选择企业产品的市场、用户定位，以方便在百度seo网站优化排名稳定的同时能够给网站带来转化率促成网络销售。而我们知道单单的关键词排名提升并非就可以让网站盈利扶摇而上。而且百度seo网站优化排名本身也不是一蹴而就的，要想在短时间内夺得到排名优势，不但要针对关键词进行优化，还要针对汉语法中出现的错字、别字进行有利筛选。当然，这些错字别词并非是让你罗列在网站页面上，这样反而会造成网页主题的偏离，而是要在网站根目录下建立关键词库。将常用错字别词添加到里面去，在页面只要留下一个spider端口即可。
错字别词库的建立能够让用户在检索时候更大力度来匹配网站，这样才进行网站主推关键词优化时也是有利的。主关键词推动想必大家已有所了解，主要还是针对在网站的title、keywords和description中，同时要求在网站各个页面专栏中都要出现主关键词，便于主题更好的融合。
第二，网站内容添加。
无论百度算法怎样的变更，其根本还是针对用户来做的，那网站内容的添加也就要根据行业用户需求群体来添加。之前不同行业用户数据分析方面我也有讲过很多，这里就不在逐一罗列。今天要针对的内容添加问题主要是在体现在网站内容的质量上。因为开源化的网络环境让任何信息都不在闭塞，要想获得好的用户体验，在网站内容质量上一定要过关。
1、内容避免重复性。现代网络内容杂而无章，这就致使很多非专业SEOer在对网站内容添加时出现了重复的现象，看似不同的题目中所展现的主题是一致的。网络服务器资源有限，与其用这些冗杂的内容占据空间不如清空这些数据便于蜘蛛的快速爬行。
2、内容主题稳定性。很多做百度seo网站优化而经常会泛这样的错误，在网站后期优化时因为找到更加贴合的相关性内容便开始滥竽充数，将一些无用的文章放在上面，这样很容易造成主题的变差，从而影响网站的主题的固定性和稳定性。或者整体页面全部由Flash和图片组成，这样就严重导致页面文字失衡，让搜索引擎不能够保质保量的抓取页面内容，造成网站主题失真。
第三，网站链接投票因素。
网因素就将相关性内容相链接从而增加网站内容优质站链接投票因素一般分为站外投票和站内投票两种。站外投票因素主要就是通过外链来引导用户点击而促成的点击投票;站内投票循环。
站外投票，建立站外投票时候要注意的就是外链的数量和稳定性。网站上线时间和外链比例在百度规则中是有峰值区间的。这个峰值区域多成抛物线型，因而在网站上线前期不要出现大批量网站外链数量，因为一旦超过峰值高区域那么就容易被百度判断为作弊网站，从而影响网站优化;
站内投票，主要就是将相关性内容进行链接。一般出现在站内文章的先关关键词新闻推荐或底部新闻推荐阅读上。其根本目的都是为了留住用户和百度蜘蛛在站内的浏览时间，增加网站好感度，从而提升网站总体数据值以达到网站排名的目的。不过在页面上的站内链接上也所有个数的，一般的企业站首页不可超过100个链接而站内页面一般也要控制在30—40个左右，这其中包括固有的导航栏链接。更多相关知识请百度搜索牛到家SEO
3、SEO优化中的蜘蛛陷阱怎样去避免
1、 登录要求
有些企业站和个人站设置一定要用户注册登录后，才能看到相关的文章内容，这种对蜘蛛不是很友好，因为蜘蛛无法提交注册，更无法输入用户名和密码登录查看内容。对于蜘蛛来说，用户直接点击查看到的内容也是蜘蛛所能看到的内容。如果你的网站有这种情况，请取消这一功能，但网站如果有VIP用户或部分资源，是可以这样设置的。
2、动态URL
动态URL可以简单理解为在URL中加入过多的符号或者网址参数，虽然随着搜索引擎的技术发展，动态URL对于蜘蛛的抓取已经越来越不是问题了，但是从搜索引擎友好度上讲，静态哪陷是伪静态相对来说都比动态URL要好。URL优化将在本章第6节中讨论。 ／
3、强制用Cookies
强制用Cookies对于搜索引擎来说相当于直接禁用了Cookies，而有些网站为了实现某些功能。会采取强制Cookies，例如跟踪用户访问路径，记住用户信息，甚至是盗取用户隐私等，如果用户访问这类站点时没有启用Cookies，所显示的页面就会不正常。所以，对于蜘蛛来讲，同样的网页无法正常访问。
4、 框架结构
早期框架网页到处被泛滥使用，而现在很多网站已经很少使用了，一是因为现在随着各大CMS系统的开发问世，网站维护相对越来越简单了，早期网站使用框架是因为对网站页面的维护有一定的便利性，现在已经大可不必了，而且不利于搜索引擎收录也是框架越来越少被使用的原因之一。
5、各种跳转
对搜索引擎来说，只对301跳转相对来说比较友好，对其他形式的跳转都比较敏感。如JavaScritp跳转、MetaRefresh跳转、Flash跳转、302跳转。
有些网站的做法很让人无奈，当打开网页后，会自动转向其他页面，如果打开的页面和你要找的页面丰体相关．+扫．笪讨很去，佃是很大部分的网站转向让你无任何理由和目的，这种转向不推荐大家使用，如果非要做转向，只推荐用301永久跳转，可以将权重进行传递，除此转向其他都不推荐，因为很多其他转向欺骗用户和搜索引擎，也是黑帽的一种手段，建议大家不要使用。
6、Flash
有的网站页面使用Flash视觉效果是很正常的，例如用Flash做的Logo、广告、图表等，这些对搜索引擎抓取和收录是没有问题的，但很多网站的首页是一个大的Flash文件，这种就叫蜘蛛陷阱。在蜘蛛抓取时，HTML代码中只是一个链接，并没有文字，虽然大的Flash效果看上去很好，外观看着也很漂亮，但可惜搜素引擎看不到，无法读取任何内容，所以，为了能体现网站优化的最好效果，不提倡这种Flash作为首页图片。
7、采用session id的页面
有的销售类站点为了分析用户的某些信息，会采用会话ID来跟踪用户。访问站点时，每个用户访问都会增加一次：?ssion id而加人到URL中。同样，蜘蛛的每一次访问也会被当作一个新用户。每次蜘蛛访问的URL中都会加入一个。Ession id，产生同一个页面但URL不同的情况，这种情况会产生复制内容页面，造成高度重复的内容页，同时也是最常见的蜘蛛陷阱之一。
8、JavaScript跳转
虽然现在搜索引擎对于JavaScript里的链接可以跟踪，甚至尝试拆解分析，但是我们最好不要寄望于搜索引擎自己克服困难。虽然通过JavaScript可以做一些效果不错的导航，但是CSS同样也可以做到。为了提高网站对搜索引擎的友好度，使网页能够更好地蜘蛛爬行，尽量不要采用JavaScript当然，在SEO中，JavaScript有一个好处就是站长不希望被收录的页面或者友情链接可以采用JavaSc:npt。当然，有一种方法可以消除JavaScript蜘蛛程序陷阱，即使用<noscript>标签。<noscript>标签是为不支持JavaScript的浏览器提供备选的代码。蜘蛛程序不会执行JavaScript，因此，它们通过处理<noscript>代码来代替。在SEO中，JavaScript也有一个好处就是站长不希望被收录的页面或者友情链接可以采用JavaScript。
4、seo网站优化中怎样增加百度蜘蛛抓取
网站排名好不好，流量多不多，其中一个关键的因素就是网站收录如何，尽管收录不能直接决定网站排名，但是网站的基础就是内容，没有内容想做好排名难上加难，好的内容能得到用户和搜索引擎的满意，可以让网站加分，从而促进排名，扩大网站的曝光页面。
具体参看一下几点：
1.网站及页面权重。
权重高、资格老、有权威的网站蜘蛛是肯定特殊对待的，这样的网站抓取的频率非常高，搜索引擎蜘蛛为了保证高效，对于网站不是所有页面都会抓取的，而网站权重越高被爬行的深度也会比较高，相应能被抓取的页面也会变多，这样能被收录的页面也会变多。
2.网站服务器。
网站服务器是网站的基石，网站服务器如果长时间打不开，那么这相当与闭门谢客，蜘蛛想来也来不了。百度蜘蛛也是网站的一个访客，如果服务器不稳定或是比较卡，蜘蛛每次来抓取都比较艰难，并且有的时候一个页面只能抓取到一部分，这样久而久之，百度蜘蛛的体验越来越差，自然会影响对网站的抓取
3.网站的更新频率。
蜘蛛每次爬行都会把页面数据存储起来。如果第二次爬行发现页面与第一次收录的完全一样，说明页面没有更新，蜘蛛也就没有必要经常抓取了。页面内容经常更新，蜘蛛就会更加频繁的访问页面，但是蜘蛛不是你一个人的，不可能就在这蹲着等你更新，所以我们要主动向蜘蛛示好，有规律的进行文章更新，这样蜘蛛就会根据你的规律有效的过来抓取，不仅让你的更新文章能更快的抓取到，而且也不会造成蜘蛛经常性的白跑一趟。
4.文章的原创性。
优质的原创内容对于百度蜘蛛的诱惑力是非常巨大的，蜘蛛存在的目的就是寻找新东西，所以网站更新的文章不要采集、也不要每天都是转载，我们需要给蜘蛛真正有价值的原创内容，蜘蛛能得到喜欢的，自然会对你的网站产生好感，经常性的过来觅食。
5.扁平化网站结构。
蜘蛛抓取也是有自己的线路的，在之前你就给他铺好路，网站结构不要过于复杂，链接层次不要太深，如果链接层次太深，后面的页面很难被蜘蛛抓取到。
6.网站程序。
在网站程序之中，有很多程序可以制造出大量的重复页面，这个页面一般都是通过参数来实现的，当一个页面对应了很多URL的时候，就会造成网站内容重复，可能造成网站被降权，这样就会严重影响到蜘蛛的抓取，所以程序上一定要保证一个页面只有一个URL，如果已经产生，尽量通过301重定向、Canonical标签或者robots进行处理，保证只有一个标准URL被蜘蛛抓取。
7.外链建设。
大家都知道，外链可以为网站引来蜘蛛，特别是在新站的时候，网站不是很成熟，蜘蛛来访较少，外链可以增加网站页面在蜘蛛面前的曝光度，防止蜘蛛找不到页面。在外链建设过程中需要注意外链的质量，别为了省事做一些没用的东西，百度现在对于外链的管理相信大家都知道，我就不多说了，不要好心办坏事了。
8.内链建设。
蜘蛛的爬行是跟着链接走的，所以内链的合理优化可以要蜘蛛抓取到更多的页面，促进网站的收录。内链建设过程中要给用户合理推荐，除了在文章中增加锚文本之外，可以设置相关推荐，热门文章，更多喜欢之类的栏目，这是很多网站都在利用的，可以让蜘蛛抓取更大范围的页面。
9.首页推荐。
首页是蜘蛛来访次数最多的页面，也是网站权重最高的页面，可以在首页设置更新版块，这样不仅能让首页更新起来，促进蜘蛛的来访频率，而且可以促进更新页的抓取收录。同理在栏目页也可以进行此操作。
10.检查死链，设置404页面
搜索引擎蜘蛛是通过链接来爬行搜索，如果太多链接无法到达，不但收录页面数量会减少，而且你的网站在搜索引擎中的权重会大大降低。蜘蛛在遇见死链就像进了死胡同，又得折返重新来过，大大降低蜘蛛在网站的抓取效率，所以一定要定期排查网站的死链，向搜索引擎提交，同时要做好网站的404页面，告诉搜索引擎错误页面。
11.检查robots文件
很多网站有意无意的直接在robots文件屏蔽了百度或网站部分页面，却整天在找原因为什么蜘蛛不来抓取页面，百度是怎么收录你的网页?所以有必要时常去检查一下网站robots文件是否正常。
12.建设网站地图。
搜索引擎蜘蛛非常喜欢网站地图，网站地图是一个网站所有链接的容器。很多网站的链接层次比较深，蜘蛛很难抓取到，网站地图可以方便搜索引擎蜘蛛抓取网站页面，通过抓取网站页面，清晰了解网站的架构，所以建设一个网站地图不仅提高抓取率还能获得蜘蛛好感。
13.主动提交
每次更新完页面，主动把内容向搜索引擎提交一下也是一个不错的办法，只不过不要没收录就一直去提交，提交一次就够了，收不收录是搜索引擎的事，提交不代表就要收录。
14.监测蜘蛛的爬行。
利用网站日志监测蜘蛛正在抓取哪些页面、抓取过哪些页面，还可以利用站长工具对蜘蛛的爬行速度进行查看，合理分配资源，以达到更高的抓取速度和勾引更多的蜘蛛。
总结：网站要获得更多的收录就需要做好搜索引擎蜘蛛的抓取优化工作，只有提高了网站整体的抓取率，才能提高相应的收录率，这样网站的内容才能获得更多展示和推荐，网站排名才能得到提高。底子打好才能往上爬，基础建设始终是网站优化的根本。
5、SEO 如何养SEO蜘蛛池
看你要做什么样的蜘蛛池，如果高质量的，那要自己养。其实就是养个站群。
每个网站都要认真做，做收录做细节等等。
如果你只是做个索引蜘蛛池，直接买别人的就是了。何必直接养呢。这种索引蜘蛛池都是垃圾池子。
6、seo怎么做好文章，让蜘蛛更好的抓取
坚持文章内容真实，保证原创度高，每天坚持发布文章。
7、SEO优化之如何培养蜘蛛爬行习惯
SEO优化认为，蜘蛛爬行习惯需要时间去培养，说到哪里，有的朋友会问：那么有没有快速培养蜘蛛爬行习惯的方法呢?其实快速培养蜘蛛爬行习惯的方法是有的，只是比传统的方法要难一些，并且快速培养蜘蛛爬行习惯要按照：“新、期、量、结、准、耐、快”进行工作，可能我这么说有的朋友会感觉莫名其妙，不理解这七个字的含义，其实这七个字已经包含了如何快速培养蜘蛛爬行习惯的方法，下面SEO优化给大家说一下：
1、认为“新”的含义就是说我们每天更新的文章一定要原创，把最新的原创文章发布到我们的网站当中，大家都知道原创文章是蜘蛛最喜欢的，并且写原创文章也是有技巧的哦，大家有没有发现蜘蛛比较喜欢新闻文章，所以我们原创的文章最好要按照新闻格式去写，这样收录的效果会很好，并且每天我们要在站内更新4-6篇原创文章，这样蜘蛛收录的概率会加大，以便于我们培养蜘蛛爬行习惯。
2、SEO优化认为“期”的含义就是说时间，培养蜘蛛爬行习惯是需要时间的考验，所以我们一定要按照这个规律，我们可以尽可能缩短培养蜘蛛爬行习惯的时间，但是培养蜘蛛爬行习惯是没有速成法的，所以大家一定要按照培养蜘蛛爬行习惯的法则去办事。
3、SEO优化认为“量”的含义就是说我们在站外发帖的数量，为什么要在站外发帖，其实站外发帖起着一个吸引蜘蛛爬行网站的效果，所以多发一些帖子对与我们网站收录就多加一份希望，所以每天我们一定要定量发帖，每天我们发帖要发100-200帖子，这样蜘蛛爬行的概率会大大增加，并且发帖的时候尽可能的找一些收录快的论坛发帖，这样一来蜘蛛爬行习惯培养速度会非常快。
4、SEO优化认为“结”的含义就是说网站的结构和网站蜘蛛爬行习惯结合起来一起做，这就是“结”的含义，我们在培养蜘蛛爬行习惯的时候一定要注意网站的结构问题，如果说网站的结构不好，就算你的网站文章再好搜索引擎蜘蛛也是很难收录的，所以为了能确保收录的畅顺，我们一定要确保网站的结构适合蜘蛛爬行，网站结构不要太复杂，代码也不要写的太乱，这样一来好的站内结构是影响网站收录的重要因素之一。
5、SEO优化认为“准”字的含义就是说每天要准时更新文章，在我们每天更新文章的时候，我们要尽可能的在早上更新完毕文章，最好的时间段是8-10点之间，这样有利于蜘蛛快速培养习惯，其实蜘蛛最开始收录的习惯一般都是在半夜，如果说你长时间在一个时间段更新文章，蜘蛛爬行的顺畅这样蜘蛛爬行习惯培养速度会很快，所以我们在更新网站的时候一定要准时准点去更新。
6、SEO优化认为“耐”的含义不用说我相信大家一定猜到了，做蜘蛛爬行习惯的时候，我们一定要有耐心去做，如果说做到一般没有耐心了，那么你的网站是永远培养不好蜘蛛爬行习惯的，这样的话，你以前的工作会前功尽弃。
7、SEO优化认为“快”的含义就是说，当我们结合上面的6点去培养蜘蛛爬行习惯的时候，我们的网站培养蜘蛛爬行习惯的速度是非常快的，一般在1-2个月左右，你的网站就会快速的增长权重，并且蜘蛛会对你的网站进行大规模的收录，并且到那时，你的网站做什么关键词都没有问题了。
8、什么是蜘蛛池/SEO蜘蛛池如何养
蜘蛛池是一种通过利用大型平台权重来获得百度收录以及排名的一种程序，程序员常称为“红蜘蛛池”，这是一种可以快速提升网站排名的一种程序，值得一提的是，它是自动提升网站的排名和网站的收录，这个效果是非常出众的。
9、seo入门之怎么改变蜘蛛爬行的频率
方法有3种：
1、网站中有一个网站日志的。可以分析日志，得出蜘蛛什么时候来网站，我们只需要在那个时候将网站更新，会增加蜘蛛的爬取频率
2、在你更新内容后，在站长工具提交。分为手动和自动
3、可以安装结构化数据插件。在源代码中加入自动调代码
以上都可以提高蜘蛛爬取频率。
10、SEO 怎么禁止百度蜘蛛爬某个文件夹？
经常有站长咨询说百度蜘蛛频繁抓取网页的js文件和css文件，想屏蔽百度蜘蛛不让百度蜘蛛抓取这些文件，但是很多站长有担心如何屏蔽了百度蜘蛛抓取css文件和js文件是否会对网站排名产生不利影响，于是这些站长很纠结。
从百度站长优化指南我们就可以指定，百度排名不会考虑js文件或者css文件，也就是说js文件和css文件不参与百度排名，但是大量站长反馈，虽然禁止百度抓取js和css文件，但是百度蜘蛛还是照样抓取不误，毫无疑问，它们是用来支撑网站整体上的功能性和美观性，任何网站都需要js和css。
禁止百度收录和抓取css文件的方法
通过robots.txt文件实现禁止百度收录
我们看看其他站长对禁止百度蜘蛛收录js和css的看法。
1、谷歌管理员指南说明
阻止你的CSS和js文件可能会影响你在谷歌的搜索排名，所以建议robots.txt不要禁止JS和CSS文件访问。
谷歌索引的建议：
网页加载速度对用户和索引依然非常重要。
屏蔽JS和CSS，谷歌索引将无法向普通用户那样读取页面。
如果JS太复杂，渲染页面可能不正确。
2、夫唯 - SEOWHY创始人
我认为“蜘蛛抓取一个网站的时间是一定的，限制了某文件被抓取，则它又更多时间去抓取别的网页”
如果不成立，则完全没必要屏蔽CSS和JS了。
如果成立，那要屏蔽的就不止CSS和JS了，很多没实质意义的文件都值得屏蔽。
3、站长：小小马
顺其自然最好，该出现的还是让它出现，该让蜘蛛抓取还是要抓取的，没有必要去限制太多，这样反而不好。
4、站长：张立博
我觉得没必要屏蔽，因为搜索引擎会知道哪些是JS、CSS，哪些是网页文件。抓取js和css的蜘蛛应该不会影响网页的抓取频率。
至于搜索引擎抓取js和css，可能跟快照有关，因为现在网站的页面大多是用div+css来建设的，如果没有css的页面会惨不忍睹的。
所以不排除搜索引擎在试图解释JS和CSS文件，来丰富网页的内容，让搜索更精确。
5、站长：冯涵
经过试验和跟踪数据表明：
1>被屏蔽掉的js/css文件依然会被baidu和google大量crawl
2>屏蔽后跟踪观察其他page
type
蜘蛛crawl量，发现并未增加
3>如果网站大部分js/css文件里包含较多URL可以不屏蔽，蜘蛛爬取js/css文件的同时可以爬取里面的link
4>如果网站大部分js/css文件里基本上都是代码之类的，屏蔽也可，没发现明显的好处也没发现坏处
。
冲浪网站优化网：我们不建议禁止百度收录js或者css文件，毕竟百度抓取这些文件对网站整体性能影响微乎其微，如果禁止百度抓取js或者css，可能会影响百度快照js特效和css样式得不偿失，建议不要这样做。