seo蜘蛛抓取

1、【seo】蜘蛛是否可以抓取登陆后的页面

我有点明白你的意思了
SEO中的Cloaking-障眼法是什么意思呢？

指对某一个网页制作了两个版本，让搜索引擎和浏览者分别看到不同的网页内容（采用识别访问者身份的技术）。搜索引擎抓取这个网页时，获得的是纯粹为了优化某些关键词而组织的内容，而网页浏览者看到的是另一个截然不同的内容。

Cloaking-障眼法是典型的SEO作弊，搜索引擎一旦识别就会对网站进行严厉惩罚。

什么操作会被降劝给你说下：

百度对作弊的判定条件

在网页源代码中任何位置，故意加入与网页内容不相关的关键词。
在网页源代码中任何位置，故意大量重复某些关键词。即使与网页内容相关的关键词，故意重复也被视为作弊行为。
在网页中加入搜索引擎可识别但用户看不见的隐藏文字。无论是使用同背景色文字、 超小字号文字、文字隐藏层、还是滥用图片ALT 等方法，都属于作弊行为。
故意制造大量链接指向某一网址的行为。
对同一个网址，让搜索引擎与用户访问到不同内容的网页（包括利用重定向等行为）。
作弊行为的定义是针对网站而不是网页的。一个网站内即使只有一个网页作弊，该 网站也被认为是有作弊行为。
有链接指向作弊网站的网站，负连带责任，也会被认为是作弊（但是，作弊网站上 链接指向的网站，不算作弊）。

Google 对作弊的判定条件

使用隐藏文本或隐藏链接。
采用隐藏真实内容或欺骗性重定向手段。
向 Google 发送自动查询。
使用无关用语加载网页。
创建包含大量重复内容的多个网页、子域或域。
创建安装病毒 （如，特洛伊木马）或其他有害软件的网页。
采用专门针对搜索引擎制作的“桥页”，或采用如联属计划这类原创内容很少或几乎没有原创内容的“俗套”(cookie cutter) 方式。
希望能够帮到你

2、seo网站百度蜘蛛抓取是否有规律

seo网站百度蜘蛛抓取当然有规律，否则怎么那么多网站排名不一样，都是蜘蛛抓取得来的结果！！
那么：解析百度蜘蛛如何抓取网站和提高抓取频率？？？

解答如下：

　一、百度蜘蛛抓取规则
1、对网站抓取的友好性
百度蜘蛛在抓取互联网上的信息时为了更多、更准确的获取信息，会制定一个规则最大限度的利用带宽和一切资源获取信息，同时也会仅最大限度降低对所抓取网站的压力。
2、识别url重定向
互联网信息数据量很庞大，涉及众多的链接，但是在这个过程中可能会因为各种原因页面链接进行重定向，在这个过程中就要求百度蜘蛛对url重定向进行识别。
3、百度蜘蛛抓取优先级合理使用
由于互联网信息量十分庞大，在这种情况下是无法使用一种策略规定哪些内容是要优先抓取的，这时候就要建立多种优先抓取策略，目前的策略主要有：深度优先、宽度优先、PR优先、反链优先，在我接触这么长时间里，PR优先是经常遇到的。
4、无法抓取数据的获取
在互联网中可能会出现各种问题导致百度蜘蛛无法抓取信息，在这种情况下百度开通了手动提交数据。
5、对作弊信息的抓取
在抓取页面的时候经常会遇到低质量页面、买卖链接等问题，百度出台了绿萝、石榴等算法进行过滤，据说内部还有一些其他方法进行判断，这些方法没有对外透露。
上面介绍的是百度设计的一些抓取策略，内部有更多的策略咱们是不得而知的。
　二、百度蜘蛛抓取过程中涉及的协议
1、http协议：超文本传输协议
2、https协议:目前百度已经全网实现https，这种协议更加安全。
3、robots协议：这个文件是百度蜘蛛访问的第一个文件，它会告诉百度蜘蛛，哪个页面可以抓取，哪个不可以抓取。
　三、如何提高百度蜘蛛抓取频次
百度蜘蛛会根据一定的规则对网站进行抓取，但是也没法做到一视同仁，以下内容会对百度蜘蛛抓取频次起重要影响。
1、网站权重：权重越高的网站百度蜘蛛会更频繁和深度抓取
2、网站更新频率：更新的频率越高，百度蜘蛛来的就会越多
3、网站内容质量：网站内容原创多、质量高、能解决用户问题的，百度会提高抓取频次。
4、导入链接：链接是页面的入口，高质量的链接可以更好的引导百度蜘蛛进入和爬取。
5、页面深度：页面在首页是否有入口，在首页有入口能更好的被抓取和收录。
6、抓取频次决定着网站有多少页面会被建库收录，这么重要的内容站长该去哪里进行了解和修改，可以到百度站长平台抓取频次功能进行了解，如下图：

四、什么情况下会造成百度蜘蛛抓取失败等异常情况
有一些网站的网页内容优质、用户访问正常，但是百度蜘蛛无法抓取，不但会损失流量和用户还会被百度认为网站不友好，造成网站降权、评分下降、导入网站流量减少等问题。
霍龙在这里简单介绍一下造成百度蜘蛛抓取一场的原因：
1、服务器连接异常:出现异常有两种情况，一是网站不稳定，造成百度蜘蛛无法抓取，二是百度蜘蛛一直无法连接到服务器，这时候您就要仔细检查了。
2、网络运营商异常:目前国内网络运营商分电信和联通，如果百度蜘蛛通过其中一种无法访问您的网站，还是赶快联系网络运营商解决问题吧。
3、无法解析IP造成dns异常:当百度蜘蛛无法解析您网站IP时就会出现dns异常，可以使用WHOIS查询自己网站IP是否能被解析，如果不能需要联系域名注册商解决。
4、IP封禁:IP封禁就是限制该IP，只有在特定情况下才会进行此操作，所以如果希望网站百度蜘蛛正常访问您的网站最好不要进行此操作。
5、死链：表示页面无效，无法提供有效的信息，这个时候可以通过百度站长平台提交死链。
通过以上信息可以大概了解百度蜘蛛爬去原理，收录是网站流量的保证，而百度蜘蛛抓取则是收录的保证，所以网站只有符合百度蜘蛛的爬去规则才能获得更好的排名、流量。

3、seo蜘蛛是什么意思?

这都是专业的网络用语seo是一种搜索隐形的简称。蜘蛛可能说的是类似于爬虫的抓取的代码。

4、SEO 怎么禁止百度蜘蛛爬某个文件夹？

经常有站长咨询说百度蜘蛛频繁抓取网页的js文件和css文件，想屏蔽百度蜘蛛不让百度蜘蛛抓取这些文件，但是很多站长有担心如何屏蔽了百度蜘蛛抓取css文件和js文件是否会对网站排名产生不利影响，于是这些站长很纠结。

从百度站长优化指南我们就可以指定，百度排名不会考虑js文件或者css文件，也就是说js文件和css文件不参与百度排名，但是大量站长反馈，虽然禁止百度抓取js和css文件，但是百度蜘蛛还是照样抓取不误，毫无疑问，它们是用来支撑网站整体上的功能性和美观性，任何网站都需要js和css。

禁止百度收录和抓取css文件的方法

通过robots.txt文件实现禁止百度收录

我们看看其他站长对禁止百度蜘蛛收录js和css的看法。

1、谷歌管理员指南说明

阻止你的CSS和js文件可能会影响你在谷歌的搜索排名，所以建议robots.txt不要禁止JS和CSS文件访问。
谷歌索引的建议：
网页加载速度对用户和索引依然非常重要。
屏蔽JS和CSS，谷歌索引将无法向普通用户那样读取页面。
如果JS太复杂，渲染页面可能不正确。

2、夫唯 - SEOWHY创始人

我认为“蜘蛛抓取一个网站的时间是一定的，限制了某文件被抓取，则它又更多时间去抓取别的网页”
如果不成立，则完全没必要屏蔽CSS和JS了。
如果成立，那要屏蔽的就不止CSS和JS了，很多没实质意义的文件都值得屏蔽。

3、站长：小小马

顺其自然最好，该出现的还是让它出现，该让蜘蛛抓取还是要抓取的，没有必要去限制太多，这样反而不好。

4、站长：张立博

我觉得没必要屏蔽，因为搜索引擎会知道哪些是JS、CSS，哪些是网页文件。抓取js和css的蜘蛛应该不会影响网页的抓取频率。
至于搜索引擎抓取js和css，可能跟快照有关，因为现在网站的页面大多是用div+css来建设的，如果没有css的页面会惨不忍睹的。
所以不排除搜索引擎在试图解释JS和CSS文件，来丰富网页的内容，让搜索更精确。

5、站长：冯涵

经过试验和跟踪数据表明：
1>被屏蔽掉的js/css文件依然会被baidu和google大量crawl
2>屏蔽后跟踪观察其他page
type
蜘蛛crawl量，发现并未增加
3>如果网站大部分js/css文件里包含较多URL可以不屏蔽，蜘蛛爬取js/css文件的同时可以爬取里面的link
4>如果网站大部分js/css文件里基本上都是代码之类的，屏蔽也可，没发现明显的好处也没发现坏处
。

冲浪网站优化网：我们不建议禁止百度收录js或者css文件，毕竟百度抓取这些文件对网站整体性能影响微乎其微，如果禁止百度抓取js或者css，可能会影响百度快照js特效和css样式得不偿失，建议不要这样做。

5、SEO网站优化搜索引擎蜘蛛抓取预处理过程？

1、提取文字 现在的搜索引擎还是以文字内容为基础，蜘蛛抓取到的页面中的HTML代码，除了用户在浏览器上可以看到的可见文字处，还包含了大量的HTML格式标签，JavaScript 程序等无法用于排名的内容，搜索引擎预处理首先要做的就是从HTML文件中去除标签、程序，提取出可以用于排名处理的网页面文字内容。2、中文处理分词是中文搜索引擎特有的步骤。搜索引擎存储和处理页面及用户搜索都是以词为基础的。英文等语言单词与单词之间有空格分隔，搜索引擎索引程序可以直接把句子划分为单词的集合。而中文词与词之间没有任何分隔符，一个句子中所有字和词都是连在一起的。搜索引擎必须首先分辨哪几个词组成一个词，哪些字本身就是一个词。比如“公务员考试”将被分词为“公务员”和“考试”两个词。3、去停止词无论是英文还是中文，页面内容中都会有一些出现频率很高，却对内容没有任何影响的词，如“的”、“地”、“得”之类的助词，“阿”、“哈”、“呀”之类的感叹词，“从而”、“以”、“却”之类的副词或介词。这些词被称为停止词，因为它们对页面的主要意思没什么影响。英文中的常见停止词有the ,a ,an ,to ,of 等。4、去除噪音 绝大部分页面上还有一部分内容对页面主题也没有什么贡献，比如版权声明文字，导航条、广告等。以常见的博客导航为例，几乎每个博客页面上都会出现文章分类、历史存档等导航内容，这些页面本身与“分类”、“历史”这些词都没有任何关系。用户搜索“历史”、“分类“ 这些关键词时仅仅因为页面上有这些词出现而返回博客贴子是毫无意义的，完全不相关。所以这些区城都司于噪声，对页面主题只能起到分散作用。5、去重 去重的基本方法是对页面特征关系 词计算指指纹，也就是说从页面主体内容中选取最有的一部分关键词（经常是出现频率最高的关系词），然后计算这些关键词的数字指纹。这些关键词选取是在分词、去停止词、消噪之后。通常选取10个特征关键词就可以达到比较高的计算准备性，再选取更多词对去重准确性提高的贡献也就不大了。6、正向索引7、倒序索引8、链接关系计算页面上有哪些链接指向哪些其他页面，每个页面有哪些导入链接，链接使用了什么锚文字，这些复杂的链接指向关系形成了网站和页面的链接权重9、特殊文件处理 除了HTML文件外，搜索引擎通常还能抓取和索引以文字为基础的多种文件类型，如PDF、Word、WPS、XLS、PPT、TXT文件等。我们在搜索结果中也经常会看到这些文件类型。但目前的搜索引擎还不能处理图片、视频、Flash这类非文字内容，也不能执行脚本和程序

6、百度seo优化：百度蜘蛛喜欢抓取怎样的网站

百度seo网站优化，原来蜘蛛的抓取规律喜欢这样子来的。

百度seo网站优化之如何向搜素引擎彰显网站的亮点

百度seo网站优化做吸引眼球的标题

用户在百度网页搜索中搜索到你的网页时，title会做为最重要的内容显示在摘要中，一个主题明确的title可以帮助用户更方便地从搜索结果中判断你网页上内容是否符合他需求。并且很多时候好的标题能让你的网站在众多网站中脱颖而出，可能在排名低于别人的情况下用户选择你。

1、标题要主题明确，包含这个网页中最重要的内容

2、文章页title中不要加入过多的额外描述，会分散用户注意力

3、使用用户所熟知的语言描述

4、描述合乎逻辑，用户能看懂

5、如果您的网站用户比较熟悉，建议将网站名称列到title中合适的位置，品牌效应会增加用户点击的机率

6、标题要对用户有吸引力

7、能让用户产生信任感

百度seo网站优化怎样布置网站描述

网站描述是对网页内容的精练概括。很多人会问为什么我的网站的快照描述不是我在Meta信息中写的，是这样的，网站描述信息只是写给搜索引擎的一个推荐描述，如果description描述与网页内容相符，百度会把description当做摘要的选择，网站SEO优化，如果与网页不相符，百度就会在该网页中采集一段认为相符的文字，但很多时候百度采集的描述很差，设置是一句不连贯的话，所以写好一个与网站内容相符的描述非常最要，一个好的描述会帮助用户更方便的从搜索结果中判断你的网页内容是否和需求相符。标题的篇幅毕竟是有限的，描述就是对标题最好的拓展。

百度搜索引擎优化指南这样之初：描述不是权值计算的直接参考因素，这个标签存在与否不影响网页权值，只会用做搜索结果摘要的一个选择目标。

但是我们在优化中往往会发现好的网站都会有不错的描述，尽管描述不直接参与排名，但是可以突出品牌，吸引点击，这是间接促进了网站的排名。

1、网站首页、频道页、产品参数页等都要有不同的描述信息

2、准确的描述网页，不要堆砌关键词;

3、如果您的网站用户比较熟悉，建议将网站名称列到描述中合适的位置，整站优化，品牌效应会增加用户点击的机率;

4、长度合理，不过长不过短。

百度seo网站优化的"三项规则"，请滚瓜烂熟

奥运会有铁人三项，此运动更好的协调了运动员的综合素质水平，而百度优化排名中的"三项规则"规则则是让网站在百度seo优化的整体质量更好的满足市场用户体验。针对不同部分的操作，可以让网站在每个细节处都能凸显以人为本的服务理念，也更贴合了当代为人服务的根本。途光网络今天要和大家分享就是探讨百度优化排名中的"铁人三项"规则。

我们知道在网站推广中，不可缺少的部分有网站品牌词、网站内容、网站布局等。在百度的三项硬件规则中，网站的关键词设定、网站内容的整合和网站链接投票因素则是最为重要的。

第一，网站品牌词定位。

网站品牌词多是选择企业产品的市场、用户定位，以方便在百度seo网站优化排名稳定的同时能够给网站带来转化率促成网络销售。而我们知道单单的关键词排名提升并非就可以让网站盈利扶摇而上。而且百度seo网站优化排名本身也不是一蹴而就的，要想在短时间内夺得到排名优势，不但要针对关键词进行优化，还要针对汉语法中出现的错字、别字进行有利筛选。当然，这些错字别词并非是让你罗列在网站页面上，这样反而会造成网页主题的偏离，而是要在网站根目录下建立关键词库。将常用错字别词添加到里面去，在页面只要留下一个spider端口即可。

错字别词库的建立能够让用户在检索时候更大力度来匹配网站，这样才进行网站主推关键词优化时也是有利的。主关键词推动想必大家已有所了解，主要还是针对在网站的title、keywords和description中，同时要求在网站各个页面专栏中都要出现主关键词，便于主题更好的融合。

第二，网站内容添加。

无论百度算法怎样的变更，其根本还是针对用户来做的，那网站内容的添加也就要根据行业用户需求群体来添加。之前不同行业用户数据分析方面我也有讲过很多，这里就不在逐一罗列。今天要针对的内容添加问题主要是在体现在网站内容的质量上。因为开源化的网络环境让任何信息都不在闭塞，要想获得好的用户体验，在网站内容质量上一定要过关。

1、内容避免重复性。现代网络内容杂而无章，这就致使很多非专业SEOer在对网站内容添加时出现了重复的现象，看似不同的题目中所展现的主题是一致的。网络服务器资源有限，与其用这些冗杂的内容占据空间不如清空这些数据便于蜘蛛的快速爬行。

2、内容主题稳定性。很多做百度seo网站优化而经常会泛这样的错误，在网站后期优化时因为找到更加贴合的相关性内容便开始滥竽充数，将一些无用的文章放在上面，这样很容易造成主题的变差，从而影响网站的主题的固定性和稳定性。或者整体页面全部由Flash和图片组成，这样就严重导致页面文字失衡，让搜索引擎不能够保质保量的抓取页面内容，造成网站主题失真。

第三，网站链接投票因素。

网因素就将相关性内容相链接从而增加网站内容优质站链接投票因素一般分为站外投票和站内投票两种。站外投票因素主要就是通过外链来引导用户点击而促成的点击投票;站内投票循环。

站外投票，建立站外投票时候要注意的就是外链的数量和稳定性。网站上线时间和外链比例在百度规则中是有峰值区间的。这个峰值区域多成抛物线型，因而在网站上线前期不要出现大批量网站外链数量，因为一旦超过峰值高区域那么就容易被百度判断为作弊网站，从而影响网站优化;

站内投票，主要就是将相关性内容进行链接。一般出现在站内文章的先关关键词新闻推荐或底部新闻推荐阅读上。其根本目的都是为了留住用户和百度蜘蛛在站内的浏览时间，增加网站好感度，从而提升网站总体数据值以达到网站排名的目的。不过在页面上的站内链接上也所有个数的，一般的企业站首页不可超过100个链接而站内页面一般也要控制在30—40个左右，这其中包括固有的导航栏链接。更多相关知识请百度搜索牛到家SEO

7、seo网站优化中怎样增加百度蜘蛛抓取

网站排名好不好，流量多不多，其中一个关键的因素就是网站收录如何，尽管收录不能直接决定网站排名，但是网站的基础就是内容，没有内容想做好排名难上加难，好的内容能得到用户和搜索引擎的满意，可以让网站加分，从而促进排名，扩大网站的曝光页面。
具体参看一下几点：

1.网站及页面权重。
权重高、资格老、有权威的网站蜘蛛是肯定特殊对待的，这样的网站抓取的频率非常高，搜索引擎蜘蛛为了保证高效，对于网站不是所有页面都会抓取的，而网站权重越高被爬行的深度也会比较高，相应能被抓取的页面也会变多，这样能被收录的页面也会变多。
2.网站服务器。
网站服务器是网站的基石，网站服务器如果长时间打不开，那么这相当与闭门谢客，蜘蛛想来也来不了。百度蜘蛛也是网站的一个访客，如果服务器不稳定或是比较卡，蜘蛛每次来抓取都比较艰难，并且有的时候一个页面只能抓取到一部分，这样久而久之，百度蜘蛛的体验越来越差，自然会影响对网站的抓取
3.网站的更新频率。
蜘蛛每次爬行都会把页面数据存储起来。如果第二次爬行发现页面与第一次收录的完全一样，说明页面没有更新，蜘蛛也就没有必要经常抓取了。页面内容经常更新，蜘蛛就会更加频繁的访问页面，但是蜘蛛不是你一个人的，不可能就在这蹲着等你更新，所以我们要主动向蜘蛛示好，有规律的进行文章更新，这样蜘蛛就会根据你的规律有效的过来抓取，不仅让你的更新文章能更快的抓取到，而且也不会造成蜘蛛经常性的白跑一趟。
4.文章的原创性。
优质的原创内容对于百度蜘蛛的诱惑力是非常巨大的，蜘蛛存在的目的就是寻找新东西，所以网站更新的文章不要采集、也不要每天都是转载，我们需要给蜘蛛真正有价值的原创内容，蜘蛛能得到喜欢的，自然会对你的网站产生好感，经常性的过来觅食。
5.扁平化网站结构。
蜘蛛抓取也是有自己的线路的，在之前你就给他铺好路，网站结构不要过于复杂，链接层次不要太深，如果链接层次太深，后面的页面很难被蜘蛛抓取到。
6.网站程序。
在网站程序之中，有很多程序可以制造出大量的重复页面，这个页面一般都是通过参数来实现的，当一个页面对应了很多URL的时候，就会造成网站内容重复，可能造成网站被降权，这样就会严重影响到蜘蛛的抓取，所以程序上一定要保证一个页面只有一个URL，如果已经产生，尽量通过301重定向、Canonical标签或者robots进行处理，保证只有一个标准URL被蜘蛛抓取。
7.外链建设。
大家都知道，外链可以为网站引来蜘蛛，特别是在新站的时候，网站不是很成熟，蜘蛛来访较少，外链可以增加网站页面在蜘蛛面前的曝光度，防止蜘蛛找不到页面。在外链建设过程中需要注意外链的质量，别为了省事做一些没用的东西，百度现在对于外链的管理相信大家都知道，我就不多说了，不要好心办坏事了。
8.内链建设。
蜘蛛的爬行是跟着链接走的，所以内链的合理优化可以要蜘蛛抓取到更多的页面，促进网站的收录。内链建设过程中要给用户合理推荐，除了在文章中增加锚文本之外，可以设置相关推荐，热门文章，更多喜欢之类的栏目，这是很多网站都在利用的，可以让蜘蛛抓取更大范围的页面。
9.首页推荐。
首页是蜘蛛来访次数最多的页面，也是网站权重最高的页面，可以在首页设置更新版块，这样不仅能让首页更新起来，促进蜘蛛的来访频率，而且可以促进更新页的抓取收录。同理在栏目页也可以进行此操作。
10.检查死链，设置404页面
搜索引擎蜘蛛是通过链接来爬行搜索，如果太多链接无法到达，不但收录页面数量会减少，而且你的网站在搜索引擎中的权重会大大降低。蜘蛛在遇见死链就像进了死胡同，又得折返重新来过，大大降低蜘蛛在网站的抓取效率，所以一定要定期排查网站的死链，向搜索引擎提交，同时要做好网站的404页面，告诉搜索引擎错误页面。
11.检查robots文件
很多网站有意无意的直接在robots文件屏蔽了百度或网站部分页面，却整天在找原因为什么蜘蛛不来抓取页面，百度是怎么收录你的网页?所以有必要时常去检查一下网站robots文件是否正常。
12.建设网站地图。
搜索引擎蜘蛛非常喜欢网站地图，网站地图是一个网站所有链接的容器。很多网站的链接层次比较深，蜘蛛很难抓取到，网站地图可以方便搜索引擎蜘蛛抓取网站页面，通过抓取网站页面，清晰了解网站的架构，所以建设一个网站地图不仅提高抓取率还能获得蜘蛛好感。
13.主动提交

每次更新完页面，主动把内容向搜索引擎提交一下也是一个不错的办法，只不过不要没收录就一直去提交，提交一次就够了，收不收录是搜索引擎的事，提交不代表就要收录。
14.监测蜘蛛的爬行。
利用网站日志监测蜘蛛正在抓取哪些页面、抓取过哪些页面，还可以利用站长工具对蜘蛛的爬行速度进行查看，合理分配资源，以达到更高的抓取速度和勾引更多的蜘蛛。

总结：网站要获得更多的收录就需要做好搜索引擎蜘蛛的抓取优化工作，只有提高了网站整体的抓取率，才能提高相应的收录率，这样网站的内容才能获得更多展示和推荐，网站排名才能得到提高。底子打好才能往上爬，基础建设始终是网站优化的根本。

8、seo怎么做好文章，让蜘蛛更好的抓取

坚持文章内容真实，保证原创度高，每天坚持发布文章。

9、seo蜘蛛爬行过程遍历方式是什么

二种方式，第一种目录抓取，如下图，首先蜘蛛会抓取第一层也就是网站根目录下的所有文件夹，然后在抓取文件里的文件夹，想像一下，如果文件夹深度几百，几千层，或者是无限深，蜘蛛是很难达到的，根本就抓不到的，

第二个，以链接进行抓以，不管通过外部链接也好，到达你网站的页面，如首页，如下图的域名，这个时候蜘蛛会跟着面里面的链接，html代码中的网址，从上到下进行抓取，然后又会跟着那个链接继续向下一个页面进行抓取

总结，为了能够更好的抓取，蜘蛛是结合二种方式来的，所以在《百度搜索引擎优化指南2.0》《谷歌搜索引擎优化初学者指南》都有对结构的说明，你是用树形式的，还是扁平的二种方式

10、SEO里的蜘蛛是什么意思？

搜索引擎蜘蛛，是搜索引擎自己研发的一个搜索引擎抓取程序。它主要抓取互联网上的上的网页、图片、视频等内容，方便搜索引擎对这些内容进行索引， 然后用户就可以在搜索引擎里搜索他们想要的内容，出现他们需要的结果。由于抓取程序的在互联网上不停地爬，就好比蜘蛛在他的网上爬取一样，所以大家给“搜索引擎抓取程序”取名叫蜘蛛。