1、百度等蜘蛛爬虫是如何发现而且抓取网站目录等文件？
爬虫是跟着链接抓取的 所以网站内部结构要合理精剪 减少爬虫抓取的路径
可以把a目录去掉 有利于爬虫抓取
最重要的是网站内容要好 权重高 质量好 爬虫自然来的频率也高 那收录也会好
2、爬虫获取搜索引擎得到的搜索结果数
你要的就是下面这段数据吧？html就有，用正则抽取一下就ok了。
<div id="resultStats">找到约 104,000,000 条结果<nobr> （用时 0.25 秒） </nobr></div>
3、爬虫技术之数据采集？
将页面用字符的形式分析（正则表达式取出）所有的url存入特点数据结版构（如链表），权然后分别下载链表中的url指示的页面。再分析，再下载，不断循环。那么下载的页面，就是网上的网页。按一定的算法索引起来，就是你的数据了。按url转跳的顺序可以分为深度和广度优先。这是最简单的一个爬虫。只要防止无限的循环，（就是一个页面的url中全部都指向自身，那么爬虫就不断下载一个页面了）网上的数据最终都可以下载下来。爬虫就是这个思想。但真正的爬虫都是有智能的取舍算法，多只爬虫并行采集的复杂系统。
4、爬虫技术可以抓取到淘宝天猫京东订单页的数据吗
订单页的数据从设计和安全性上讲,一般是不允许未登录状态访问的.而且登录状态的用户也访问不了他人的订单数据.而爬虫(搜索引擎)技术也应该是属于匿名访问,所以是抓取不到的数据的.
5、SemrushBot这种爬虫来抓取是好事吗
不是好事。
SemrushBot分析你站点，收集你站点信息的，可用于竞争对手分析数据，当然要屏蔽这些bot，不然被竞争对手反向查一下，内裤都掉出来了，关键还是个国外的软件，可以说这东西完全没用。
6、怎么利用爬虫技术抓取淘宝搜索页面的产品信息
写个脚本定时抓取 制定网页地址，通过正则表达式 匹配过滤想要的数据 整理成自版己想要的格式（比如excel）。
PHP 语言的话权，可以用 file_get_content、curl。
Linux 可以用 curl wget 等。
7、python写的爬虫，抓取百度的搜索结果，被屏蔽了怎么办
从降低爬取频率的角度来说，可以设置一个随机数，每次爬取之后，让爬虫休眠这个随机数的时间。如果能更清楚网络的防御机制就有其他方法了。
8、使用爬虫技术中，有什么限制，意思是爬虫可以从所有的网络网站网页，企业，私人，去抓取信息吗？
网络上的公开信息大家都有权利获取，但并不意味着可以获取他人隐私，更不能将爬取的专信息用于非法途径属，出于学习、研究目的爬取一些企业公开信息是合法的，切记不可利用爬虫获取他人未授权的信息，比如你爬取企业网站展示的内容是无可非议的，但是爬取别人的网站后台就属非法了。别忘了爬虫学得好，牢饭吃到饱。不要用于非法目的，不要用于非法目的，不要用于非法目的，重要的事说三遍。望采纳
9、如何学习爬虫技术抓取数据
学习任何一门语言都是从入门，通过不间断练习达到熟练水准，少数人最内终能精通语言，成为执牛容耳者，他们是金字塔的最顶层。
当你决定学Python爬虫时，需要有一个清晰且短期内可实现的目标，比如通过学习找一份初级程序员工作。目标明确后，你需要知道企业对Python程序员的技能有哪些要求。
可能你会纠结是学Python2还是Python3，就像手里同时有包子和馒头，不知道先吃哪个，这种纠结完全就是徒增烦恼。
因为它们是同一种语言，只有少部分地方语法不兼容。Python3逐渐成为主流已是不争事实，毕竟后者性能方面更占有优势，官方也在力推Python3。所以选Python3吧，最多花一天的时间能把Python2中特有的内容搞懂。
至于有哪些资源现在可以用，你可以积极参与到相关的技术圈子中去，尝试去解答力所能及的新手问题，向圈子中的大牛们寻求帮助，善于总结自己所学到的东西，分享给更多的人。记住，你不是一个人在战斗!
只看书不会进步，思考和实践才有成长，自学编程是一个比较枯燥的过程，一定要坚持。
哦对了，目前我也在学习，你可以看一下这个基础视频，很有帮助的。
python基础视频教程
10、不了解爬虫技术，想问一下，爬虫技术在收集信息吗，是从哪里开始进行呢，就是说爬虫可以从哪些地方收集？
就是蜘蛛啊，在蛛网上乱爬，爬到信息酒汇报给主人。就是一段程序，互联网有好多节点，收集到信息就返回服务器。爬虫喜欢新的信息，原创的信息，当然，这些是在服务器处理的。