1、百度等蜘蛛爬蟲是如何發現而且抓取網站目錄等文件？
爬蟲是跟著鏈接抓取的 所以網站內部結構要合理精剪 減少爬蟲抓取的路徑
可以把a目錄去掉 有利於爬蟲抓取
最重要的是網站內容要好 權重高 質量好 爬蟲自然來的頻率也高 那收錄也會好
2、爬蟲獲取搜索引擎得到的搜索結果數
你要的就是下面這段數據吧？html就有，用正則抽取一下就ok了。
<div id="resultStats">找到約 104,000,000 條結果<nobr> （用時 0.25 秒） </nobr></div>
3、爬蟲技術之數據採集？
將頁面用字元的形式分析（正則表達式取出）所有的url存入特點數據結版構（如鏈表），權然後分別下載鏈表中的url指示的頁面。再分析，再下載，不斷循環。那麼下載的頁面，就是網上的網頁。按一定的演算法索引起來，就是你的數據了。按url轉跳的順序可以分為深度和廣度優先。這是最簡單的一個爬蟲。只要防止無限的循環，（就是一個頁面的url中全部都指向自身，那麼爬蟲就不斷下載一個頁面了）網上的數據最終都可以下載下來。爬蟲就是這個思想。但真正的爬蟲都是有智能的取捨演算法，多隻爬蟲並行採集的復雜系統。
4、爬蟲技術可以抓取到淘寶天貓京東訂單頁的數據嗎
訂單頁的數據從設計和安全性上講,一般是不允許未登錄狀態訪問的.而且登錄狀態的用戶也訪問不了他人的訂單數據.而爬蟲(搜索引擎)技術也應該是屬於匿名訪問,所以是抓取不到的數據的.
5、SemrushBot這種爬蟲來抓取是好事嗎
不是好事。
SemrushBot分析你站點，收集你站點信息的，可用於競爭對手分析數據，當然要屏蔽這些bot，不然被競爭對手反向查一下，內褲都掉出來了，關鍵還是個國外的軟體，可以說這東西完全沒用。
6、怎麼利用爬蟲技術抓取淘寶搜索頁面的產品信息
寫個腳本定時抓取 制定網頁地址，通過正則表達式 匹配過濾想要的數據 整理成自版己想要的格式（比如excel）。
PHP 語言的話權，可以用 file_get_content、curl。
Linux 可以用 curl wget 等。
7、python寫的爬蟲，抓取百度的搜索結果，被屏蔽了怎麼辦
從降低爬取頻率的角度來說，可以設置一個隨機數，每次爬取之後，讓爬蟲休眠這個隨機數的時間。如果能更清楚網路的防禦機制就有其他方法了。
8、使用爬蟲技術中，有什麼限制，意思是爬蟲可以從所有的網路網站網頁，企業，私人，去抓取信息嗎？
網路上的公開信息大家都有權利獲取，但並不意味著可以獲取他人隱私，更不能將爬取的專信息用於非法途徑屬，出於學習、研究目的爬取一些企業公開信息是合法的，切記不可利用爬蟲獲取他人未授權的信息，比如你爬取企業網站展示的內容是無可非議的，但是爬取別人的網站後台就屬非法了。別忘了爬蟲學得好，牢飯吃到飽。不要用於非法目的，不要用於非法目的，不要用於非法目的，重要的事說三遍。望採納
9、如何學習爬蟲技術抓取數據
學習任何一門語言都是從入門，通過不間斷練習達到熟練水準，少數人最內終能精通語言，成為執牛容耳者，他們是金字塔的最頂層。
當你決定學Python爬蟲時，需要有一個清晰且短期內可實現的目標，比如通過學習找一份初級程序員工作。目標明確後，你需要知道企業對Python程序員的技能有哪些要求。
可能你會糾結是學Python2還是Python3，就像手裡同時有包子和饅頭，不知道先吃哪個，這種糾結完全就是徒增煩惱。
因為它們是同一種語言，只有少部分地方語法不兼容。Python3逐漸成為主流已是不爭事實，畢竟後者性能方面更佔有優勢，官方也在力推Python3。所以選Python3吧，最多花一天的時間能把Python2中特有的內容搞懂。
至於有哪些資源現在可以用，你可以積極參與到相關的技術圈子中去，嘗試去解答力所能及的新手問題，向圈子中的大牛們尋求幫助，善於總結自己所學到的東西，分享給更多的人。記住，你不是一個人在戰斗!
只看書不會進步，思考和實踐才有成長，自學編程是一個比較枯燥的過程，一定要堅持。
哦對了，目前我也在學習，你可以看一下這個基礎視頻，很有幫助的。
python基礎視頻教程
10、不了解爬蟲技術，想問一下，爬蟲技術在收集信息嗎，是從哪裡開始進行呢，就是說爬蟲可以從哪些地方收集？
就是蜘蛛啊，在蛛網上亂爬，爬到信息酒匯報給主人。就是一段程序，互聯網有好多節點，收集到信息就返回伺服器。爬蟲喜歡新的信息，原創的信息，當然，這些是在伺服器處理的。