1、seo面試:roboxs.txt有什麼用
一、robots.txt是什麼？
robots.txt是一個純文本文件，在這個文件中網站管理者可以聲明該內網站中不想被搜索引容擎訪問的部分，或者指定搜索引擎只收錄指定的內容。
當一個搜索引擎（又稱搜索機器人或蜘蛛程序）訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，那麼搜索機器人就沿著鏈接抓取。
二、robots.txt的作用
1、引導搜索引擎蜘蛛抓取指定欄目或內容；
2、網站改版或者URL重寫優化時候屏蔽對搜索引擎不友好的鏈接；
3、屏蔽死鏈接、404錯誤頁面；
4、屏蔽無內容、無價值頁面；
5、屏蔽重復頁面，如評論頁、搜索結果頁；
6、屏蔽任何不想被收錄的頁面；
7、引導蜘蛛抓取網站地圖；
2、seo中robots.txt是什麼意思？
它是一種存放於網站根目錄下的文本文件，通常告訴搜索引擎蜘蛛 網站中哪些內容是不能被搜索引擎蜘蛛獲取的 哪些是可以獲取的
3、網站優化必讀：SEO教程電子書txt全集下載
網站優化必讀：SEO教程 txt全集小說附件已上傳到百度網盤，點擊免費下載：
4、什麼是黑帽seo，百度蜘蛛劫持代碼.txt
利用搜索引擎規則漏洞或某些特定程序,欺騙百度蜘蛛,快速獲得排名但也容易被 K 站。
我直接講一下百度蜘蛛劫持代碼的步驟
第一步:配置 asp 版的劫持程序.
第二步:如果 shell 主頁沒有<!--#include file="conn.asp"-->,我們就自己添加一下,一般情況 asp網站都有的.
第三步:修改調用代碼.代碼的意思是 判斷來訪路徑 是搜索引擎程序,還是真實客戶訪問,進行內容抓取,也就是快照,然後判斷跳轉.然後把代碼上傳到 conn.asp 文件裡面.
做完以上步驟,可以刷下外鏈,快速吸引蜘蛛,刷外鏈等快照更新就可顯示我們自己網站的快照,並進行判斷來路跳轉了.
不過建議大家還是不要違規，畢竟白帽seo才是正規的seo優化網站的方式，白帽seo不懂可以去搜外網學習操作方式。
5、SEO搜索引擎優化基礎教程的txt全集下載地址
SEO搜索引擎優化基礎教程 txt全集小說附件已上傳到百度網盤，點擊免費下載：
6、Robot.txt對SEO有什麼影響？
很多人認為只有防止搜索引擎技術抓取的時候才有用。但是實際上正確使用Robot.txt對 SEO很有好處，比如重復內容用不同形式表現是經常需要的，而這種情況很容易被搜索引擎判定為重復內容堆砌。正確利用Robot可以引導搜索引擎只收錄首 選內容這樣就不會有作弊嫌疑了。（參見：google網站管理員blog的文章
巧妙地處理內容重復）除了處理重復外，Yahoo允許你在Robot.txt文件裡面用Crawl-delay:參數設定抓取頻率（參看：
）。
7、如何為wordpress創建有利於seo的robots.txt文件
如果您不想讓 Google 或其他搜索引擎訪問您網站中的某些內容,請用 robots.txt 文件指定搜索引擎抓取您的網站內容的方式。這是google管理員工具對robots.txt功能的一個描述。robots.txt文件說白了就是告訴爬蟲哪些網址是可以被收錄那些是禁止收錄的。對於大多數wordpress博主來說很少注意robots.txt,認為他無關緊要,其實不然,robots.txt在wordpress優化,網站seo方面有著很重要的作用。robots.txt不光可以保護網站隱私鏈接不被搜索到,而且可以控制網站內容的重復和抓取錯誤。下面我就寫幾種wordpress常用的robots.txt規則。
最簡單的robots.txt規則:
User-agent: *Disallow:
這是開放式的寫法,Disallow:留空,是讓搜索引擎收錄所有鏈接。
安全性的robots.txt書寫規則:
User-agent: *Disallow: /cgi-bin/Disallow: /wp-Allow: /wp-content/uploads/Disallow: /*.php$Disallow: /*.inc$Disallow: /*.js$Disallow: /*.css$Disallow: /*.cgi$Disallow: /?s=
有利於seo的robots.txt書寫規則:(以本站為例)
User-agent: *Disallow: /cgi-bin/Disallow: /wp-Disallow: */rss.xmlDisallow: /author/Disallow: /page/Disallow: /tag/Disallow: */trackback/Disallow: */feed/Disallow: /*.php$Disallow: /*.inc$Disallow: /*.js$Disallow: /*.css$Disallow: /*.cgi$Disallow: /*?*Disallow: /?s=Sitemap: http://www.pakelab.com/sitemap.xml
先說所我為什麼這么設置。google管理員工具在分析我網站抓取錯誤信息的時候,發現大量鏈接是http://www.pakelab.com/xxxx/rss.xml的形式,為了減少抓取錯誤,我就讓搜索不爬這些鏈接,Disallow: */rss.xml ,如果你沒遇到和我一樣的問題這一條你可以不用加。同樣,如果你的網站有大量抓取錯誤的無效鏈接,你可以在這里指定不抓取。
再有就是網站元重復太嚴重(標題重復,描述重復,關鍵詞重復),這嚴重影響搜索引擎排名,我看中的是文章頁排名,所以像標簽頁,作者文章歸檔,月份存檔頁,分頁這些我選擇Disallow。因為我的文章頁面在google中的權重很高,流量幾乎都是文章頁面的,所以才這么設置。這個根據自己網站實際情況選擇性的設置。
feed和trackback的條款是一定要的,可以說wordpress 80%以上的補充材料都是和它們有關。
wordpress官方robots.txt書寫規則(國外)
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /author/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# digg mirror
User-agent: ggmirror
Disallow: /
8、跪求《SEO藝術》,txt版本
《SEO藝術》(The Art of SEO)掃描版[PDF]
發布用戶 ed2k
添加日期 2013/6/26 8:34:17
大小 61.83 MB
最後更新 2013/6/26 8:34:17
9、與搜索引擎優化（SEO）相關的教程或者教材，最好是TXT的或者其他類型電子書也可以 郵箱 [email protected]
給你發了幾本書，收到請及時採納。
10、關於SEO的robots.txt,眾所周知robots可以禁止或允許百度蜘蛛訪問網站哪些文件夾;
蜘蛛在訪問網站時，最先訪問的是該網站robots.txt文件
如果網站有robots.txt文件並且裡面有禁止蜘蛛訪問的代碼的話蜘蛛就不會訪問了
例如：robots.txt文件中的代碼為：
User-agent：*
Disallow：/
上面這個robot.txt文件禁止所有搜索引擎爬取任何內容