robots.txt在線(xiàn)生成

默認 - 所有機器人是:
檢索間隔:
Sitemap: (留空為無(wú))
普通搜索機器人: Google
googlebot
Baidu
baiduspider
MSN Search
msnbot
Yahoo
yahoo-slurp
Ask/Teoma
teoma
Cuil
twiceler
GigaBlast
gigabot
Scrub The Web
scrubby
DMOZ Checker
robozilla
Nutch
nutch
Alexa/Wayback
ia_archiver
Naver
naverbot, yeti
特殊搜索機器人: Google Image
googlebot-image
Google Mobile
googlebot-mobile
Yahoo MM
yahoo-mmcrawler
MSN PicSearch
psbot
SingingFish
asterias
Yahoo Blogs
yahoo-blogs/v3.9
限制目錄: 路徑是相對的,但每個(gè)路徑之前都要包含:"/"

什么是robots.txt文件

  • robots.txt(統一小寫(xiě))是一種存放于網(wǎng)站根目錄下的文本文件,它通常告訴網(wǎng)絡(luò )搜索引擎的漫游器(又稱(chēng)網(wǎng)絡(luò )蜘蛛),此網(wǎng)站中的哪些內容是不應被搜索引擎蜘蛛獲取的,哪些是可以被(蜘蛛)獲取的。
  • 因為一些系統中的URL是大小寫(xiě)敏感的,所以robots.txt的文件名應統一為小寫(xiě)。robots.txt應放置于網(wǎng)站的根目錄下。
  • 如果想單獨定義搜索引擎的漫游器訪(fǎng)問(wèn)子目錄時(shí)的行為,那么可以將自定的設置合并到根目錄下的robots.txt,或者使用robots元數據。
  • robots.txt協(xié)議并不是一個(gè)規范,而只是約定俗成的,所以并不能保證網(wǎng)站的隱私。注意robots.txt是用字符串比較來(lái)確定是否獲取URL,所以目錄末尾有與沒(méi)有斜杠“/”表示的是不同的URL。robots.txt允許使用類(lèi)似"Disallow: *.gif"這樣的通配符。
  • Robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規范,基于以下原則建立:1、搜索技術(shù)應服務(wù)于人類(lèi),同時(shí)尊重信息提供者的意愿,并維護其隱私權;2、網(wǎng)站有義務(wù)保護其使用者的個(gè)人信息和隱私不被侵犯。

robots.txt文件內容

  • 搜索引擎蜘蛛的是否可訪(fǎng)問(wèn)性或者說(shuō)可爬行性。
  • 搜索引擎蜘蛛針對目錄或者文件的可訪(fǎng)問(wèn)性。
  • 網(wǎng)站站點(diǎn)地圖sitemap路徑定義。
  • 搜索引擎蜘蛛爬行的時(shí)間間隔限制。

關(guān)于robots.txt文件生成器

  • 通過(guò)web界面設置好要配置的數據, 點(diǎn)擊生成器的生成即可在最下方的文本輸入框獲得robots.txt的文件內容。
  • 現在,你創(chuàng )建一個(gè)空白的文本文件,命名為:“robots.txt”,然后把上面的內容,復制并粘貼到“robots.txt”中去。
  • 把“robots.txt”放在你網(wǎng)站的根目錄,訪(fǎng)問(wèn)robots.txt,確保他能讓訪(fǎng)問(wèn)者(如搜索引擎)訪(fǎng)問(wèn)到。

您最近使用了:

收藏 菜單 QQ