User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC 這里定義是禁止爬尋ABC整個目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
本站文章均為永諾網(wǎng)站建設(shè)摘自權(quán)威資料，書籍，或網(wǎng)絡(luò)原創(chuàng)文章，如有版權(quán)糾紛或者違規(guī)問題，請即刻聯(lián)系我們刪除，我們歡迎您分享，引用和轉(zhuǎn)載，我們謝絕直接復(fù)制和抄襲！感謝...
猜你喜歡
聯(lián)絡(luò)方式：
電話：15038330582
郵箱：278477169@qq.com
掃描名片 
我們猜你喜歡
-
開發(fā)一款抓娃娃機(jī)app需要多少錢
抓娃娃機(jī)在各大市場都有擺放，抓娃娃機(jī)在抓取玩具時也是有技巧的，針對不同的機(jī)器看是技巧型的還是機(jī)率型的。抓娃娃APP軟件也是提供了一條領(lǐng)的服務(wù)，幫助市場管理更多的機(jī)器...
-
訂房類APP軟件開發(fā)
酒店APP軟件開發(fā)都包含什么功能上的需求 1、酒店APP軟件實現(xiàn)了以客戶為中心的使用體驗，讓客戶的綜合服務(wù)質(zhì)量得到提升，加強(qiáng)對酒店的預(yù)訂管理，入住管理，提升酒店的客戶管...
-
即時通訊app語音聊天軟件開發(fā)
數(shù)字經(jīng)濟(jì)時代的今天，所有的企業(yè)都想擁有自己的社交通訊聊天軟件，因為社交平臺是互聯(lián)網(wǎng)的必須品。誰有了客戶量誰就能掌握先機(jī)，為什么現(xiàn)在很多公司都在開發(fā)即時通訊的聊天工...
-
房屋租賃小程序軟件開發(fā)app功能方案
一、房屋租賃小程序軟件項目客戶來源介紹 這款房租租賃小程序軟件是以高端別墅，房產(chǎn)管理的系統(tǒng)功能，包含了二手買賣，商鋪寫字樓等信息。老板的想法非常的直接，我們提供...
-
食品商城類APP軟件功能開發(fā)
食品批發(fā)商城APP軟件開發(fā)定制，大到商城，小到小賣鋪食品都是通過代理分銷的，渠道分銷批發(fā)也就形成了。食品批發(fā)商城APP軟件改變了傳統(tǒng)的批發(fā)方式，擴(kuò)建了食品批發(fā)方式。可以提...
