User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC 這里定義是禁止爬尋ABC整個目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
本站文章均為永諾網(wǎng)站建設(shè)摘自權(quán)威資料，書籍，或網(wǎng)絡(luò)原創(chuàng)文章，如有版權(quán)糾紛或者違規(guī)問題，請即刻聯(lián)系我們刪除，我們歡迎您分享，引用和轉(zhuǎn)載，我們謝絕直接復(fù)制和抄襲！感謝...
猜你喜歡
聯(lián)絡(luò)方式：
電話：15038330582
郵箱：278477169@qq.com
掃描名片 
我們猜你喜歡
-
吃喝玩樂APP軟件開發(fā)
吃喝玩樂APP符合現(xiàn)在用戶的喜好，能夠有效的環(huán)節(jié)商家流量的問題。一些短視頻平臺加入電商內(nèi)容模式，興趣板塊業(yè)務(wù)量就是借助自身的內(nèi)容優(yōu)勢實現(xiàn)引流轉(zhuǎn)化的。培養(yǎng)出了刷短視...
-
物流行業(yè)APP軟件開發(fā)
傳統(tǒng)物流行業(yè)為何需要開發(fā)APP 1.資金投入管理：與線下的模式相比，移動端的操作相對方便，企業(yè)在管理上不需要花費太高的人力和成本，就能實現(xiàn)各種的信息化跟蹤管理。 2...
-
怎樣定位關(guān)鍵詞-怎么做好關(guān)鍵詞的優(yōu)化
一、英文閱讀中的關(guān)鍵詞的定位和優(yōu)化： 1、定位： 錯亂定位法 在雅思閱讀的做題過程中會發(fā)現(xiàn)有時候即使定位詞找對了但是在定位的過程中也可能效果不好，因為有些...
-
鄭州好的定制app開發(fā)公司
在鄭州想要找一個好點的APP開發(fā)公司，其實平心而論作為APP開發(fā)公司的從業(yè)者來看，技術(shù)方面不會有太大的差距，畢竟技術(shù)語言就是那么多，有經(jīng)驗的開發(fā)人員基本都能滿足需求。 ...
-
家用電器小程序電商平臺軟件開發(fā)
一直以來電商行業(yè)京東和天貓是傳統(tǒng)的電器市場的銷售平臺，如果想要擴(kuò)大市場的話，那么就需要借助一些外來的平臺進(jìn)行推廣宣傳。電器公司擁有自己的平臺可以說是不會再受到其...
