網站SEO優化公司
              • 網站優化139-0619-2672
              • SEO外包

              南京設計公司-robots.txt文件的格式?

              作者:優易信小編 | 發布時間:2018-08-06 10:16 | 瀏覽次數:

              什么是robots文件 robots是站點與spider溝通的重要渠道,站點通過robots文件聲明該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請注意,僅當您的網站包含不希望被搜索 […]

                什么是robots文件
               
                robots是站點與spider溝通的重要渠道,站點通過robots文件聲明該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。請注意,僅當您的網站包含不希望被搜索引擎收錄的內容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容,請勿建立robots.txt文件。為了避免站長在設置robots文件時出現,百度站長平臺特別推出了robots工具,幫助站長正確設置robots。
               
                在該文件中可以使用#進行注解,具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始,后面加上若干Disallow和Allow行,詳細情況如下:
               
                User-agent:該項的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多條User-agent記錄說明有多個robot會受到"robots.txt"的限制,對該文件來說,至少要有一條User-agent記錄。如果該項的值設為*,則對任何robot均有效,在"robots.txt"文件中,"User-agent:*"這樣的記錄只能有一條。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干Disallow、Allow行,那么名為"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
               
                Disallow:該項的值用于描述不希望被訪問的一組URL,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以Disallow項的值開頭的URL不會被 robot訪問。例如"Disallow:/help"禁止robot訪問/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"則允許robot訪問/help.html、/helpabc.html,不能訪問/help/index.html。"Disallow:"說明允許robot訪問該網站的所有url,在"/robots.txt"文件中,至少要有一條Disallow記錄。如果"/robots.txt"不存在或者為空文件,則對于所有的搜索引擎robot,該網站都是開放的。
               
                Allow:該項的值用于描述希望被訪問的一組URL,與Disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以Allow項的值開頭的URL 是允許robot訪問的。例如"Allow:/hibaidu"允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網站的所有URL默認是Allow的,所以Allow通常與Disallow搭配使用,實現允許訪問一部分網頁同時禁止訪問其它所有URL的功能。
               
                六年磨一劍,某某傳媒一直秉承通過傳統線下合作與線上網絡營銷,全方位、精細化、一站式的服務模式,將企業品牌宣傳出去,為合作伙伴找到優質真實的客戶。某某傳媒秉承"精誠合作,互利共贏"的原則,不斷提高自身的服務質量與技術水平,每一位合作伙伴的意見與建議某某傳媒都將慎重對待,合作伙伴滿意即成就某某傳媒。

              文章地址:http://www.cnbaijiu.net/xydt/107.html      

              【主營業務】網站建設、網站設計、服務器空間租售、網站維護、網站托管、網站優化、百度推廣、自媒體營銷、微信公眾號
              如有意向---聯系我們
              熱門欄目
              熱門資訊
              熱門標簽

              Copyright @ 2011-2019 無錫優易信信息技術有限公司 All Rights Reserved. 版權所有 備案號:蘇ICP備17007622號-1 

              公司地址:江蘇無錫市梁溪區人民中路97號佳福大廈8F 咨詢QQ:1010231879 手機:139-0619-2672 電話:0510-66889886

              日韩精品网_91新拍国产在线观看_免费 无码 国产成年视频网站_一本久久a久久精品vr综合夜夜