亚洲日韩精品欧美一区二区一,99精品欧美一区二区三区视频 ,欧美一区二区三区在线观看视频,荡乳尤物3ph合欢

不讓搜索引擎收錄的方法


發布日期:2014-11-12

 

 

很多朋友都會問沈陽網站建設如何被搜索引擎收錄?我的網站為什么還沒有被收錄?等等這樣的話題,我們也寫過很多關于這樣的文章,其實還有很多朋友他們還有這樣的困擾,比如我的有些東西不想被搜索引擎收錄我該怎么辦呢?今天我們就來和大家聊聊不讓搜索引擎收錄的方法。

搜索引擎使用spider程序自動訪問互聯網上的網頁并獲取網頁信息。spider在訪問一個網站時,會首先會檢查該網站的根域下是否有一個叫做 robots.txt的純文本文件,這個文件用于指定spider在您網站上的抓取范圍。您可以在您的網站中創建一個robots.txt,在文件中聲明 該網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。                
 
在這里沈陽網站建設提醒您請注意,僅當您的網站包含不希望被搜索引擎收錄的內容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容,請勿建立robots.txt文件。            

那么問題來了robots.txt文件因該放在哪里呢? robots.txt文件應該放置在網站根目錄下。舉例來說,當spider訪問一個網站(比如 http://www.crvfan.org)時,首先會檢查該網站中是否存在http://www.crvfan.org/robots.txt這個文件,如果 Spider找到這個文件,它就會根據這個文件的內容,來確定它訪問權限的范圍。

如您還有網站方面的疑問歡迎您來訪我們沈陽網站建設

主站蜘蛛池模板: 阿瓦提县| 青岛市| 时尚| 玛曲县| 柳州市| 兴海县| 河南省| 新绛县| 武山县| 会东县| 邵东县| 华坪县| 英德市| 临澧县| 绍兴市| 阳泉市| 长白| 米易县| 永康市| 惠来县| 伽师县| 克山县| 汉寿县| 嘉禾县| 岗巴县| 河东区| 繁昌县| 南投市| 法库县| 如皋市| 苏州市| 大方县| 县级市| 耒阳市| 土默特左旗| 敦化市| 乌鲁木齐市| 蒙城县| 杭锦旗| 台安县| 峨山|