什么robots.txt文件有什么作用呢？今天沈陽網站開發來和大家一起聊聊這個問題。

什么robots.txt文件

查找引擎運用spider程序自動訪問互聯網上的頁面并獲取頁面信息。spider在訪問一個網站時，會首先會 查看該網站的根域下是不是有一個叫做 robots.txt的純文本文件，這個文件用于指定spider在您網站上的抓取計劃。您可以在您的網站中創立一個robots.txt，在文件中聲明 該網站中不想被查找引擎錄入的有些或許指定查找引擎只錄入特定的有些。

robots.txt文件對網站有什么作用