什么是robots.txt文件?robots.txt文件的生效期是多久?

　　robots.txt文件是几乎每个正规战都会有的文件，是网站与搜索引擎之间对话的通道，今天巨海科技小编来讲解下什么是robots.txt文件?robots.txt文件的生效期是多久?等问题，希望对你有帮助!

　　robots.txt文件的四个问题解答：

　　➊ 什么是robots.txt文件协议?

　　robots.txt文件，又称爬虫协议、robots协议等，其全称为网络爬虫排除标准(Robots Exclusion Protocol)。

　　robots.txt文件是我们网站和各大搜索引擎之间的一个协议，比如说我们不允许百度爬行我们的网站，我们不允许百度爬行我们的目录，我们不允许360爬行我们的网站，像这些操作一样，我们可以把它写在robots协议里，制作一个txt文档。

　　命名：robots.txt可以直接放在我们网站的根目录下。当主要引擎爬行我们的网站时，它们必须首先访问robots协议。如果我们允许爬行，他们就会爬行我们的网站。

　　➋ robots.txt文件存放路径?

　　写robots.txt文件其实很简单，只是一个固定的指令，首先我们创建一个新的robots.txt文档就像这样，然后在里面写相关的指令，然后把这个文档上传到站点的根目录，是不是很简单，

　　➌ robots.txt文件的生效期是多久?

　　一般是3天左右，也就是写完robots.txt上传到服务器后，因为缓存的原因，搜索引擎也会按照之前的方式爬行。大概1-3天，它会根据您目前的规则逐步更新缓存和爬行，因为每个搜索引擎的生效时间都不一样，您可以实际测试一下。一般来说，大概是1-3天。

　　➍ robots.txt文件与SEO优化的关系。

　　Robot协议对于SEO优化有重要意义，我们都知道搜索引擎爬行我们的站点，如果所有爬行的都是静态的高质量页面，百度会非常信任我们的站点，从而给我们一个很好的排名，但是如果Spider爬行一些系统界面，比如网站后台、图片存储的目录、系统核心文件目录等。

　　这不仅是对Spider资源的浪费，还会让Spider无法识别，从而大量返回搜索引擎的未知页面，这会影响我们对百度的信任分数，阻碍我们的排名。

　　robots协议也是我们节约服务器资源的一种方式，一个网站的页面越多，搜索引擎发送的Spider就越多。引擎Spider和用户访问我们的网站也会消耗我们的服务器资源。

　　如果我们的服务器配置不是很高，几千万个页面，每天的Spider数量是巨大的。它会拖累我们的服务器，阻碍用户的正常访问，所以robots协议的合理运行对我们网站的正常运行也是非常有意义的。

　　如上4点是巨海科技SEO顾问今天想和大家分享的内容。robots.txt文件对优化的左右很大，希望大家重视并检查自己网站的robots.txt文件，如果您对SEO方面还有疑问，请联系我们的热线电话或在线客服，我们竭诚为您服务!