网站robots怎么写,你写对了吗? _ SEO优化 - 尚学SEO博客
当前位置:首页 > SEO优化 > 网站robots怎么写,你写对了吗?

网站robots怎么写,你写对了吗?

      robots协议是搜索引擎抓取协议,放在网站的根目录下,也是搜索引擎在抓取网站的时候,抓取的第一个文件,文件名是robots.txt
 
      我们可以通过robots协议来引导搜索引擎抓取程序文件。不想展示给用户的文件和不需要参与排名的文件我们可以通过robots协议来禁止搜索引擎抓取,从而节省搜索引擎的抓取时间来抓取站内更需要被抓取的文件。 
 
      robots协议写法要注意以下几点:
 
      User-agent: *  文件第一行,允许所有搜索引擎抓取,如只允许某个搜索引擎抓取,把名字替换掉*号即可;
      首字母大写;
      冒号后面要有空格;
      Allow: /   允许抓取的内容;
      文件地址不需要写主域名;
      Disallow: /    不允许抓取的内容;
      *  号可代替任何字符;
      $  是结束符,用于相同后缀名的文件,例如不允许抓取的图片文件以$结束行;
      /  表示根目录;
      /plus   表示以plus单词开始的文件和文件夹,以及文件夹下的所有文件都不可以抓取;
      /plus/  表示plus目录下的文件不可以抓取,子文件夹下的也不可以抓取,但是以plus单词开始的是可以抓取的;
 
      写时要认真检查,写法不能有错,/ 层级一定要把握好,不然会导致想要被抓取的文件设置了禁止。

上一篇:SEO学习方法

下一篇:网站如何选择关键词

    (01-01 08:00)