时间:2022-03-20 13:03:01 | 来源:网络推广
时间:2022-03-20 13:03:01 来源:网络推广
笔者检查了robots文件,看看是否书写正确,不检查不知道,一检查吓一跳,robots协议文件直接没有写,这个协议是搜索引擎抓取的一个协议,当搜索引擎来到网站访问时,能明确的告诉搜索引擎抓取哪些内容,就像客人来家里做客一样,你不标注一下哪里是客厅和卧室,那么客人就会乱跑,当看到你卧室不整洁后,对你的印象就很差了。robots协议的目的就是让搜索引擎抓取网站核心内容,放弃一些不重要的内容,达到更好更快识别网站核心,集中权重的目的。至于robots的写法在这里就不做过多解释了,可以去看《robots.txt怎么写?最详细的robots.txt写法大全》关键词:协议,文件