时间：2022-07-21 22:51:01 | 来源：建站知识
时间：2022-07-21 22:51:01 来源：建站知识
robots.txt是一个很简单的txt文件，可以告诉搜索引擎哪些页面可以收录，哪些不允许收录。
1.如何看自己网站的robots.txt：一你可以用ftp打看自己网站的根目录，里面就有这个文件，传送到本地就可以看，二你可以在自己网站的域名后加上/robots.txt就可以看了，如果打不开，说明这个文件没有正确放置。如：www.joy0574.com/robots.txt就可以看到。
2.要点：一般情况下，robots.txt里只写着两个函数：User-agent和 Disallow。User-agent: *后面加星号说明允许所有搜索引擎收录;有几个禁止，就得有几个Disallow函数，每行一个进行描述;至少要有一个Disallow函数，如果都允许收录，则写: Disallow: 如果都不允许收录，则写:Disallow: /(注：两者只相差一个斜杆)。
3.必须命名为robots.txt，不然就白做了，而且必须为小写英文。
4.另外，如果你的站点允许对所有搜索引擎公开，则不做这个文件或者robots.txt为空就行。
看到这里很多人或许会说，那最好就是不做，管他干嘛呢。你必须明白，做SEO第一个步骤就是弄好robots.txt，如果这个出点问题，对你网站的收录是极其不利的。所以，当你向搜索引擎提交你的网站前，必须先检查一下这个，几分钟的事，不要怕麻烦。
另外，写在最后，robots.txt最大的一个作用：百度不像Google网站管理工具可以提交googel sitemaps，你可以把自己网站地图的地址放在robots.txt的任意位置，那就是间接向百度提交了你的网站地图，何乐而不为呢。
本文作者：www.joy0574.com
关键词：
在线咨询
