robots.txt概念 如果我们网站内有某些特殊的文件不让搜索引擎收录，那怎么办？ 答案是：使用一个叫做robots.txt的文件。 robots.txt文件告诉搜索引擎本网站哪些文件是允许搜索引擎蜘蛛抓
2021-04-09robots.txt 文件必须放在网站的根目录。 放在子目录的 Robots.txt 文件搜索引擎不能爬取到，所以不会起任何作用。 如： https://www.setujun.com/robots.txt 是有效的。 https://www.setujun.com/a/robots.txt
2021-04-09
