首页
13问答网
>
robots.txt设置了全站禁止爬取，但是还是有收录是怎么回事
robots.txt设置了全站禁止爬取，但是还是有收录是怎么回事
2025-03-04 07:20:35
推荐回答（1个）
回答1：
只是收录了网站的地址栏。你看下面有灰色的一行字，说明robots.txt是起了作用的。
相关问答
最新问答
巴西龟怎么吃？
康熙为何三废三立太子
军用手表哪个牌子好
喜欢哪个字体就用哪个字体玩转你的手机——iFont爱字体 1.4
如何培养孩子的阅读习惯？
对于需求价格大于1的商品,生产者降价销售商品能够增加销售收入吗？
有关公务员考试的问题
我感觉鼻子里面很干燥里面有类似于结疤的东西，求助为什么
怎么做些简单的甜点
大清咸丰重宝当五值多少钱
