网站日志中百度蜘蛛抓取了很多不存在的页面,返回的状态码是404,这些404页面是怎么被百度蜘蛛抓取的呢?

2025-04-26 09:56:43
推荐回答(2个)
回答1:

  这种情况,建议在网站robots.txt文件中把这些404页面屏蔽掉。
  看楼上有说用nofollow的,但是这些页面已经不存在了,只是URL还在百度库里面;
  那么使用nofollow的话也不能解决了,也没地方放了。
  另外,nofollow的意思是不传输这个链接或者页面的权重,对于这种404URL应该没有太大作用。

回答2:

知道这些页面以后设置nofollow 禁止蜘蛛的抓取