你这种情况是不是也是在nginx环境下出现的呢？如果是这个环境下出现这种现象你可以试试这种方法来解决在配置文件里加入下面几句就可以了：location ~ (^\/|\.html|\.css|\.jpg|favicon\.ico|robots\.txt|\.png|\.js|\.gif)$ { root /var/www/hosts/网站目录; access_log off; expires 30d;}这样是是为Nginx加入一些静态文件如html、css、jpg、png、js、gif的支持，txt文件则只支持robots.txt，ico文件则只支持favicon.ico
回复 之首 的帖子天天都是这样，之前看到有人说是自定义的404.html与robots.txt有冲突，说蜘蛛会把404.html当作是robots.txt了，然而我删了自定义的404.html，现在还是返回404状态码。
这两个都是非文本蜘蛛，不知道有没有影响？这是我的猜测，有没有200状态的？发来研究研究~呵呵~以下是在zac博客找到的一点内容，所以有此猜测。
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024