网站没有robots.txt，且返回404是正常的。不用理它。
百度爬这个网页是为了知道你有没有禁止它。你不放这个文件就是没有禁止的意思。
内部网页收录了6篇，说明百度还是能收录网站内页的，只是收录的不频繁罢了。你可以频繁更新首页，把内部的网页链接挂到首页去，然后你再看日志，保证就有百度爬虫来收录了。
百度爬了你的网页，并不一定在收录的地方显示。这个与你网页的质量有关，也与百度的更新时间有关。你好好做网站，慢慢百度的收录就会多起来的。
robots.txt 文件应该放到网站根目录 然后指定哪些需要被收录 很多东西可以帮助收录 建议你看看教程
-------------------
站点地图更新吗？
看看你的robots.txt文件内容是什么，有没有限制蜘蛛爬行呢
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024