如果你的WordPress根目录没有robots.txt,当有人访问这个文件时,WordPress程序会动态生成一个robots.txt给用户,如果你自己上传自己编写的robots.txt到网站根目录,用户和爬虫访问的就是你的文件,WP就不会再生成那个文件了。服务器找不到那个文件的时候WP才会生成那个文件。
robots.txt这个文件是自己定义的,上传到空间,想要像/robots。txt这样访问到需要开通空间的文件访问权限
这个文件不一定有。wordpress本身没有这个文件。
楼主说可以访问,那就是这个文件被隐藏了。不知楼主用的是什么空间。让隐藏文件可见就好了
wordpress的根目录在默认的robots文件放在wp-includes/functions.php中,通过搜索robots大概在1319行可进行修改
可以说详细点么?