robots.txt用于限制蜘蛛在你网站上面的抓取权限，哪些网页（或者文件夹）你不想让蜘蛛收录到，就在robots里面禁止蜘蛛去爬nofollow通常用在链接当中，告诉蜘蛛不要跟踪这个链接（不要将网页权重传给这个链接），一般用法都是加上链接上...，当然也可以用在网页的头文件，不过很少见
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
robots，可以禁止百度蜘蛛收录你不想收录的页面或内容。nofollow不传递权重
robots.txt 是告诉搜索引擎哪些需要抓取，哪里不需要抓取
只能告诉楼主，百度一下：robots nofollow 百度比我们说的更清晰 百度是本还不错的字典
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024