SEO中禁止抓取和禁止索引是同一个概念吗

问：SEO中禁止抓取和禁止索引是同一个概念吗？
答：两者是不同的概念。
1.主流搜索引擎都会遵守robots.txt文件指令，robots.txt文件禁止抓取的文件搜索引擎将不会访问，不会抓取。但需要注意的是，被robots.txt文件禁止抓取的URL可能会被索引并出现在搜索结果中。禁止抓取代表着搜索引擎会知道这个URL的存在，虽然不会抓取页面内容，但是索引库还是会有这个URL的信息。淘宝网就是最好的例子。
2.如果要想使URL完全不出现在搜索结果中，那么我们必须使用另外一个标签：noindex meta robots标签。这个标签的意思是禁止搜索引擎索引本页面，禁止搜索引擎跟踪本页面链接。noindex meta robots标签用于指令搜索引擎禁止索引本页内容，因此不会出现在搜索结果页面中。
　　同时，要想让noindex meta robots标签起作用，则首先必须允许抓取，如果搜索引擎蜘蛛不抓取这个页面，它就看不到noindex meta robots标签。

这是禁止抓取。 抓取和索引的工作顺序不一样的，搜索引擎蜘蛛都是先抓取，然后才会索引，最后收录。 为了保险 用上noindex 这个代码 禁止索引。 nofollow 禁止抓取 noindex 禁止索引。 谢谢