如何拒绝搜索引擎收录网站

例1.禁止所有搜索引擎访问网站的任何部分\x0d\x0aUser-agent:*\x0d\x0aDisallow:/\x0d\x0a实例分析：淘宝网的Robots.txt文件\x0d\x0aUser-agent:baiduspider\x0d\x0aDisallow:/\x0d\x0a很显然淘宝不允许百度的机器人访问其网站下其所有的目录。\x0d\x0a例2.允许所有的robot访问(或者也可以建一个空文件“/robots.txt”file)\x0d\x0aUser-agent:*\x0d\x0aAllow:\x0d\x0a例3.禁止某个搜索引擎的访问\x0d\x0aUser-agent:BadBot\x0d\x0aDisallow:/\x0d\x0a例4.允许某个搜索引擎的访问\x0d\x0aUser-agent:Baiduspider\x0d\x0aallow:/\x0d\x0a例5.一个简单例子\x0d\x0aUser-agent:*\x0d\x0aDisallow:/cgi-bin/\x0d\x0aDisallow:/tmp/\x0d\x0aDisallow:/~joe/\x0d\x0aUser-agent：后的*具有特殊的含义，代表“anyrobot”，所以在该文件中不能有“Disallow:/tmp/*”or“Disallow:*.gif”这样的记录出现。\x0d\x0a在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。\x0d\x0a需要注意的是对每一个目录必须分开声明，而不要写成“Disallow:/cgi-bin//tmp/”。

例1. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
实例分析：淘宝网的 Robots.txt文件
User-agent: baiduspider
Disallow: /
很显然淘宝不允许百度的机器人访问其网站下其所有的目录。
例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)
User-agent: *
Allow:
例3. 禁止某个搜索引擎的访问
User-agent: BadBot
Disallow: /
例4. 允许某个搜索引擎的访问
User-agent: Baiduspider
allow:/
例5.一个简单例子
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
User-agent：后的*具有特殊的含义，代表“anyrobot”，所以在该文件中不能有“Disallow: /tmp/*” or “Disallow:*.gif”这样的记录出现。
在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。
需要注意的是对每一个目录必须分开声明，而不要写成 “Disallow: /cgi-bin/ /tmp/”。

你的代码里面写一个友情链接，但是不显示的字段。这个友情链接都是一些百度不收录的，搜索引擎就不收录了。