13问答网 > 在静态页面上使用动态参数，会造成 spider 多次和重复抓取吗

在静态页面上使用动态参数，会造成 spider 多次和重复抓取吗

2025-04-29 17:09:31

推荐回答（1个）

回答1：

静态页面使用动态参数是比较常见的，可以通过Robots.txt来解决网站被重复抓取，可以在robots.txt 设置一个语法。 User-agent: Baiduspider（仅对百度蜘蛛有效）

　　Disallow: /*?* （禁止访问网站中所有的动态页面）
这样就可以防止动态页面被百度索引，避免出现网站被spider重复抓取了。
如果网站使用伪静态页面的，每个网址html前面都带有？使用下面这个语法。
User-agent: Baiduspider（仅对百度蜘蛛有效）

　　allow: .htm$（仅允许访问以".htm"为后缀的URL）
这样就可以让百度蜘蛛只收录你的静态页面，而不索引动态页。