最好是使用常用浏览器的User-Agent值，比如Firefox、IE、chrome等等，因为有些网站会过滤User-Agent，目的是限制“机器人”程序访问网站。比如我以前用Python编写过一个爬虫程序，但是偏偏对一个网站总是出错，也找不到原因，后来发现是那个网站过滤User-Agent，我的程序使用的是Python脚本的默认值，而换成Firefox浏览器的User-Agent字符串就正常了。
