Python 爬虫为什么只爬取到一个html页中的部分内容

2025-03-09 14:02:40
推荐回答(4个)
回答1:

有些js加载的内容只要当你的电脑屏幕或者鼠标滑到某个位置时,才会动态加载内容,这些内容不会在源码里体现,而python爬虫只是爬源码而已,如果想满足你的需求,可以试试phantomjs模拟浏览器,祝你成功。

二营长SEO

回答2:

可能是生成动态页面了,所以只能爬到一部分。

回答3:

说明这个网页里面有js

回答4:

考虑下是不是timeout,wait设置长一点试试;还有考虑下数据是不是ajax请求的,是的话还要模拟js