Scrapy每次抓取数据数量不一样,与网络有关系吗

2025-04-29 04:34:52
推荐回答(1个)
回答1:

因素很多:
1. 抓取目标本身就是动态更新的
2. 部分网站维护导致抓去失败
3. 网站更新反扒机制导致抓取失败
4. 抓取规程中的“去重”机制生效