首页
13问答网
>
求教一个关于”scrapy双向爬取的问题“
求教一个关于”scrapy双向爬取的问题“
2025-04-05 16:59:30
推荐回答（1个）
回答1：
当初就是因为无法增量抓取所以放弃 scrapy 的。
因为我们的场景，定时更新，增量抓取是非常重要的，这要求很强 url 去重，调度策略逻辑。
而 scrapy 的内存去重实在是太简陋了。
相关问答
最新问答
我很丑，找不到女朋友怎么办
温县当地的地形对生产和生活的影响
Designed by vivo是什么系列的手机？
为什么查不到方正到达连河客车多少钱一张票呢？
震旦复印机ADC208这个故障问题怎么解决
新轩逸电瓶是加液体的吗
六发左轮为什么总联接问题。。。急
火车站到仙岳花园怎么走
上海长途汽车总站到曹安路轻纺市场怎么走
谁有5句排比句、5句比喻句、5句拟人句？
