首页
13问答网
>
求教一个关于”scrapy双向爬取的问题“
求教一个关于”scrapy双向爬取的问题“
2025-04-05 16:59:30
推荐回答（1个）
回答1：
当初就是因为无法增量抓取所以放弃 scrapy 的。
因为我们的场景，定时更新，增量抓取是非常重要的，这要求很强 url 去重，调度策略逻辑。
而 scrapy 的内存去重实在是太简陋了。
相关问答
最新问答
在韩国用中国移动手机号如何向中国拨打电话
河北省邯郸市馆陶县徐村乡张文杰是个什么人，是三生公司的人吗
海洋遥感与数学有哪些关系？
刚装修好的房子如何打扰更快捷，干净，省事，有很多涂料灰尘
建设的手机银行跨行转账到农业银行需要多久
二氧化硫与氯化铁反应的离子方程式中氯离子去哪了
腐竹厂包装车间好干吗
奇瑞e3自己换完减震顶胶后一加速方向就往右偏，怎么回事，刚开始以为是螺丝没螺紧，后检查发现不是
从中港城码头到麻油地永星里怎么走
哪里有免费的ssl安全证书安装呢？
