scrapy爬取一个网页 时间多长

2025-04-25 18:37:19
推荐回答(1个)
回答1:

对于只是读取某几个网站更新内容的爬虫完全没必要在python代码中实现增量的功能,直接在item中增加Url字段。 item['Url'] = response.url 然后在数据端把储存url的column设置成unique。 之后在python代码中捕获数据库commit时返回的异常,忽略掉...