scrapy怎么实现重复或者定时采集

2025-04-29 02:26:47

推荐回答（1个）

回答1：

可以使用定时任务调度实现，比如：

from apscheduler.schedulers.background import BackgroundScheduler
def task():
# 你的spider启动命令
pass

if __name__ == "__main__":
scheduler = BackgroundScheduler()
# 每20分钟执行一次
scheduler.add_job(task, 'cron', minute="*/20")
scheduler.start()
print('Press Ctrl+{0} to exit'.format('Break' if os.name == 'nt' else 'C'))
try:
while True:
time.sleep(2)
except (KeyboardInterrupt, SystemExit):
scheduler.