基于 scrapy redis 修改的多任务分布式框架。仅需一次部署，一行代码便可可将任意本地 scrapy 项目代码爬虫脚本上传分布式并执行。 - View it on GitHub