一个java版本的分布式的通用爬虫，可以插拔各个组件（提供默认的） - View it on GitHub