Crawlab
基于Celery的爬虫分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架.
Crawlab是基于Celery的分布式爬虫管理平台，可以集成任何语言和任何框架。
项目自今年三月份上线以来受到爬虫爱好者们和开发者们的好评，不少使用者还表示会用Crawlab搭建公司的爬虫平台。经过近3个月的迭代，我们陆续上线了定时任务、数据分析、网站信息、可配置爬虫、自动提取字段、下载结果、上传爬虫等功能，将Crawlab打造得更加实用，更加全面，能够真正帮助用户解决爬虫管理困难的问题。
Crawlab主要解决的是大量爬虫管理困难的问题，例如需要监控上百个网站的参杂scrapy和selenium的项目不容易做到同时管理，而且命令行管理的成本非常高，还容易出错。Crawlab支持任何语言和任何框架，配合任务调度、任务监控，很容易做到对成规模的爬虫项目进行有效监控管理。
本使用手册会帮助您解决在安装使用Crawlab遇到的任何问题。
首先，我们来看如何安装Crawlab吧，请查看安装。