mirror of
https://github.com/crawlab-team/crawlab.git
synced 2026-01-23 17:31:11 +01:00
14 lines
1.1 KiB
Markdown
14 lines
1.1 KiB
Markdown
# Crawlab
|
||
|
||
基于Golang的分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架.
|
||
|
||
[查看演示 Demo](http://114.67.75.98:8080)
|
||
|
||
项目自今年三月份上线以来受到爬虫爱好者们和开发者们的好评，不少使用者还表示会用Crawlab搭建公司的爬虫平台。经过近数月的迭代，我们陆续上线了定时任务、数据分析、网站信息、可配置爬虫、自动提取字段、下载结果、上传爬虫等功能，将Crawlab打造得更加实用，更加全面，能够真正帮助用户解决爬虫管理困难的问题。
|
||
|
||
Crawlab主要解决的是大量爬虫管理困难的问题，例如需要监控上百个网站的参杂`scrapy`和`selenium`的项目不容易做到同时管理，而且命令行管理的成本非常高，还容易出错。Crawlab支持任何语言和任何框架，配合任务调度、任务监控，很容易做到对成规模的爬虫项目进行有效监控管理。
|
||
|
||
本使用手册会帮助您解决在安装使用Crawlab遇到的任何问题。
|
||
|
||
首先，我们来看如何安装Crawlab吧，请查看[安装](./Installation/README.md)。
|