mirror of
https://github.com/crawlab-team/crawlab.git
synced 2026-01-31 18:10:50 +01:00
added gitbook
This commit is contained in:
6
gitbook/Concept/Deploy.md
Normal file
6
gitbook/Concept/Deploy.md
Normal file
@@ -0,0 +1,6 @@
|
||||
# 部署
|
||||
|
||||
所有爬虫在运行前需要被部署当相应当节点中。
|
||||
|
||||
部署时,爬虫会被打包到相应的目录中,方便环境隔离,开发环境的爬虫和生产环境的爬虫需要打包部署来实现隔离。
|
||||
|
||||
3
gitbook/Concept/Node.md
Normal file
3
gitbook/Concept/Node.md
Normal file
@@ -0,0 +1,3 @@
|
||||
# 节点
|
||||
|
||||
节点其实就是Celery中的Worker。一个节点运行时会连接到一个任务队列(例如Redis)来接收和运行任务。所有爬虫需要在运行时被部署到节点上,用户在部署前需要定义节点的IP地址和端口。
|
||||
2
gitbook/Concept/README.md
Normal file
2
gitbook/Concept/README.md
Normal file
@@ -0,0 +1,2 @@
|
||||
# 概念
|
||||
|
||||
15
gitbook/Concept/Spider.md
Normal file
15
gitbook/Concept/Spider.md
Normal file
@@ -0,0 +1,15 @@
|
||||
# 爬虫
|
||||
|
||||
## 自动发现
|
||||
|
||||
在`config.py`文件中,修改变量`PROJECT_SOURCE_FILE_FOLDER`作为爬虫项目所在的目录。Crawlab后台程序会自动发现这些爬虫项目并储存到数据库中。是不是很方便?
|
||||
|
||||
## 部署爬虫
|
||||
|
||||
所有爬虫需要在抓取前被部署当相应当节点中。在"爬虫详情"页面点击"Deploy"按钮,爬虫将被部署到所有有效到节点中。
|
||||
|
||||
## 运行爬虫
|
||||
|
||||
部署爬虫之后,你可以在"爬虫详情"页面点击"Run"按钮来启动爬虫。一个爬虫任务将被触发,你可以在任务列表页面中看到这个任务。
|
||||
|
||||
|
||||
3
gitbook/Concept/Task.md
Normal file
3
gitbook/Concept/Task.md
Normal file
@@ -0,0 +1,3 @@
|
||||
# 任务
|
||||
|
||||
任务被触发并被节点执行。用户可以在任务详情页面中看到任务到状态、日志和抓取结果。
|
||||
Reference in New Issue
Block a user