added gitbook

This commit is contained in:
Marvin Zhang
2019-05-30 19:12:08 +08:00
parent c76b328acd
commit 4cce9eb005
17 changed files with 307 additions and 0 deletions

View File

@@ -0,0 +1,6 @@
# 部署
所有爬虫在运行前需要被部署当相应当节点中。
部署时,爬虫会被打包到相应的目录中,方便环境隔离,开发环境的爬虫和生产环境的爬虫需要打包部署来实现隔离。

3
gitbook/Concept/Node.md Normal file
View File

@@ -0,0 +1,3 @@
# 节点
节点其实就是Celery中的Worker。一个节点运行时会连接到一个任务队列例如Redis来接收和运行任务。所有爬虫需要在运行时被部署到节点上用户在部署前需要定义节点的IP地址和端口。

View File

@@ -0,0 +1,2 @@
# 概念

15
gitbook/Concept/Spider.md Normal file
View File

@@ -0,0 +1,15 @@
# 爬虫
## 自动发现
`config.py`文件中,修改变量`PROJECT_SOURCE_FILE_FOLDER`作为爬虫项目所在的目录。Crawlab后台程序会自动发现这些爬虫项目并储存到数据库中。是不是很方便
## 部署爬虫
所有爬虫需要在抓取前被部署当相应当节点中。在"爬虫详情"页面点击"Deploy"按钮,爬虫将被部署到所有有效到节点中。
## 运行爬虫
部署爬虫之后,你可以在"爬虫详情"页面点击"Run"按钮来启动爬虫。一个爬虫任务将被触发,你可以在任务列表页面中看到这个任务。

3
gitbook/Concept/Task.md Normal file
View File

@@ -0,0 +1,3 @@
# 任务
任务被触发并被节点执行。用户可以在任务详情页面中看到任务到状态、日志和抓取结果。