mirror of
https://github.com/crawlab-team/crawlab.git
synced 2026-01-26 17:49:15 +01:00
updated docs
This commit is contained in:
@@ -0,0 +1,25 @@
|
||||
## 定时任务
|
||||
|
||||
定时任务是指定某个时刻,重复性地执行的任务,英文叫做`Periodical Tasks`,在`Linux`中也被称为`Crontab`。定时任务可以让任务可以被执行多次,而用户则不用手动的操作来执行任务。在生产环境中,这非常常见。定时任务对于对增量抓取或对数据实时性有要求的用户来说非常有用。
|
||||
|
||||
在Crawlab中,定时任务是通过`apscheduler`来实现的。创建一个定时任务之后,会在名为`mongo`的`jobstore`中创建一个`periodical job`,`apscheduler`调度引擎将会不断的去数据库中匹配任务的执行时间,如果执行时间满足要求,则会在后台触发一次任务运行。
|
||||
|
||||
定时任务列表会进行更新。每一次爬虫更新、删除、创建,以及定时任务的更新、删除、创建,都会触发定时任务列表的更新。
|
||||
|
||||
### 创建定时任务
|
||||
|
||||
导航至`定时任务`页面,可以看到定时任务的列表。
|
||||
|
||||
点击`添加定时任务`,弹出创建定时任务的弹框。填写相应的内容,点击`提交`按钮创建定时任务。
|
||||
|
||||

|
||||
|
||||
这里的`Cron`跟`Linux`中的`crontab`是一致的。如果对`crontab`不了解,可以参考[这篇文章](https://www.cnblogs.com/longjshz/p/5779215.html)。
|
||||
|
||||
### 修改定时任务
|
||||
|
||||
导航至`定时任务`页面,点击`操作`列的`修改`按钮,弹出修改定时任务的弹框。填写相应的内容,点击`提交`按钮修改定时任务。
|
||||
|
||||
### 删除定时任务
|
||||
|
||||
导航至`定时任务`页面,点击`操作`列的`删除`按钮,确认删除该任务。
|
||||
|
||||
@@ -0,0 +1,5 @@
|
||||
## 网站
|
||||
|
||||
网站信息是帮助用户查看[站长之家](http://top.chinaz.com/hangye/)收录网站的信息的,包含`Robots协议`、`首页响应`等信息。
|
||||
|
||||

|
||||
11
gitbook/Usage/Task/Action.md
Normal file
11
gitbook/Usage/Task/Action.md
Normal file
@@ -0,0 +1,11 @@
|
||||
## 操作任务
|
||||
|
||||
### 停止任务
|
||||
|
||||
当任务运行起来之后,我们因为某个原因可能需要终止任务,这时我们需要在Crawlab中停止该任务。
|
||||
|
||||
导航至需要停止的任务的`任务详情`,点击`停止`按钮来终止任务。
|
||||
|
||||
### 删除任务
|
||||
|
||||
在`任务列表`中,点击`操作`列中的`删除`按钮,确认删除该任务。
|
||||
5
gitbook/Usage/Task/DownloadResults.md
Normal file
5
gitbook/Usage/Task/DownloadResults.md
Normal file
@@ -0,0 +1,5 @@
|
||||
## 下载结果
|
||||
|
||||
结果储存在数据库中之后,我们有时候需要将其导出,这时可以在界面中进行导出操作。
|
||||
|
||||
导航至`任务详情`,点击`结果`标签,点击`下载CSV`按钮,等待一会儿,结果就会以`CSV`的形式下载到本地。
|
||||
@@ -0,0 +1,8 @@
|
||||
## 任务
|
||||
|
||||
任务其实就是指某一次抓取任务或采集任务。任务与爬虫关联,其执行的也是爬虫指定的执行命令或采集规则。抓取或采集的结果与任务关联,因此可以查看到每一次任务的结果集。Crawlab的任务是整个采集流程的核心,抓取的过程都是跟任务关联起来的,因此任务对于Crawlab来说非常重要。任务被`app`触发,`worker`通过任务队列接收任务,然后在其所在节点上执行任务。
|
||||
|
||||
本小节将介绍以下内容:
|
||||
1. [查看任务](/Usage/Task/View.md)
|
||||
2. [操作任务](/Usage/Task/Delete.md)
|
||||
3. [下载结果](/Usage/Task/DownloadResults.md)
|
||||
|
||||
21
gitbook/Usage/Task/View.md
Normal file
21
gitbook/Usage/Task/View.md
Normal file
@@ -0,0 +1,21 @@
|
||||
## 查看任务
|
||||
|
||||
### 任务列表
|
||||
|
||||
点击`侧边栏`的`任务`导航至`任务列表`。可以看到最近的10个生成的任务。可以根据`节点`、`爬虫`来过滤任务。
|
||||
|
||||

|
||||
|
||||
点击`操作`列的`查看`按钮,进入到该任务的`任务详情`。
|
||||
|
||||
### 任务日志
|
||||
|
||||
点击`日志`标签,可以查看任务日志。
|
||||
|
||||

|
||||
|
||||
### 任务结果
|
||||
|
||||
点击`结果`标签,可以查看任务结果。
|
||||
|
||||

|
||||
Reference in New Issue
Block a user