定时任务

定时任务是指定某个时刻,重复性地执行的任务,英文叫做Periodical Tasks,在Linux中也被称为Crontab。定时任务可以让任务可以被执行多次,而用户则不用手动的操作来执行任务。在生产环境中,这非常常见。定时任务对于对增量抓取或对数据实时性有要求的用户来说非常有用。

在Crawlab中,定时任务是通过apscheduler来实现的。创建一个定时任务之后,会在名为mongojobstore中创建一个periodical jobapscheduler调度引擎将会不断的去数据库中匹配任务的执行时间,如果执行时间满足要求,则会在后台触发一次任务运行。

定时任务列表会进行更新。每一次爬虫更新、删除、创建,以及定时任务的更新、删除、创建,都会触发定时任务列表的更新。

创建定时任务

导航至定时任务页面,可以看到定时任务的列表。

点击添加定时任务,弹出创建定时任务的弹框。填写相应的内容,点击提交按钮创建定时任务。

这里的CronLinux中的crontab是一致的。如果对crontab不了解,可以参考这篇文章

修改定时任务

导航至定时任务页面,点击操作列的修改按钮,弹出修改定时任务的弹框。填写相应的内容,点击提交按钮修改定时任务。

删除定时任务

导航至定时任务页面,点击操作列的删除按钮,确认删除该任务。

results matching ""

    No results matching ""