部署爬虫
这里的爬虫部署是指自定义爬虫的部署,因为可配置爬虫已经内嵌到Crawlab中了,所有节点都可以使用,不需要额外部署。简单来说,就是将主机上的爬虫源代码通过HTTP的方式打包传输至worker节点上,因此节点就可以运行传输过来的爬虫了。
部署爬虫很简单,有三种方式:
- 在
爬虫列表中点击部署所有爬虫,将所有爬虫部署到所有在线节点中; - 在
爬虫列表中点击操作列的部署按钮,将指定爬虫部署到所有在线节点中; - 在
爬虫详情的概览标签中,点击部署按钮,将指定爬虫部署到所有在线节点中。
部署好之后,我们就可以运行爬虫了。