这里的爬虫部署是指自定义爬虫的部署,因为可配置爬虫已经内嵌到Crawlab中了,所有节点都可以使用,不需要额外部署。简单来说,就是将主机上的爬虫源代码通过HTTP的方式打包传输至worker节点上,因此节点就可以运行传输过来的爬虫了。
HTTP
worker
部署爬虫很简单,有三种方式:
爬虫列表
部署所有爬虫
操作
部署
爬虫详情
概览
部署好之后,我们就可以运行爬虫了。