Docker安装部署

这应该是部署应用的最方便也是最节省时间的方式了。在最近的一次版本更新v0.2.3中，我们发布了Docker功能，让大家可以利用Docker来轻松部署Crawlab。下面将一步一步介绍如何使用Docker来部署Crawlab。

对Docker不了解的开发者，可以参考一下这篇文章（9102 年了，学点 Docker 知识）做进一步了解。简单来说，Docker可以利用已存在的镜像帮助构建一些常用的服务和应用，例如Nginx、MongoDB、Redis等等。用Docker运行一个MongoDB服务仅需docker run -d --name mongo -p 27017:27017 mongo一行命令。如何安装Docker跟操作系统有关，这里就不展开讲了，需要的同学自行百度一下相关教程。

下载镜像

我们已经在DockerHub上构建了Crawlab的镜像，开发者只需要将其pull下来使用。在pull 镜像之前，我们需要配置一下镜像源。因为我们在墙内，使用原有的镜像源速度非常感人，因此将使用DockerHub在国内的加速器。创建/etc/docker/daemon.json文件，在其中输入如下内容。

{
  "registry-mirrors": ["https://registry.docker-cn.com"]
}

这样的话，pull镜像的速度会比不改变镜像源的速度快很多。

执行以下命令将Crawlab的镜像下载下来。镜像大小大概在几百兆，因此下载需要几分钟时间。

docker pull tikazyq/crawlab:latest

更改配置文件

拷贝一份后端配置文件./crawlab/config/config.py以及前端配置文件./frontend/.env.production到某一个地方。例如我的例子，分别为/home/yeqing/config.py和/home/yeqing/.env.production。

更改后端配置文件config.py，将MongoDB、Redis的指向IP更改为自己数据的值。注意，容器中对应的宿主机的IP地址不是localhost，而是172.17.0.1（当然也可以用network来做，只是稍微麻烦一些）。更改前端配置文件.env.production，将API地址VUE_APP_BASE_URL更改为宿主机所在的IP地址，例如http://192.168.0.8:8000，这将是前端调用API会用到的URL。

运行Docker容器

更改好配置文件之后，接下来就是运行容器了。执行以下命令来启动容器。

docker run -d --rm --name crawlab \
    -p 8080:8080 \
    -p 8000:8000 \
    -v /home/yeqing/.env.production:/opt/crawlab/frontend/.env.production \
    -v /home/yeqing/config.py:/opt/crawlab/crawlab/config/config.py \
    tikazyq/crawlab master

其中，我们映射了8080端口（Nginx前端静态文件）以及8000端口（后端API）到宿主机。另外还将前端配置文件/home/yeqing/.env.production和后端配置文件/home/yeqing/config.py映射到了容器相应的目录下。传入参数master是代表该启动方式为主机启动模式，也就是所有服务（前端、Api、Flower、Worker）都会启动。另外一个模式是worker模式，只会启动必要的Api和Worker服务，这个对于分布式部署比较有用。等待大约20-30秒的时间来build前端静态文件，之后就可以打开Crawlab界面地址地址看到界面了。界面地址默认为http://localhost:8080。

Docker-Compose

当然，也可以用docker-compose的方式来部署。docker-compose是一个集群管理方式，可以利用名为docker-compose.yml的yaml文件来定义需要启动的容器，可以是单个，也可以（通常）是多个的。Crawlab的docker-compose.yml定义如下。

version: '3.3'
services:
  master: 
    image: tikazyq/crawlab:latest
    container_name: crawlab
    volumns:
      - /home/yeqing/config.py:/opt/crawlab/crawlab/config/config.py # 后端配置文件
      - /home/yeqing/.env.production:/opt/crawlab/frontend/.env.production # 前端配置文件
    ports:    
      - "8080:8080" # nginx
      - "8000:8000" # app
    depends_on:
      - mongo
      - redis
    entrypoint:
      - /bin/sh
      - /opt/crawlab/docker_init.sh
      - master
  mongo:
    image: mongo:latest
    restart: always
    ports:
      - "27017:27017"
  redis:
    image: redis:latest
    restart: always
    ports:
      - "6379:6379"

这里先定义了master节点，也就是Crawlab的主节点。master依赖于mongo和redis容器，因此在启动之前会同时启动mongo和redis容器。这样就不需要单独配置mongo和redis服务了，大大节省了环境配置的时间。

安装docker-compose也很简单，大家去网上百度一下就可以了。

安装完docker-compose和定义好docker-compose.yml后，只需要运行以下命令就可以启动Crawlab。

docker-compose up

同样，在浏览器中输入http://localhost:8080就可以看到界面。

多节点模式

docker-compose的方式很适合多节点部署，在原有的master基础上增加几个worker节点，达到多节点部署的目的。将docker-compose.yml更改为如下内容。

version: '3.3'
services:
  master: 
    image: tikazyq/crawlab:latest
    container_name: crawlab
    volumns:
      - /home/yeqing/config.master.py:/opt/crawlab/crawlab/config/config.py # 后端配置文件
      - /home/yeqing/.env.production.master:/opt/crawlab/frontend/.env.production # 前端配置文件
    ports:    
      - "8080:8080" # nginx
      - "8000:8000" # app
    depends_on:
      - mongo
      - redis
    entrypoint:
      - /bin/sh
      - /opt/crawlab/docker_init.sh
      - master
  worker1: 
    image: tikazyq/crawlab:latest
    volumns:
      - /home/yeqing/config.worker.py:/opt/crawlab/crawlab/config/config.py # 后端配置文件
      - /home/yeqing/.env.production.worker:/opt/crawlab/frontend/.env.production # 前端配置文件
    ports:
      - "8001:8000" # app
    depends_on:
      - mongo
      - redis
    entrypoint:
      - /bin/sh
      - /opt/crawlab/docker_init.sh
      - worker
  worker2: 
    image: tikazyq/crawlab:latest
    volumns:
      - /home/yeqing/config.worker.py:/opt/crawlab/crawlab/config/config.py # 后端配置文件
      - /home/yeqing/.env.production.worker:/opt/crawlab/frontend/.env.production # 前端配置文件
    ports:
      - "8002:8000" # app
    depends_on:
      - mongo
      - redis
    entrypoint:
      - /bin/sh
      - /opt/crawlab/docker_init.sh
      - worker
  mongo:
    image: mongo:latest
    restart: always
    ports:
      - "27017:27017"
  redis:
    image: redis:latest
    restart: always
    ports:
      - "6379:6379"

这里启动了多增加了两个worker节点，以worker模式启动。这样，多节点部署，也就是分布式部署就完成了。