Crawlab部署教程 1. 部署的方式

部署的方式很多种，我这里用最简单的docker部署，没有安装的可以先安装docker

2. 下载 Crawlaw镜像

安装完docker后，直接下载crawlab镜像

docker pull tikazyq/crawlab:latest 3. 安装 Docker-Compose

安装 docker-compose 其实比较简单，在安装了 pip 的情况下（Python 3），执行以下命令。

pip3 install docker-compose 4. 安装并启动 Crawlab

在你的新建文件夹作为网址的文件，然后新建 docker-compose.yml，输入以下内容

version: '3.3' services: master: image: tikazyq/crawlab:latest container_name: master environment: CRAWLAB_SERVER_MASTER: "Y" CRAWLAB_MONGO_HOST: "mongo" CRAWLAB_REDIS_ADDRESS: "redis" ports: - "8080:8080" # frontend - "8000:8000" # backend depends_on: - mongo - redis mongo: image: mongo:latest restart: always ports: - "27017:27017" redis: image: redis:latest restart: always ports: - "6381:6381" 其中，我们设置了 Redis 和 MongoDB 的地址，分别通过 CRAWLAB_REDIS_ADDRESS 和 CRAWLAB_MONGO_HOST 参数。CRAWLAB_SERVER_MASTER 设置为 Y 表示启动的是主节点（该参数默认是为 N，表示为工作节点）注意: 在生产环境中，强烈建议您将数据库持久化，因为否则的话，一旦您的 Docker 容器发生意外导致关闭重启，您的数据将丢失。持久化的方法就是将上述 docker-compose.yml 模版中的关于持久化的代码取消注释就可以了。持久化的数据包括：MongoDB 数据库、Redis 数据库、日志。

安装完 docker-compose 和定义好 docker-compose.yml 后，只需要运行以下命令就可以启动 Crawlab。

docker-compose up -d

同样，在浏览器中输入 http://localhost:8080 就可以看到界面。 停止容器：docker-compose stop

5. 更新 / 重启 Crawlab

如果您需要更新最新的版本的镜像，只需要执行以下代码。

# 关闭并删除 Docker 容器 docker-compose down # 拉取最新镜像 docker pull tikazyq/crawlab:latest # 启动 Docker 容器 docker-compose up -d 6. 常见问题 添加依赖文件 ，爬虫过程可以需要用都其他的第三方库，你需要手动新建依赖文件 requirements.txt，如果您不需要另外的依赖，则不用新建 requirements.txt 文件，或者进入docker的环境自己手动安装python的包 查看容器：docker ps 进入容器：docker exec -it "ID" /bin/bash

如果文件上传，但是重启没有显示，上传的时候又显示已经存在，找到这个目录， cd /app/spiders # 进入目录 ls # 查看文件

参考1

---

1.本站遵循行业规范，任何转载的稿件都会明确标注作者和来源；2.本站的原创文章，会注明原创字样,如未注明都非原创，如有侵权请联系删除！；3.作者投稿可能会经我们编辑修改或补充；4.本站不提供任何储存功能只提供收集或者投稿人的网盘链接。