Commit Graph

76 Commits

Author SHA1 Message Date
marvzhang
daef59be07 updated contributors 2020-03-19 11:13:25 +08:00
marvzhang
e0d953d18f 用户挑战基础准备 2020-03-18 18:00:25 +08:00
marvzhang
994db8d03c 加入Git Checkout
功能
2020-03-11 15:18:42 +08:00
marvzhang
6c3bcaea9c 加入git 日志 2020-03-11 14:01:02 +08:00
marvzhang
d2ed7e6379 加入配置只在工作节点上调度 2020-03-11 08:05:37 +08:00
marvzhang
34d3e8b276 重构RPC逻辑 2020-03-10 12:08:26 +08:00
marvzhang
4f24ac15a1 加入帮助文档 2020-03-01 20:55:52 +08:00
marvzhang
6000667b7d updated dockerpush.yml 2020-02-23 09:19:18 +08:00
marvzhang
dd3264768a 加入批量运行爬虫 2020-02-22 19:12:24 +08:00
marvzhang
2e6b6e4e70 加入批量删除爬虫任务 2020-02-22 17:35:51 +08:00
marvzhang
ba720b356c 加入批量删除爬虫 2020-02-22 12:44:58 +08:00
marvzhang
cddc09405b 加入scrapy spider跳转 2020-02-21 22:28:41 +08:00
marvzhang
21323f0d28 加入scrapy pipelines支持 2020-02-21 17:12:57 +08:00
marvzhang
38af9e9173 加入scrapy items.py支持 2020-02-21 15:07:54 +08:00
marvzhang
ec8bf33535 加入版本检测 2020-02-19 13:16:46 +08:00
marvzhang
2ce289c8f3 加入Git同步 2020-02-18 12:15:40 +08:00
marvzhang
3bb1fe2a74 加入git同步 2020-02-17 18:12:59 +08:00
marvzhang
534a29ebc3 加入添加scrapy爬虫 2020-02-17 14:06:16 +08:00
marvzhang
dec566d1e5 加入settings.py同步 2020-02-17 11:15:16 +08:00
marvzhang
a9277f3412 添加Scrapy设置后端 2020-02-17 10:31:59 +08:00
marvzhang
3b8702ed58 加入scrapy日志选择 2020-02-15 21:25:21 +08:00
marvzhang
98e5ead285 添加demo爬虫 2020-02-02 22:56:11 +08:00
marvzhang
6931211cbd 优化项目管理 2020-02-02 14:04:38 +08:00
marvzhang
075a899c2f 加入项目管理 2020-02-02 12:29:28 +08:00
陈景阳
07edf8b2e8 fix 启动报错的问题 2020-02-01 12:53:44 +08:00
陈景阳
7d8cca3d28 Merge remote-tracking branch 'upstream/develop' into upstream-develop
# Conflicts:
#	backend/main.go
#	frontend/.env.development
2020-01-28 15:51:09 +08:00
陈景阳
b139c7fe6c feature 新增全局环境变量 2020-01-28 15:12:12 +08:00
marvzhang
ec76d07b1a updated stats 2020-01-22 11:07:38 +08:00
marvzhang
ae2ff69b45 加入树形结构文件目录 2020-01-15 17:44:11 +08:00
marvzhang
659874a4ee 加入用户设置与邮件通知 2020-01-13 19:56:13 +08:00
marvzhang
a74b949d8d fixed https://github.com/crawlab-team/crawlab/issues/423 2020-01-06 12:35:17 +08:00
marvzhang
44c0b050f7 爬虫详情显示定时任务 2020-01-03 17:20:24 +08:00
marvzhang
762bd75334 优化代码 2020-01-03 11:12:46 +08:00
marvzhang
9a5ec98925 优化依赖安装 2020-01-03 10:54:20 +08:00
marvzhang
ca15e22312 加入卸载依赖逻辑 2020-01-02 17:38:39 +08:00
marvzhang
152e94da01 加入RPC机制,完成部分依赖安装逻辑 2020-01-02 15:53:53 +08:00
marvzhang
6bf6212a22 加入依赖安装前端 2019-12-31 17:05:15 +08:00
marvzhang
8425ff26e8 更新依赖安装逻辑 2019-12-31 12:02:47 +08:00
marvzhang
6e0718e646 添加文件管理功能(后端) 2019-12-25 20:49:43 +08:00
marvzhang
8910a74b5d 优化添加爬虫逻辑 2019-12-25 19:46:09 +08:00
marvzhang
9b7eeb9532 加入爬虫文件管理后端 API 2019-12-24 09:12:35 +08:00
marvzhang
a43365c6e7 加入爬虫文件管理后端 API 2019-12-24 09:11:42 +08:00
marvzhang
28a3a53176 fixed https://github.com/crawlab-team/crawlab/issues/346 2019-12-20 12:45:37 +08:00
hantmac
51b31e56aa Add API GetVersion 2019-12-19 21:16:25 +08:00
陈景阳
0daeb33699 完成批量删除Task任务列表 2019-12-08 10:58:02 +08:00
陈景阳
6e7634d70f Feature 新增定时任务可暂停/运行 2019-12-07 14:02:54 +08:00
hantmac
a74fd82b6a - 新增authGroup.DELETE("/tasks_by_status", routes.DeleteTaskByStatus) 支持批量删除指定状态的任务
- TaskListRequestData中增加Status字段,支持根据task状态进行筛选
2019-12-05 15:12:32 +08:00
hantmac
5bb8be1ddd fix 2019-12-04 16:48:36 +08:00
marvzhang
589190d674 加入Spiderfile模版 2019-12-03 13:37:41 +08:00
marvzhang
ba4f5fd20c 优化可配置爬虫前端界面 2019-11-28 21:36:17 +08:00