Commit Graph

74 Commits

Author SHA1 Message Date
Marvin Zhang
ff405dd2ee Merge pull request #370 from wo10378931/develop
Develop
2019-12-17 10:09:37 +08:00
marvzhang
a067c1c1ad 将可配置爬虫stages调整为列表 2019-12-13 12:55:53 +08:00
陈景阳
d8061dbf8f 优化代码,添加注释 2019-12-12 20:52:09 +08:00
marvzhang
26227dd0dc 修复定时任务不一致问题 2019-12-12 13:13:42 +08:00
陈景阳
280877a0ae 完成可能重复注册节点的问题 2019-12-09 10:28:48 +08:00
陈景阳
f9f04093d9 完成批量删除Task任务列表 2019-12-08 10:58:02 +08:00
陈景阳
58df4c4a96 Feature 新增定时任务可暂停/运行 2019-12-07 14:02:54 +08:00
陈景阳
bff13e96dc Merge remote-tracking branch 'upstream/develop' into upstream-develop 2019-12-07 10:58:24 +08:00
hantmac
07ce8e25fd - 新增authGroup.DELETE("/tasks_by_status", routes.DeleteTaskByStatus) 支持批量删除指定状态的任务
- TaskListRequestData中增加Status字段,支持根据task状态进行筛选
2019-12-05 15:12:32 +08:00
陈景阳
b445457243 Merge remote-tracking branch 'upstream/develop' into upstream-develop 2019-12-05 07:18:17 +08:00
marvzhang
6d9c162e9e 优先调整xpath顺序 2019-12-04 13:57:27 +08:00
marvzhang
40f6675ce8 更新Spiderfile模版 2019-12-03 14:25:54 +08:00
marvzhang
98cbccb81e 加入Spiderfile模版 2019-12-03 13:37:41 +08:00
marvzhang
9e849695d1 更新可配置爬虫 2019-12-03 12:14:38 +08:00
marvzhang
4ae0043f8e 修复删除可配置爬虫问题 2019-11-28 22:20:20 +08:00
marvzhang
d65e37517e 优化可配置爬虫前端界面 2019-11-28 21:36:17 +08:00
marvzhang
8210fa6c20 加入修改可配置POST接口 2019-11-28 16:08:13 +08:00
marvzhang
e88b13b510 准备前端可配置爬虫数据 2019-11-27 12:42:08 +08:00
marvzhang
1663be96ff Merge remote-tracking branch 'origin/develop' into develop 2019-11-27 12:41:51 +08:00
marvzhang
6449a8c5be 准备前端可配置爬虫数据 2019-11-27 12:32:25 +08:00
marvzhang
1674dce3bd 准备前端可配置爬虫数据 2019-11-27 10:40:37 +08:00
Marvin Zhang
6bc3e0d64f Merge pull request #321 from zhangweiii/master
fix Cannot read property length of null when first init
2019-11-27 10:02:21 +08:00
zhangweiii
95a1b72ec4 fix Cannot read property length of null when first init 2019-11-27 09:45:16 +08:00
陈景阳
f8f4d561e9 Merge remote-tracking branch 'upstream/develop' into upstream-develop
# Conflicts:
#	backend/services/spider.go
2019-11-26 15:30:26 +08:00
陈景阳
fa4d8ddc50 fix 执行爬虫错误的问题 2019-11-26 15:26:01 +08:00
marvzhang
b676a84e49 加入xpath 2019-11-26 13:02:49 +08:00
marvzhang
5a286f98af 更新可配置爬虫,修复一些问题 2019-11-24 19:45:21 +08:00
marvzhang
8b451c8b2b 更新可配置爬虫,修复一些问题 2019-11-24 18:51:32 +08:00
marvzhang
9c282ddb4d 加入可配置爬虫 2019-11-24 17:57:12 +08:00
marvzhang
7003951561 fixed https://github.com/crawlab-team/crawlab/issues/315 2019-11-24 12:20:44 +08:00
陈景阳
76ab8f1fcd fix 优化代码 2019-10-28 12:03:02 +08:00
陈景阳
5525c82835 读取日志修改为2M 2019-10-28 11:38:39 +08:00
暗音
bcf3978600 Merge branch 'develop' into develop 2019-10-28 11:06:13 +08:00
陈景阳
418d728825 修改日志获取问题 2019-10-17 17:54:19 +08:00
陈景阳
b3b2efd611 fix 定时任务参数错误的问题 2019-10-16 15:27:12 +08:00
陈景阳
5bd30d8046 fix 定时任务管理 2019-10-11 23:53:07 +08:00
陈景阳
7dae91ab50 fix 2019-10-11 22:48:06 +08:00
陈景阳
973251a0fb 优化节点信息 2019-10-11 21:57:25 +08:00
yaziming
ee808e0e60 refactor(all): refactor code
remove redundant code and some code refactor
2019-10-11 16:01:57 +08:00
陈景阳
b994cd4922 完成爬虫的分类 2019-09-30 16:35:36 +08:00
陈景阳
cdd7696295 添加爬虫类型 2019-09-30 14:43:48 +08:00
陈景阳
41556cab74 fix 删除爬虫的问题 2019-09-30 12:09:37 +08:00
陈景阳
bbc5401e31 打印一些错误的日志 2019-09-27 14:16:41 +08:00
陈景阳
66bef2e6f2 新增几个方法 2019-09-27 12:31:47 +08:00
陈景阳
c69d5ee390 fix 重复获取爬虫的问题 2019-09-27 12:00:00 +08:00
陈景阳
f5371f94a4 fix 上传爬虫名称错误的问题 2019-09-27 11:30:38 +08:00
陈景阳
e728be6328 fix 2019-09-27 10:14:48 +08:00
陈景阳
0ddb294885 完成爬虫列表 2019-09-26 20:53:05 +08:00
陈景阳
3845e57612 fix 上传的问题 2019-09-26 19:44:12 +08:00
陈景阳
5f158ddb44 完成爬虫获取 2019-09-26 19:12:02 +08:00