git-sync/crawlab
1
0
Fork 0
mirror of https://github.com/crawlab-team/crawlab.git synced 2026-01-26 17:49:15 +01:00
Code Issues Packages Projects Releases Wiki Activity
1,066 Commits 6 Branches 35 Tags
6eee936d7bc2988870bbe21fb1d2b1879baab8d2
Commit Graph

68 Commits

Author SHA1 Message Date
marvzhang
26227dd0dc 修复定时任务不一致问题 2019-12-12 13:13:42 +08:00
陈景阳
069d861be9 fix 错误信息的返回 2019-12-09 11:23:30 +08:00
陈景阳
280877a0ae 完成可能重复注册节点的问题 2019-12-09 10:28:48 +08:00
陈景阳
f9f04093d9 完成批量删除Task任务列表 2019-12-08 10:58:02 +08:00
陈景阳
58df4c4a96 Feature 新增定时任务可暂停/运行 2019-12-07 14:02:54 +08:00
hantmac
6d7efa465d 新增authGroup.DELETE(/tasks_by_status, routes.DeleteTaskByStatus) 支持批量删除指定状态的任务 2019-12-06 10:08:45 +08:00
hantmac
07ce8e25fd - 新增authGroup.DELETE("/tasks_by_status", routes.DeleteTaskByStatus) 支持批量删除指定状态的任务 
- TaskListRequestData中增加Status字段，支持根据task状态进行筛选
 2019-12-05 15:12:32 +08:00
marvzhang
e8edf9dac4 添加运行类别 2019-12-05 11:51:54 +08:00
marvzhang
3761d906c8 修复爬虫被覆盖的问题 2019-12-04 14:54:49 +08:00
marvzhang
98cbccb81e 加入Spiderfile模版 2019-12-03 13:37:41 +08:00
marvzhang
87546f0c88 准备可配置爬虫自定义设置变量 2019-11-29 13:42:50 +08:00
marvzhang
4ae0043f8e 修复删除可配置爬虫问题 2019-11-28 22:20:20 +08:00
marvzhang
d65e37517e 优化可配置爬虫前端界面 2019-11-28 21:36:17 +08:00
marvzhang
8210fa6c20 加入修改可配置POST接口 2019-11-28 16:08:13 +08:00
marvzhang
e88b13b510 准备前端可配置爬虫数据 2019-11-27 12:42:08 +08:00
marvzhang
6449a8c5be 准备前端可配置爬虫数据 2019-11-27 12:32:25 +08:00
marvzhang
1674dce3bd 准备前端可配置爬虫数据 2019-11-27 10:40:37 +08:00
marvzhang
0d8ce3a29f 准备可配置爬虫后端数据 2019-11-26 13:38:54 +08:00
marvzhang
3f12302cf9 更新可配置爬虫：添加上传GridFS 2019-11-25 13:36:14 +08:00
marvzhang
8b451c8b2b 更新可配置爬虫，修复一些问题 2019-11-24 18:51:32 +08:00
marvzhang
9c282ddb4d 加入可配置爬虫 2019-11-24 17:57:12 +08:00
marvzhang
6d9c2ce653 Merge remote-tracking branch 'origin/develop' into develop 2019-11-24 12:25:46 +08:00
marvzhang
7003951561 fixed https://github.com/crawlab-team/crawlab/issues/315 2019-11-24 12:20:44 +08:00
Marvin Zhang
f1c951d575 Merge pull request #313 from hantmac/develop 
bug fix
 2019-11-24 11:34:50 +08:00
marvzhang
607ce70f5c 准备可配置爬虫 2019-11-23 18:13:47 +08:00
韩山杰
86d4c611c6 bug fix 2019-11-22 15:32:23 +08:00
陈景阳
b3b2efd611 fix 定时任务参数错误的问题 2019-10-16 15:27:12 +08:00
陈景阳
5bd30d8046 fix 定时任务管理 2019-10-11 23:53:07 +08:00
陈景阳
7dae91ab50 fix 2019-10-11 22:48:06 +08:00
陈景阳
973251a0fb 优化节点信息 2019-10-11 21:57:25 +08:00
陈景阳
dabf5cacf1 fix 创建目录错误的问题 2019-10-07 12:21:32 +08:00
陈景阳
b994cd4922 完成爬虫的分类 2019-09-30 16:35:36 +08:00
陈景阳
cdd7696295 添加爬虫类型 2019-09-30 14:43:48 +08:00
陈景阳
41556cab74 fix 删除爬虫的问题 2019-09-30 12:09:37 +08:00
陈景阳
72b7ef42e8 fix 重复获取爬虫的问题 2019-09-27 12:07:38 +08:00
陈景阳
f5371f94a4 fix 上传爬虫名称错误的问题 2019-09-27 11:30:38 +08:00
陈景阳
0ddb294885 完成爬虫列表 2019-09-26 20:53:05 +08:00
陈景阳
3845e57612 fix 上传的问题 2019-09-26 19:44:12 +08:00
陈景阳
a11544d809 优化爬虫获取逻辑 2019-09-26 16:26:32 +08:00
陈景阳
947b561653 优化爬虫获取逻辑 2019-09-26 11:38:13 +08:00
陈景阳
05c28230b7 爬虫逻辑修改为从GridFS获取 2019-09-26 11:28:20 +08:00
陈景阳
000b4ff730 删除日志 2019-09-10 09:51:27 +08:00
陈景阳
cdeef4b4a5 重构msg的包 2019-09-10 09:32:48 +08:00
陈景阳
8cf48d871e fix 删除spider没有删除task 2019-09-05 20:07:08 +08:00
yaziming
e10d8fd996 refactor(backend): Use more efficient bytes to string methods and remove unnecessary type conversions 
detail:
    1. add utils.BytesToString function instead of string() convert bytes to string.
    2. use bytes.NewReader instead of strings.NewReader(string(sb)).
    3. use w.Body.Bytes() instead of []byte(w.Body.String()).
 2019-09-03 15:17:32 +08:00
陈景阳
352fac4096 fix 删除spider没有删除task的问题 2019-09-02 20:49:00 +08:00
yaziming
81f6cf021f Backend: 
improve
     - AuthMiddleware 注入当前用户的信息
     - 增加Context服务支持快捷获取当前登录者信息
     - 重构Login/GetMe接口逻辑避免重复的数据库查询
     - 规范化error信息声明(向下兼容,旧代码可逐渐迁移规范化)
     - 修正部分不符合规范的代码
 2019-08-31 21:26:56 +08:00
陈景阳
d5dce56712 Merge branch 'develop' of https://github.com/crawlab-team/crawlab into v0.4.0 2019-08-28 16:00:27 +08:00
陈景阳
c7e137a6aa 删除爬虫顺带删除文件 2019-08-27 09:39:16 +08:00
yaziming
ba0471355b JSON -> AbortWithStatusJSON 2019-08-26 23:13:26 +08:00