git-sync/crawlab
1
0
Fork 0
mirror of https://github.com/crawlab-team/crawlab.git synced 2026-01-29 18:00:51 +01:00
Code Issues Packages Projects Releases Wiki Activity
1,081 Commits 6 Branches 35 Tags
a43365c6e7aeada026d8a01b2b3c90f2faea7fd4
Commit Graph

72 Commits

Author SHA1 Message Date
marvzhang
a43365c6e7 加入爬虫文件管理后端 API 2019-12-24 09:11:42 +08:00
marvzhang
b35c09d362 updated CHANGELOG.md 2019-12-20 13:13:05 +08:00
marvzhang
28a3a53176 fixed https://github.com/crawlab-team/crawlab/issues/346 2019-12-20 12:45:37 +08:00
hantmac
51b31e56aa Add API GetVersion 2019-12-19 21:16:25 +08:00
marvzhang
0cf745767c 修复定时任务不一致问题 2019-12-12 13:13:42 +08:00
陈景阳
68324d2ec5 fix 错误信息的返回 2019-12-09 11:23:30 +08:00
陈景阳
b4c160fe22 完成可能重复注册节点的问题 2019-12-09 10:28:48 +08:00
陈景阳
0daeb33699 完成批量删除Task任务列表 2019-12-08 10:58:02 +08:00
陈景阳
6e7634d70f Feature 新增定时任务可暂停/运行 2019-12-07 14:02:54 +08:00
hantmac
4bf72c9df1 新增authGroup.DELETE(/tasks_by_status, routes.DeleteTaskByStatus) 支持批量删除指定状态的任务 2019-12-06 10:08:45 +08:00
hantmac
a74fd82b6a - 新增authGroup.DELETE("/tasks_by_status", routes.DeleteTaskByStatus) 支持批量删除指定状态的任务 
- TaskListRequestData中增加Status字段，支持根据task状态进行筛选
 2019-12-05 15:12:32 +08:00
marvzhang
f8cf5b3241 添加运行类别 2019-12-05 11:51:54 +08:00
marvzhang
97ca3b74b8 修复爬虫被覆盖的问题 2019-12-04 14:54:49 +08:00
marvzhang
589190d674 加入Spiderfile模版 2019-12-03 13:37:41 +08:00
marvzhang
a1bfe00eee 准备可配置爬虫自定义设置变量 2019-11-29 13:42:50 +08:00
marvzhang
e14c7fa80e 修复删除可配置爬虫问题 2019-11-28 22:20:20 +08:00
marvzhang
ba4f5fd20c 优化可配置爬虫前端界面 2019-11-28 21:36:17 +08:00
marvzhang
bc81462a80 加入修改可配置POST接口 2019-11-28 16:08:13 +08:00
marvzhang
f06c8eb785 准备前端可配置爬虫数据 2019-11-27 12:42:08 +08:00
marvzhang
ded5703b13 准备前端可配置爬虫数据 2019-11-27 12:32:25 +08:00
marvzhang
88118cf894 准备前端可配置爬虫数据 2019-11-27 10:40:37 +08:00
marvzhang
870bb167a7 准备可配置爬虫后端数据 2019-11-26 13:38:54 +08:00
marvzhang
178e46dd93 更新可配置爬虫：添加上传GridFS 2019-11-25 13:36:14 +08:00
marvzhang
6a07afa279 更新可配置爬虫，修复一些问题 2019-11-24 18:51:32 +08:00
marvzhang
38d103da39 加入可配置爬虫 2019-11-24 17:57:12 +08:00
marvzhang
c03c296436 Merge remote-tracking branch 'origin/develop' into develop 2019-11-24 12:25:46 +08:00
marvzhang
442396a5ff fixed https://github.com/crawlab-team/crawlab/issues/315 2019-11-24 12:20:44 +08:00
Marvin Zhang
966d3eaaf2 Merge pull request #313 from hantmac/develop 
bug fix
 2019-11-24 11:34:50 +08:00
marvzhang
b5c3ca9c32 准备可配置爬虫 2019-11-23 18:13:47 +08:00
韩山杰
6c7d884e66 bug fix 2019-11-22 15:32:23 +08:00
陈景阳
05136b0fac fix 定时任务参数错误的问题 2019-10-16 15:27:12 +08:00
陈景阳
cd7f6e66b4 fix 定时任务管理 2019-10-11 23:53:07 +08:00
陈景阳
02f744eb96 fix 2019-10-11 22:48:06 +08:00
陈景阳
c00bebbf95 优化节点信息 2019-10-11 21:57:25 +08:00
陈景阳
0d10d6d045 fix 创建目录错误的问题 2019-10-07 12:21:32 +08:00
陈景阳
8294e7cb4b 完成爬虫的分类 2019-09-30 16:35:36 +08:00
陈景阳
ffd5725f3b 添加爬虫类型 2019-09-30 14:43:48 +08:00
陈景阳
d80642aa0c fix 删除爬虫的问题 2019-09-30 12:09:37 +08:00
陈景阳
424e2a5e14 fix 重复获取爬虫的问题 2019-09-27 12:07:38 +08:00
陈景阳
7b93d8a67b fix 上传爬虫名称错误的问题 2019-09-27 11:30:38 +08:00
陈景阳
41e9edf940 完成爬虫列表 2019-09-26 20:53:05 +08:00
陈景阳
5416b7ac60 fix 上传的问题 2019-09-26 19:44:12 +08:00
陈景阳
6df6155daf 优化爬虫获取逻辑 2019-09-26 16:26:32 +08:00
陈景阳
475bf4c69e 优化爬虫获取逻辑 2019-09-26 11:38:13 +08:00
陈景阳
9237e62a48 爬虫逻辑修改为从GridFS获取 2019-09-26 11:28:20 +08:00
陈景阳
27f36cf91f 删除日志 2019-09-10 09:51:27 +08:00
陈景阳
9514a8a6af 重构msg的包 2019-09-10 09:32:48 +08:00
陈景阳
e5d33b8982 fix 删除spider没有删除task 2019-09-05 20:07:08 +08:00
yaziming
888a3cab79 refactor(backend): Use more efficient bytes to string methods and remove unnecessary type conversions 
detail:
    1. add utils.BytesToString function instead of string() convert bytes to string.
    2. use bytes.NewReader instead of strings.NewReader(string(sb)).
    3. use w.Body.Bytes() instead of []byte(w.Body.String()).
 2019-09-03 15:17:32 +08:00
陈景阳
6675d075f2 fix 删除spider没有删除task的问题 2019-09-02 20:49:00 +08:00