164 Commits

Author SHA1 Message Date
暗音
ffe69f3d74 Merge pull request #245 from wo10378931/develop
Develop
2019-10-08 20:28:47 +08:00
陈景阳
f5af83dcce 修改版本号 2019-10-08 20:26:08 +08:00
陈景阳
6b90d86ea2 fix 状态的问题 2019-10-08 20:20:48 +08:00
陈景阳
a081b02c13 fix 状态的问题 2019-10-08 20:16:49 +08:00
陈景阳
4c8b38f40b fix 状态错误的问题 2019-10-08 19:41:29 +08:00
暗音
9a973ab43f Merge pull request #242 from wo10378931/develop
Develop
2019-10-07 13:07:53 +08:00
陈景阳
4a40d38844 fix md5值不一致的问题 2019-10-07 12:49:37 +08:00
陈景阳
dabf5cacf1 fix 创建目录错误的问题 2019-10-07 12:21:32 +08:00
yaziming
329b4a6470 fix(backend): fix mongo connect error when password has special characters 2019-10-01 09:58:24 +08:00
陈景阳
6fbae93545 fix 编译错误的问题 2019-09-30 19:24:35 +08:00
陈景阳
b994cd4922 完成爬虫的分类 2019-09-30 16:35:36 +08:00
陈景阳
cdd7696295 添加爬虫类型 2019-09-30 14:43:48 +08:00
陈景阳
41556cab74 fix 删除爬虫的问题 2019-09-30 12:09:37 +08:00
陈景阳
d93bff63e7 fix 无法删除爬虫的问题 2019-09-30 09:23:42 +08:00
陈景阳
bbc5401e31 打印一些错误的日志 2019-09-27 14:16:41 +08:00
陈景阳
66bef2e6f2 新增几个方法 2019-09-27 12:31:47 +08:00
陈景阳
72b7ef42e8 fix 重复获取爬虫的问题 2019-09-27 12:07:38 +08:00
陈景阳
c69d5ee390 fix 重复获取爬虫的问题 2019-09-27 12:00:00 +08:00
陈景阳
bc6dc22014 fix 上传爬虫错误的问题 2019-09-27 11:49:57 +08:00
陈景阳
f5371f94a4 fix 上传爬虫名称错误的问题 2019-09-27 11:30:38 +08:00
陈景阳
0847c6a991 fix 2019-09-27 10:28:46 +08:00
陈景阳
e728be6328 fix 2019-09-27 10:14:48 +08:00
陈景阳
698d240bd6 fix bug 2019-09-26 21:13:25 +08:00
陈景阳
141ec6a000 完成爬虫列表 2019-09-26 20:54:50 +08:00
陈景阳
0ddb294885 完成爬虫列表 2019-09-26 20:53:05 +08:00
陈景阳
3845e57612 fix 上传的问题 2019-09-26 19:44:12 +08:00
陈景阳
5f158ddb44 完成爬虫获取 2019-09-26 19:12:02 +08:00
陈景阳
169a7d0df9 fix 可能直接退出的问题 2019-09-26 16:49:01 +08:00
陈景阳
31be4c1839 优化爬虫获取逻辑 2019-09-26 16:43:32 +08:00
陈景阳
a11544d809 优化爬虫获取逻辑 2019-09-26 16:26:32 +08:00
陈景阳
947b561653 优化爬虫获取逻辑 2019-09-26 11:38:13 +08:00
陈景阳
05c28230b7 爬虫逻辑修改为从GridFS获取 2019-09-26 11:28:20 +08:00
陈景阳
96e926b486 fix 无法终止任务的问题 2019-09-26 10:29:58 +08:00
陈景阳
e235076a11 fix 无法终止任务的问题 2019-09-26 10:23:08 +08:00
陈景阳
7218a4f4de 添加日志打印 2019-09-26 09:37:10 +08:00
陈景阳
fda7e56e1a 添加日志打印 2019-09-25 16:19:58 +08:00
陈景阳
82999225de fix 无法获取task的错误 2019-09-25 15:11:27 +08:00
陈景阳
951f6a9f07 fix 2019-09-25 14:38:46 +08:00
陈景阳
3a272b404c fix 空指针引用 2019-09-10 14:47:23 +08:00
陈景阳
42e7647cd4 fix 消息无法订阅问题
fix 可能出现重复爬虫的问题
2019-09-10 14:26:50 +08:00
陈景阳
000b4ff730 删除日志 2019-09-10 09:51:27 +08:00
陈景阳
cdeef4b4a5 重构msg的包 2019-09-10 09:32:48 +08:00
陈景阳
8cf48d871e fix 删除spider没有删除task 2019-09-05 20:07:08 +08:00
Marvin Zhang
4893439ffb added param to task 2019-09-04 20:13:12 +08:00
hantmac
2fb1754e56 bug fix:fix data race caused by LockList 2019-09-04 13:51:02 +08:00
Marvin Zhang
4e17158a46 Merge pull request #208 from yaziming/v0.4.0-imporve-error-response
feat(backend): add some feat for error message system
2019-09-03 15:25:04 +08:00
yaziming
71c83251e5 feat(backend): add some feat for error message system
errors support custom http code and support return invalid validated
error
2019-09-03 15:23:08 +08:00
yaziming
e10d8fd996 refactor(backend): Use more efficient bytes to string methods and remove unnecessary type conversions
detail:
    1. add utils.BytesToString function instead of string() convert bytes to string.
    2. use bytes.NewReader instead of strings.NewReader(string(sb)).
    3. use w.Body.Bytes() instead of []byte(w.Body.String()).
2019-09-03 15:17:32 +08:00
hantmac
cb3d7263b2 bug fix:fix go test ./.. bug 2019-09-03 12:47:18 +08:00
陈景阳
cd78e6c745 还原代码 2019-09-03 09:06:04 +08:00