Commit Graph

54 Commits

Author SHA1 Message Date
marvzhang
1663be96ff Merge remote-tracking branch 'origin/develop' into develop 2019-11-27 12:41:51 +08:00
marvzhang
6449a8c5be 准备前端可配置爬虫数据 2019-11-27 12:32:25 +08:00
marvzhang
1674dce3bd 准备前端可配置爬虫数据 2019-11-27 10:40:37 +08:00
Marvin Zhang
6bc3e0d64f Merge pull request #321 from zhangweiii/master
fix Cannot read property length of null when first init
2019-11-27 10:02:21 +08:00
zhangweiii
95a1b72ec4 fix Cannot read property length of null when first init 2019-11-27 09:45:16 +08:00
marvzhang
b676a84e49 加入xpath 2019-11-26 13:02:49 +08:00
marvzhang
5a286f98af 更新可配置爬虫,修复一些问题 2019-11-24 19:45:21 +08:00
marvzhang
8b451c8b2b 更新可配置爬虫,修复一些问题 2019-11-24 18:51:32 +08:00
marvzhang
9c282ddb4d 加入可配置爬虫 2019-11-24 17:57:12 +08:00
marvzhang
7003951561 fixed https://github.com/crawlab-team/crawlab/issues/315 2019-11-24 12:20:44 +08:00
陈景阳
76ab8f1fcd fix 优化代码 2019-10-28 12:03:02 +08:00
陈景阳
5525c82835 读取日志修改为2M 2019-10-28 11:38:39 +08:00
暗音
bcf3978600 Merge branch 'develop' into develop 2019-10-28 11:06:13 +08:00
陈景阳
418d728825 修改日志获取问题 2019-10-17 17:54:19 +08:00
陈景阳
b3b2efd611 fix 定时任务参数错误的问题 2019-10-16 15:27:12 +08:00
陈景阳
5bd30d8046 fix 定时任务管理 2019-10-11 23:53:07 +08:00
陈景阳
7dae91ab50 fix 2019-10-11 22:48:06 +08:00
陈景阳
973251a0fb 优化节点信息 2019-10-11 21:57:25 +08:00
yaziming
ee808e0e60 refactor(all): refactor code
remove redundant code and some code refactor
2019-10-11 16:01:57 +08:00
陈景阳
b994cd4922 完成爬虫的分类 2019-09-30 16:35:36 +08:00
陈景阳
cdd7696295 添加爬虫类型 2019-09-30 14:43:48 +08:00
陈景阳
41556cab74 fix 删除爬虫的问题 2019-09-30 12:09:37 +08:00
陈景阳
bbc5401e31 打印一些错误的日志 2019-09-27 14:16:41 +08:00
陈景阳
66bef2e6f2 新增几个方法 2019-09-27 12:31:47 +08:00
陈景阳
c69d5ee390 fix 重复获取爬虫的问题 2019-09-27 12:00:00 +08:00
陈景阳
f5371f94a4 fix 上传爬虫名称错误的问题 2019-09-27 11:30:38 +08:00
陈景阳
e728be6328 fix 2019-09-27 10:14:48 +08:00
陈景阳
0ddb294885 完成爬虫列表 2019-09-26 20:53:05 +08:00
陈景阳
3845e57612 fix 上传的问题 2019-09-26 19:44:12 +08:00
陈景阳
5f158ddb44 完成爬虫获取 2019-09-26 19:12:02 +08:00
陈景阳
a11544d809 优化爬虫获取逻辑 2019-09-26 16:26:32 +08:00
陈景阳
951f6a9f07 fix 2019-09-25 14:38:46 +08:00
陈景阳
cdeef4b4a5 重构msg的包 2019-09-10 09:32:48 +08:00
陈景阳
8cf48d871e fix 删除spider没有删除task 2019-09-05 20:07:08 +08:00
Marvin Zhang
4893439ffb added param to task 2019-09-04 20:13:12 +08:00
陈景阳
352fac4096 fix 删除spider没有删除task的问题 2019-09-02 20:49:00 +08:00
陈景阳
93dd3b714a fix 如果从dir读取爬虫为空,则移除所有的爬虫 2019-09-02 17:37:48 +08:00
陈景阳
033ca493aa 添加排序 2019-09-02 10:40:16 +08:00
陈景阳
0a0f943264 添加备注
添加上次运行状态
2019-08-31 16:09:41 +08:00
陈景阳
8115f06496 优化代码 2019-08-31 15:59:43 +08:00
陈景阳
4944883f95 fix 节点注册异常情况 2019-08-31 13:49:34 +08:00
陈景阳
c7e137a6aa 删除爬虫顺带删除文件 2019-08-27 09:39:16 +08:00
陈景阳
3643895f04 fix TagsView.vue 导致前端报错的问题
update 节点注册使用独立的key字段,而不是使用mac字段
2019-08-21 14:37:55 +08:00
陈景阳
a09d2f8b50 FIX 当爬虫为空的时候,导致前端列表报错 2019-08-01 11:32:39 +08:00
Marvin Zhang
f3e78423f8 updated Dockerfile 2019-07-28 15:27:44 +08:00
Marvin Zhang
92d443f19d optimized user auth 2019-07-27 14:55:03 +08:00
Marvin Zhang
b0cce2f781 added user management 2019-07-27 00:56:37 +08:00
Marvin Zhang
607ad029dd added user login/signup 2019-07-26 23:02:30 +08:00
Marvin Zhang
946bb7ceba added spider stats 2019-07-26 17:07:24 +08:00
Marvin Zhang
2fda41d9ee added network diagram 2019-07-24 21:03:30 +08:00