Commit Graph

42 Commits

Author SHA1 Message Date
marvzhang
8c059c912e 加入批量删除爬虫任务 2020-02-22 17:35:51 +08:00
marvzhang
e3883faf1c 优化爬虫列表页面 2020-02-20 11:52:28 +08:00
marvzhang
0cb2e8134c 加入Git同步 2020-02-18 12:15:40 +08:00
marvzhang
f83a041cd1 加入git同步 2020-02-17 18:12:59 +08:00
marvzhang
acdf4d5951 加入scrapy爬虫支持 2020-02-15 18:28:37 +08:00
marvzhang
12b03cba8a fixed https://github.com/crawlab-team/crawlab/issues/524 2020-02-09 09:02:13 +08:00
marvzhang
5740774ccc 添加demo爬虫 2020-02-02 22:56:11 +08:00
marvzhang
024f9ac3b2 finish up project 2020-02-02 13:29:56 +08:00
marvzhang
04905f38b5 加入爬虫列表排序 2020-01-06 13:18:29 +08:00
marvzhang
7835de2641 爬虫详情显示定时任务 2020-01-03 17:20:24 +08:00
marvzhang
cb33e8860f 解决上传爬虫报错问题 2019-12-27 17:24:23 +08:00
marvzhang
a067c1c1ad 将可配置爬虫stages调整为列表 2019-12-13 12:55:53 +08:00
marvzhang
98cbccb81e 加入Spiderfile模版 2019-12-03 13:37:41 +08:00
marvzhang
4ae0043f8e 修复删除可配置爬虫问题 2019-11-28 22:20:20 +08:00
marvzhang
e88b13b510 准备前端可配置爬虫数据 2019-11-27 12:42:08 +08:00
marvzhang
1663be96ff Merge remote-tracking branch 'origin/develop' into develop 2019-11-27 12:41:51 +08:00
marvzhang
6449a8c5be 准备前端可配置爬虫数据 2019-11-27 12:32:25 +08:00
marvzhang
1674dce3bd 准备前端可配置爬虫数据 2019-11-27 10:40:37 +08:00
Marvin Zhang
6bc3e0d64f Merge pull request #321 from zhangweiii/master
fix Cannot read property length of null when first init
2019-11-27 10:02:21 +08:00
zhangweiii
95a1b72ec4 fix Cannot read property length of null when first init 2019-11-27 09:45:16 +08:00
marvzhang
7003951561 fixed https://github.com/crawlab-team/crawlab/issues/315 2019-11-24 12:20:44 +08:00
暗音
bcf3978600 Merge branch 'develop' into develop 2019-10-28 11:06:13 +08:00
陈景阳
973251a0fb 优化节点信息 2019-10-11 21:57:25 +08:00
yaziming
ee808e0e60 refactor(all): refactor code
remove redundant code and some code refactor
2019-10-11 16:01:57 +08:00
陈景阳
b994cd4922 完成爬虫的分类 2019-09-30 16:35:36 +08:00
陈景阳
cdd7696295 添加爬虫类型 2019-09-30 14:43:48 +08:00
陈景阳
41556cab74 fix 删除爬虫的问题 2019-09-30 12:09:37 +08:00
陈景阳
66bef2e6f2 新增几个方法 2019-09-27 12:31:47 +08:00
陈景阳
c69d5ee390 fix 重复获取爬虫的问题 2019-09-27 12:00:00 +08:00
陈景阳
f5371f94a4 fix 上传爬虫名称错误的问题 2019-09-27 11:30:38 +08:00
陈景阳
e728be6328 fix 2019-09-27 10:14:48 +08:00
陈景阳
0ddb294885 完成爬虫列表 2019-09-26 20:53:05 +08:00
陈景阳
3845e57612 fix 上传的问题 2019-09-26 19:44:12 +08:00
陈景阳
a11544d809 优化爬虫获取逻辑 2019-09-26 16:26:32 +08:00
陈景阳
93dd3b714a fix 如果从dir读取爬虫为空,则移除所有的爬虫 2019-09-02 17:37:48 +08:00
陈景阳
033ca493aa 添加排序 2019-09-02 10:40:16 +08:00
陈景阳
0a0f943264 添加备注
添加上次运行状态
2019-08-31 16:09:41 +08:00
陈景阳
8115f06496 优化代码 2019-08-31 15:59:43 +08:00
陈景阳
c7e137a6aa 删除爬虫顺带删除文件 2019-08-27 09:39:16 +08:00
陈景阳
a09d2f8b50 FIX 当爬虫为空的时候,导致前端列表报错 2019-08-01 11:32:39 +08:00
Marvin Zhang
946bb7ceba added spider stats 2019-07-26 17:07:24 +08:00
Marvin Zhang
56c99b314f added golang 2019-07-22 12:51:52 +08:00