Commit Graph

112 Commits

Author SHA1 Message Date
marvzhang
63c95f8618 迁移日志到MongoDB 2020-04-01 16:52:23 +08:00
marvzhang
ea3a17f4bb 支持去重 2020-03-29 11:17:38 +08:00
marvzhang
e89e7ea755 优化主页指标展示 2020-03-22 09:25:54 +08:00
marvzhang
7e343cdde1 加入权限管理 2020-03-20 17:43:11 +08:00
marvzhang
3a40d0d2c7 加入ScheduleId到Task 2020-03-20 08:33:30 +08:00
marvzhang
e33dfd7992 加入挑战 2020-03-19 18:56:59 +08:00
marvzhang
e3a059eb7c updated contributors 2020-03-19 11:13:25 +08:00
marvzhang
a88e90e025 用户挑战基础准备 2020-03-18 18:00:25 +08:00
zkqiang
4b45cbfd98 fixed GetNodeBaseInfo 2020-03-18 10:27:38 +08:00
marvzhang
a3326da0f5 加入hostname注册 2020-03-05 08:56:01 +08:00
marvzhang
9e24d22ee1 updated install-java.sh 2020-03-05 08:09:12 +08:00
marvzhang
8c059c912e 加入批量删除爬虫任务 2020-02-22 17:35:51 +08:00
marvzhang
e3883faf1c 优化爬虫列表页面 2020-02-20 11:52:28 +08:00
marvzhang
0cb2e8134c 加入Git同步 2020-02-18 12:15:40 +08:00
marvzhang
f83a041cd1 加入git同步 2020-02-17 18:12:59 +08:00
marvzhang
69e4c23115 更新scrapy参数 2020-02-16 10:38:41 +08:00
marvzhang
01fefbee88 加入scrapy日志选择 2020-02-15 21:25:21 +08:00
marvzhang
acdf4d5951 加入scrapy爬虫支持 2020-02-15 18:28:37 +08:00
marvzhang
12b03cba8a fixed https://github.com/crawlab-team/crawlab/issues/524 2020-02-09 09:02:13 +08:00
marvzhang
5740774ccc 添加demo爬虫 2020-02-02 22:56:11 +08:00
marvzhang
024f9ac3b2 finish up project 2020-02-02 13:29:56 +08:00
marvzhang
9d5d0253a8 加入项目管理 2020-02-02 12:29:28 +08:00
Marvin Zhang
1075506f66 Merge pull request #495 from wo10378931/develop
Develop
2020-02-01 13:52:01 +08:00
marvzhang
106646e9f5 fixed https://github.com/crawlab-team/crawlab/issues/465 2020-01-29 09:24:43 +08:00
陈景阳
092c1a2617 feature 新增全局环境变量 2020-01-28 15:12:12 +08:00
marvzhang
39c6df11c1 调整在线编辑文件 2020-01-15 20:10:43 +08:00
marvzhang
ef2a4b3531 加入树形结构文件目录 2020-01-15 17:44:11 +08:00
marvzhang
b70949cc87 加入消息通知类型选择 2020-01-15 14:39:51 +08:00
marvzhang
1fde42b932 将发送消息通知调整为异步 2020-01-15 13:51:12 +08:00
marvzhang
32bfb63d8f 完成钉钉机器人消息通知 2020-01-15 13:03:43 +08:00
marvzhang
720492ed38 updated setting 2020-01-14 17:29:19 +08:00
marvzhang
c67c1be52a 加入用户设置与邮件通知 2020-01-13 19:56:13 +08:00
marvzhang
04905f38b5 加入爬虫列表排序 2020-01-06 13:18:29 +08:00
marvzhang
877289e382 fixed https://github.com/crawlab-team/crawlab/issues/423 2020-01-06 12:35:17 +08:00
marvzhang
7835de2641 爬虫详情显示定时任务 2020-01-03 17:20:24 +08:00
marvzhang
cb33e8860f 解决上传爬虫报错问题 2019-12-27 17:24:23 +08:00
yaziming
659aae4abb fix(backend):
临时解决修复偶发mongo多节点信息的问题,后续需重构
2019-12-26 11:26:41 +08:00
marvzhang
234db7196c fixed https://github.com/crawlab-team/crawlab/issues/373 2019-12-19 10:42:20 +08:00
Marvin Zhang
ff405dd2ee Merge pull request #370 from wo10378931/develop
Develop
2019-12-17 10:09:37 +08:00
marvzhang
a067c1c1ad 将可配置爬虫stages调整为列表 2019-12-13 12:55:53 +08:00
陈景阳
d8061dbf8f 优化代码,添加注释 2019-12-12 20:52:09 +08:00
marvzhang
26227dd0dc 修复定时任务不一致问题 2019-12-12 13:13:42 +08:00
陈景阳
280877a0ae 完成可能重复注册节点的问题 2019-12-09 10:28:48 +08:00
陈景阳
f9f04093d9 完成批量删除Task任务列表 2019-12-08 10:58:02 +08:00
陈景阳
58df4c4a96 Feature 新增定时任务可暂停/运行 2019-12-07 14:02:54 +08:00
陈景阳
bff13e96dc Merge remote-tracking branch 'upstream/develop' into upstream-develop 2019-12-07 10:58:24 +08:00
hantmac
07ce8e25fd - 新增authGroup.DELETE("/tasks_by_status", routes.DeleteTaskByStatus) 支持批量删除指定状态的任务
- TaskListRequestData中增加Status字段,支持根据task状态进行筛选
2019-12-05 15:12:32 +08:00
陈景阳
b445457243 Merge remote-tracking branch 'upstream/develop' into upstream-develop 2019-12-05 07:18:17 +08:00
marvzhang
6d9c162e9e 优先调整xpath顺序 2019-12-04 13:57:27 +08:00
marvzhang
40f6675ce8 更新Spiderfile模版 2019-12-03 14:25:54 +08:00