61 Commits

Author	SHA1	Message	Date
marvzhang	e8edf9dac4	添加运行类别	2019-12-05 11:51:54 +08:00
marvzhang	3761d906c8	修复爬虫被覆盖的问题	2019-12-04 14:54:49 +08:00
marvzhang	98cbccb81e	加入Spiderfile模版	2019-12-03 13:37:41 +08:00
marvzhang	87546f0c88	准备可配置爬虫自定义设置变量	2019-11-29 13:42:50 +08:00
marvzhang	4ae0043f8e	修复删除可配置爬虫问题	2019-11-28 22:20:20 +08:00
marvzhang	d65e37517e	优化可配置爬虫前端界面	2019-11-28 21:36:17 +08:00
marvzhang	8210fa6c20	加入修改可配置POST接口	2019-11-28 16:08:13 +08:00
marvzhang	e88b13b510	准备前端可配置爬虫数据	2019-11-27 12:42:08 +08:00
marvzhang	6449a8c5be	准备前端可配置爬虫数据	2019-11-27 12:32:25 +08:00
marvzhang	1674dce3bd	准备前端可配置爬虫数据	2019-11-27 10:40:37 +08:00
marvzhang	0d8ce3a29f	准备可配置爬虫后端数据	2019-11-26 13:38:54 +08:00
marvzhang	3f12302cf9	更新可配置爬虫：添加上传GridFS	2019-11-25 13:36:14 +08:00
marvzhang	8b451c8b2b	更新可配置爬虫，修复一些问题	2019-11-24 18:51:32 +08:00
marvzhang	9c282ddb4d	加入可配置爬虫	2019-11-24 17:57:12 +08:00
marvzhang	6d9c2ce653	Merge remote-tracking branch 'origin/develop' into develop	2019-11-24 12:25:46 +08:00
marvzhang	7003951561	fixed https://github.com/crawlab-team/crawlab/issues/315	2019-11-24 12:20:44 +08:00
Marvin Zhang	f1c951d575	Merge pull request #313 from hantmac/develop ... bug fix	2019-11-24 11:34:50 +08:00
marvzhang	607ce70f5c	准备可配置爬虫	2019-11-23 18:13:47 +08:00
韩山杰	86d4c611c6	bug fix	2019-11-22 15:32:23 +08:00
陈景阳	b3b2efd611	fix 定时任务参数错误的问题	2019-10-16 15:27:12 +08:00
陈景阳	5bd30d8046	fix 定时任务管理	2019-10-11 23:53:07 +08:00
陈景阳	7dae91ab50	fix	2019-10-11 22:48:06 +08:00
陈景阳	973251a0fb	优化节点信息	2019-10-11 21:57:25 +08:00
陈景阳	dabf5cacf1	fix 创建目录错误的问题	2019-10-07 12:21:32 +08:00
陈景阳	b994cd4922	完成爬虫的分类	2019-09-30 16:35:36 +08:00
陈景阳	cdd7696295	添加爬虫类型	2019-09-30 14:43:48 +08:00
陈景阳	41556cab74	fix 删除爬虫的问题	2019-09-30 12:09:37 +08:00
陈景阳	72b7ef42e8	fix 重复获取爬虫的问题	2019-09-27 12:07:38 +08:00
陈景阳	f5371f94a4	fix 上传爬虫名称错误的问题	2019-09-27 11:30:38 +08:00
陈景阳	0ddb294885	完成爬虫列表	2019-09-26 20:53:05 +08:00
陈景阳	3845e57612	fix 上传的问题	2019-09-26 19:44:12 +08:00
陈景阳	a11544d809	优化爬虫获取逻辑	2019-09-26 16:26:32 +08:00
陈景阳	947b561653	优化爬虫获取逻辑	2019-09-26 11:38:13 +08:00
陈景阳	05c28230b7	爬虫逻辑修改为从GridFS获取	2019-09-26 11:28:20 +08:00
陈景阳	000b4ff730	删除日志	2019-09-10 09:51:27 +08:00
陈景阳	cdeef4b4a5	重构msg的包	2019-09-10 09:32:48 +08:00
陈景阳	8cf48d871e	fix 删除spider没有删除task	2019-09-05 20:07:08 +08:00
yaziming	e10d8fd996	refactor(backend): Use more efficient bytes to string methods and remove unnecessary type conversions ... detail: 1. add utils.BytesToString function instead of string() convert bytes to string. 2. use bytes.NewReader instead of strings.NewReader(string(sb)). 3. use w.Body.Bytes() instead of []byte(w.Body.String()).	2019-09-03 15:17:32 +08:00
陈景阳	352fac4096	fix 删除spider没有删除task的问题	2019-09-02 20:49:00 +08:00
yaziming	81f6cf021f	Backend: ... improve - AuthMiddleware 注入当前用户的信息 - 增加Context服务支持快捷获取当前登录者信息 - 重构Login/GetMe接口逻辑避免重复的数据库查询 - 规范化error信息声明(向下兼容,旧代码可逐渐迁移规范化) - 修正部分不符合规范的代码	2019-08-31 21:26:56 +08:00
陈景阳	d5dce56712	Merge branch 'develop' of https://github.com/crawlab-team/crawlab into v0.4.0	2019-08-28 16:00:27 +08:00
陈景阳	c7e137a6aa	删除爬虫顺带删除文件	2019-08-27 09:39:16 +08:00
yaziming	ba0471355b	JSON -> AbortWithStatusJSON	2019-08-26 23:13:26 +08:00
Marvin Zhang	00a61ed7dc	Merge pull request #158 from hantmac/develop ... modify unit test to use mock	2019-08-22 17:39:19 +08:00
hantmac	87f1cebc3b	modify unit test to use mock	2019-08-22 16:20:30 +08:00
Marvin Zhang	067dba6cfb	Merge pull request #149 from hantmac/develop ... Add unit test for routes/node	2019-08-19 19:06:35 +08:00
hantmac	22c599c9dd	Add unit test for routes/node	2019-08-19 18:06:49 +08:00
陈景阳	1b70d45303	fix tmp 目录不会自动创建的问题	2019-08-18 18:45:19 +08:00
陈景阳	24cba1dfaf	fix Node节点删除问题	2019-07-30 16:06:35 +08:00
Marvin Zhang	80449a8d39	optimized user auth	2019-07-27 14:55:24 +08:00