108 Commits

Author	SHA1	Message	Date
marvzhang	dec566d1e5	加入settings.py同步	2020-02-17 11:15:16 +08:00
marvzhang	a9277f3412	添加Scrapy设置后端	2020-02-17 10:31:59 +08:00
marvzhang	3b8702ed58	加入scrapy日志选择	2020-02-15 21:25:21 +08:00
marvzhang	98e5ead285	添加demo爬虫	2020-02-02 22:56:11 +08:00
marvzhang	6931211cbd	优化项目管理	2020-02-02 14:04:38 +08:00
marvzhang	075a899c2f	加入项目管理	2020-02-02 12:29:28 +08:00
陈景阳	07edf8b2e8	fix 启动报错的问题	2020-02-01 12:53:44 +08:00
陈景阳	7d8cca3d28	Merge remote-tracking branch 'upstream/develop' into upstream-develop ... # Conflicts: # backend/main.go # frontend/.env.development	2020-01-28 15:51:09 +08:00
陈景阳	b139c7fe6c	feature 新增全局环境变量	2020-01-28 15:12:12 +08:00
marvzhang	ec76d07b1a	updated stats	2020-01-22 11:07:38 +08:00
marvzhang	ae2ff69b45	加入树形结构文件目录	2020-01-15 17:44:11 +08:00
marvzhang	659874a4ee	加入用户设置与邮件通知	2020-01-13 19:56:13 +08:00
marvzhang	a74b949d8d	fixed https://github.com/crawlab-team/crawlab/issues/423	2020-01-06 12:35:17 +08:00
marvzhang	44c0b050f7	爬虫详情显示定时任务	2020-01-03 17:20:24 +08:00
marvzhang	762bd75334	优化代码	2020-01-03 11:12:46 +08:00
marvzhang	9a5ec98925	优化依赖安装	2020-01-03 10:54:20 +08:00
marvzhang	ca15e22312	加入卸载依赖逻辑	2020-01-02 17:38:39 +08:00
marvzhang	152e94da01	加入RPC机制，完成部分依赖安装逻辑	2020-01-02 15:53:53 +08:00
marvzhang	6bf6212a22	加入依赖安装前端	2019-12-31 17:05:15 +08:00
marvzhang	8425ff26e8	更新依赖安装逻辑	2019-12-31 12:02:47 +08:00
marvzhang	6e0718e646	添加文件管理功能（后端）	2019-12-25 20:49:43 +08:00
marvzhang	8910a74b5d	优化添加爬虫逻辑	2019-12-25 19:46:09 +08:00
marvzhang	9b7eeb9532	加入爬虫文件管理后端 API	2019-12-24 09:12:35 +08:00
marvzhang	a43365c6e7	加入爬虫文件管理后端 API	2019-12-24 09:11:42 +08:00
marvzhang	28a3a53176	fixed https://github.com/crawlab-team/crawlab/issues/346	2019-12-20 12:45:37 +08:00
hantmac	51b31e56aa	Add API GetVersion	2019-12-19 21:16:25 +08:00
陈景阳	0daeb33699	完成批量删除Task任务列表	2019-12-08 10:58:02 +08:00
陈景阳	6e7634d70f	Feature 新增定时任务可暂停/运行	2019-12-07 14:02:54 +08:00
hantmac	a74fd82b6a	- 新增authGroup.DELETE("/tasks_by_status", routes.DeleteTaskByStatus) 支持批量删除指定状态的任务 ... - TaskListRequestData中增加Status字段，支持根据task状态进行筛选	2019-12-05 15:12:32 +08:00
hantmac	5bb8be1ddd	fix	2019-12-04 16:48:36 +08:00
marvzhang	589190d674	加入Spiderfile模版	2019-12-03 13:37:41 +08:00
marvzhang	ba4f5fd20c	优化可配置爬虫前端界面	2019-11-28 21:36:17 +08:00
marvzhang	bc81462a80	加入修改可配置POST接口	2019-11-28 16:08:13 +08:00
marvzhang	88118cf894	准备前端可配置爬虫数据	2019-11-27 10:40:37 +08:00
marvzhang	870bb167a7	准备可配置爬虫后端数据	2019-11-26 13:38:54 +08:00
marvzhang	442396a5ff	fixed https://github.com/crawlab-team/crawlab/issues/315	2019-11-24 12:20:44 +08:00
marvzhang	b51fa81b79	code cleanup	2019-11-23 18:16:24 +08:00
marvzhang	b5c3ca9c32	准备可配置爬虫	2019-11-23 18:13:47 +08:00
yaziming	7557f54e4d	feat(backend): support server graceful down ... 1.support server graceful down	2019-10-09 11:21:01 +08:00
陈景阳	ffd5725f3b	添加爬虫类型	2019-09-30 14:43:48 +08:00
陈景阳	79ee09aacb	完成爬虫获取	2019-09-26 19:12:02 +08:00
yaziming	7574ceb0cf	Backend: ... upgrade gin framework depend validator version : v8 -> v9	2019-09-01 10:13:53 +08:00
Marvin Zhang	5afc0ca490	Merge pull request #192 from yaziming/forked/develop ... Some Change.	2019-08-31 15:15:35 +08:00
yaziming	d8acab7753	Backend: ... 1.[improve] 使用gin提供的RouteGroup功能简化中间件逻辑 2.[break change] 移除Authorization Middleware中对登录注册下载特殊处理逻辑 3.[unsafe problem] 下载任务csv增加登录验证 Frontend: 1. 更改csv下载方式 2. task list页面table section 移除固定width设置,采用自适应,防止大屏空白断裂问题	2019-08-31 15:00:38 +08:00
hantmac	80b92e1084	Init delete log files periodically	2019-08-31 11:30:01 +08:00
陈景阳	0231b616fb	ADD 启动错误日志打印	2019-08-03 14:27:19 +08:00
Marvin Zhang	bb9bbefaca	Merge pull request #88 from wo10378931/master ... FIX Node节点删除问题	2019-07-30 17:13:45 +08:00
陈景阳	d882897957	fix Node节点删除问题	2019-07-30 16:06:35 +08:00
Marvin Zhang	b6d3d139a3	fixed upload bug	2019-07-29 20:31:44 +08:00
Marvin Zhang	f804fa937e	optimized user auth	2019-07-27 14:55:24 +08:00