51 Commits

Author	SHA1	Message	Date
marvzhang	562ae39eb2	加入复制爬虫	2020-02-24 09:12:03 +08:00
marvzhang	57f1edc207	updated dockerpush.yml	2020-02-23 09:19:18 +08:00
marvzhang	7a75e643ea	加入批量运行爬虫	2020-02-22 19:12:24 +08:00
marvzhang	8c059c912e	加入批量删除爬虫任务	2020-02-22 17:35:51 +08:00
marvzhang	15ea0da0f3	加入批量删除爬虫	2020-02-22 12:44:58 +08:00
marvzhang	a346b64bdc	加入scrapy spider跳转	2020-02-21 22:28:41 +08:00
marvzhang	d7437c4eb1	加入scrapy pipelines支持	2020-02-21 17:12:57 +08:00
marvzhang	d931f9af8e	加入scrapy items.py支持	2020-02-21 15:07:54 +08:00
marvzhang	c350d7d3d9	加入添加scrapy项目	2020-02-20 17:33:45 +08:00
marvzhang	e3883faf1c	优化爬虫列表页面	2020-02-20 11:52:28 +08:00
marvzhang	0cb2e8134c	加入Git同步	2020-02-18 12:15:40 +08:00
marvzhang	f83a041cd1	加入git同步	2020-02-17 18:12:59 +08:00
marvzhang	bb972e98ef	加入添加scrapy爬虫	2020-02-17 14:06:16 +08:00
marvzhang	dc38642dca	加入settings.py同步	2020-02-17 11:15:16 +08:00
marvzhang	cdaf3363c8	添加Scrapy设置后端	2020-02-17 10:31:59 +08:00
marvzhang	acdf4d5951	加入scrapy爬虫支持	2020-02-15 18:28:37 +08:00
marvzhang	12b03cba8a	fixed https://github.com/crawlab-team/crawlab/issues/524	2020-02-09 09:02:13 +08:00
marvzhang	024f9ac3b2	finish up project	2020-02-02 13:29:56 +08:00
marvzhang	39c6df11c1	调整在线编辑文件	2020-01-15 20:10:43 +08:00
marvzhang	ef2a4b3531	加入树形结构文件目录	2020-01-15 17:44:11 +08:00
marvzhang	04905f38b5	加入爬虫列表排序	2020-01-06 13:18:29 +08:00
marvzhang	7835de2641	爬虫详情显示定时任务	2020-01-03 17:20:24 +08:00
marvzhang	6bbf77bca5	fixed https://github.com/crawlab-team/crawlab/issues/407	2019-12-30 13:39:36 +08:00
marvzhang	cb33e8860f	解决上传爬虫报错问题	2019-12-27 17:24:23 +08:00
marvzhang	29067e8b02	fixed https://github.com/crawlab-team/crawlab/issues/403	2019-12-27 16:06:34 +08:00
marvzhang	b40028692c	修复添加爬虫后直接运行错误	2019-12-26 12:47:56 +08:00
marvzhang	01aea28c9c	添加文件管理功能（后端）	2019-12-25 20:49:43 +08:00
marvzhang	fdcf12f866	优化添加爬虫逻辑	2019-12-25 19:46:09 +08:00
marvzhang	936adf6f76	加入爬虫文件管理后端 API	2019-12-24 09:11:42 +08:00
marvzhang	1674dce3bd	准备前端可配置爬虫数据	2019-11-27 10:40:37 +08:00
marvzhang	3f12302cf9	更新可配置爬虫：添加上传GridFS	2019-11-25 13:36:14 +08:00
陈景阳	dabf5cacf1	fix 创建目录错误的问题	2019-10-07 12:21:32 +08:00
陈景阳	b994cd4922	完成爬虫的分类	2019-09-30 16:35:36 +08:00
陈景阳	cdd7696295	添加爬虫类型	2019-09-30 14:43:48 +08:00
陈景阳	41556cab74	fix 删除爬虫的问题	2019-09-30 12:09:37 +08:00
陈景阳	72b7ef42e8	fix 重复获取爬虫的问题	2019-09-27 12:07:38 +08:00
陈景阳	f5371f94a4	fix 上传爬虫名称错误的问题	2019-09-27 11:30:38 +08:00
陈景阳	0ddb294885	完成爬虫列表	2019-09-26 20:53:05 +08:00
陈景阳	3845e57612	fix 上传的问题	2019-09-26 19:44:12 +08:00
陈景阳	a11544d809	优化爬虫获取逻辑	2019-09-26 16:26:32 +08:00
陈景阳	947b561653	优化爬虫获取逻辑	2019-09-26 11:38:13 +08:00
陈景阳	05c28230b7	爬虫逻辑修改为从GridFS获取	2019-09-26 11:28:20 +08:00
陈景阳	cdeef4b4a5	重构msg的包	2019-09-10 09:32:48 +08:00
陈景阳	8cf48d871e	fix 删除spider没有删除task	2019-09-05 20:07:08 +08:00
yaziming	e10d8fd996	refactor(backend): Use more efficient bytes to string methods and remove unnecessary type conversions ... detail: 1. add utils.BytesToString function instead of string() convert bytes to string. 2. use bytes.NewReader instead of strings.NewReader(string(sb)). 3. use w.Body.Bytes() instead of []byte(w.Body.String()).	2019-09-03 15:17:32 +08:00
陈景阳	352fac4096	fix 删除spider没有删除task的问题	2019-09-02 20:49:00 +08:00
陈景阳	1b70d45303	fix tmp 目录不会自动创建的问题	2019-08-18 18:45:19 +08:00
Marvin Zhang	ffb8cc5ef9	added login page	2019-07-26 20:04:20 +08:00
Marvin Zhang	bd7a9e27c7	added file edit	2019-07-24 19:51:52 +08:00
Marvin Zhang	6b3a2a369f	added file management	2019-07-24 13:37:03 +08:00