154 Commits

Author	SHA1	Message	Date
陈景阳	b994cd4922	完成爬虫的分类	2019-09-30 16:35:36 +08:00
陈景阳	cdd7696295	添加爬虫类型	2019-09-30 14:43:48 +08:00
陈景阳	41556cab74	fix 删除爬虫的问题	2019-09-30 12:09:37 +08:00
陈景阳	d93bff63e7	fix 无法删除爬虫的问题	2019-09-30 09:23:42 +08:00
陈景阳	bbc5401e31	打印一些错误的日志	2019-09-27 14:16:41 +08:00
陈景阳	66bef2e6f2	新增几个方法	2019-09-27 12:31:47 +08:00
陈景阳	72b7ef42e8	fix 重复获取爬虫的问题	2019-09-27 12:07:38 +08:00
陈景阳	c69d5ee390	fix 重复获取爬虫的问题	2019-09-27 12:00:00 +08:00
陈景阳	bc6dc22014	fix 上传爬虫错误的问题	2019-09-27 11:49:57 +08:00
陈景阳	f5371f94a4	fix 上传爬虫名称错误的问题	2019-09-27 11:30:38 +08:00
陈景阳	0847c6a991	fix	2019-09-27 10:28:46 +08:00
陈景阳	e728be6328	fix	2019-09-27 10:14:48 +08:00
陈景阳	698d240bd6	fix bug	2019-09-26 21:13:25 +08:00
陈景阳	141ec6a000	完成爬虫列表	2019-09-26 20:54:50 +08:00
陈景阳	0ddb294885	完成爬虫列表	2019-09-26 20:53:05 +08:00
陈景阳	3845e57612	fix 上传的问题	2019-09-26 19:44:12 +08:00
陈景阳	5f158ddb44	完成爬虫获取	2019-09-26 19:12:02 +08:00
陈景阳	169a7d0df9	fix 可能直接退出的问题	2019-09-26 16:49:01 +08:00
陈景阳	31be4c1839	优化爬虫获取逻辑	2019-09-26 16:43:32 +08:00
陈景阳	a11544d809	优化爬虫获取逻辑	2019-09-26 16:26:32 +08:00
陈景阳	947b561653	优化爬虫获取逻辑	2019-09-26 11:38:13 +08:00
陈景阳	05c28230b7	爬虫逻辑修改为从GridFS获取	2019-09-26 11:28:20 +08:00
陈景阳	96e926b486	fix 无法终止任务的问题	2019-09-26 10:29:58 +08:00
陈景阳	e235076a11	fix 无法终止任务的问题	2019-09-26 10:23:08 +08:00
陈景阳	7218a4f4de	添加日志打印	2019-09-26 09:37:10 +08:00
陈景阳	fda7e56e1a	添加日志打印	2019-09-25 16:19:58 +08:00
陈景阳	82999225de	fix 无法获取task的错误	2019-09-25 15:11:27 +08:00
陈景阳	951f6a9f07	fix	2019-09-25 14:38:46 +08:00
陈景阳	3a272b404c	fix 空指针引用	2019-09-10 14:47:23 +08:00
陈景阳	42e7647cd4	fix 消息无法订阅问题 ... fix 可能出现重复爬虫的问题	2019-09-10 14:26:50 +08:00
陈景阳	000b4ff730	删除日志	2019-09-10 09:51:27 +08:00
陈景阳	cdeef4b4a5	重构msg的包	2019-09-10 09:32:48 +08:00
陈景阳	8cf48d871e	fix 删除spider没有删除task	2019-09-05 20:07:08 +08:00
Marvin Zhang	4893439ffb	added param to task	2019-09-04 20:13:12 +08:00
hantmac	2fb1754e56	bug fix:fix data race caused by LockList	2019-09-04 13:51:02 +08:00
Marvin Zhang	4e17158a46	Merge pull request #208 from yaziming/v0.4.0-imporve-error-response ... feat(backend): add some feat for error message system	2019-09-03 15:25:04 +08:00
yaziming	71c83251e5	feat(backend): add some feat for error message system ... errors support custom http code and support return invalid validated error	2019-09-03 15:23:08 +08:00
yaziming	e10d8fd996	refactor(backend): Use more efficient bytes to string methods and remove unnecessary type conversions ... detail: 1. add utils.BytesToString function instead of string() convert bytes to string. 2. use bytes.NewReader instead of strings.NewReader(string(sb)). 3. use w.Body.Bytes() instead of []byte(w.Body.String()).	2019-09-03 15:17:32 +08:00
hantmac	cb3d7263b2	bug fix:fix go test ./.. bug	2019-09-03 12:47:18 +08:00
陈景阳	cd78e6c745	还原代码	2019-09-03 09:06:04 +08:00
陈景阳	eb92d34f9b	Merge branch 'develop' of https://github.com/crawlab-team/crawlab into develop	2019-09-03 08:57:21 +08:00
yaziming	361134f8dd	Remove redundant fmt.Println	2019-09-02 22:57:29 +08:00
陈景阳	352fac4096	fix 删除spider没有删除task的问题	2019-09-02 20:49:00 +08:00
yaziming	10c3488caf	break loop when subscribe count is 0	2019-09-02 18:32:47 +08:00
陈景阳	b5084c964b	还原代码	2019-09-02 18:14:34 +08:00
陈景阳	8b237ddc2a	fix 无法正常删除有问题的爬虫	2019-09-02 18:04:47 +08:00
陈景阳	93dd3b714a	fix 如果从dir读取爬虫为空，则移除所有的爬虫	2019-09-02 17:37:48 +08:00
陈景阳	f9fdf5b8d8	fix 打印日志只有2KB	2019-09-02 16:45:56 +08:00
陈景阳	033ca493aa	添加排序	2019-09-02 10:40:16 +08:00
yaziming	a9346a0934	backend: ... 1. Mongo dial add 5 seconds connection timeout. 2. Redis uses connection pool mode. 3. Redis pool new connection have 10 seconds write timeout and read timeout and connection timeout.	2019-09-01 17:18:08 +08:00