104 Commits

Author	SHA1	Message	Date
marvzhang	b676a84e49	加入xpath	2019-11-26 13:02:49 +08:00
marvzhang	bfce15d54e	加入Spiderfile限制条件	2019-11-26 12:44:24 +08:00
marvzhang	a87950e369	加入环境变量	2019-11-25 22:07:20 +08:00
marvzhang	1c32c92c54	refactor code	2019-11-25 16:45:55 +08:00
marvzhang	9c282ddb4d	加入可配置爬虫	2019-11-24 17:57:12 +08:00
marvzhang	7003951561	fixed https://github.com/crawlab-team/crawlab/issues/315	2019-11-24 12:20:44 +08:00
marvzhang	607ce70f5c	准备可配置爬虫	2019-11-23 18:13:47 +08:00
Jeremy	7755c3e74c	bug fix register.go ... fix data race because of register solve issue https://github.com/crawlab-team/crawlab/issues/308	2019-11-19 17:03:46 +08:00
陈景阳	9427283e3a	fix 循环依赖的问题	2019-10-28 13:51:12 +08:00
暗音	bcf3978600	Merge branch 'develop' into develop	2019-10-28 11:06:13 +08:00
陈景阳	418d728825	修改日志获取问题	2019-10-17 17:54:19 +08:00
陈景阳	4ab4892471	fix 环境变量的问题	2019-10-16 15:39:25 +08:00
陈景阳	b3b2efd611	fix 定时任务参数错误的问题	2019-10-16 15:27:12 +08:00
陈景阳	3fc97e78d8	fix 时区的问题	2019-10-16 11:26:15 +08:00
陈景阳	467796b55a	fix 一些东西	2019-10-16 10:11:00 +08:00
陈景阳	f92d2d4266	优化代码	2019-10-16 09:45:50 +08:00
陈景阳	d4c152f93a	代码优化	2019-10-15 17:23:03 +08:00
陈景阳	6af06efc17	fix worker无法获取到当前Node的问题	2019-10-12 07:16:11 +08:00
陈景阳	b56399451e	fix 定时任务管理	2019-10-11 23:22:25 +08:00
陈景阳	7dae91ab50	fix	2019-10-11 22:48:06 +08:00
陈景阳	973251a0fb	优化节点信息	2019-10-11 21:57:25 +08:00
yaziming	738d607d78	ignore add super admin account error	2019-10-11 16:54:13 +08:00
yaziming	ee808e0e60	refactor(all): refactor code ... remove redundant code and some code refactor	2019-10-11 16:01:57 +08:00
陈景阳	46d89c8cce	添加日志打印	2019-10-10 19:56:04 +08:00
陈景阳	f5af83dcce	修改版本号	2019-10-08 20:26:08 +08:00
陈景阳	6b90d86ea2	fix 状态的问题	2019-10-08 20:20:48 +08:00
陈景阳	a081b02c13	fix 状态的问题	2019-10-08 20:16:49 +08:00
陈景阳	4c8b38f40b	fix 状态错误的问题	2019-10-08 19:41:29 +08:00
陈景阳	4a40d38844	fix md5值不一致的问题	2019-10-07 12:49:37 +08:00
陈景阳	dabf5cacf1	fix 创建目录错误的问题	2019-10-07 12:21:32 +08:00
陈景阳	41556cab74	fix 删除爬虫的问题	2019-09-30 12:09:37 +08:00
陈景阳	d93bff63e7	fix 无法删除爬虫的问题	2019-09-30 09:23:42 +08:00
陈景阳	bbc5401e31	打印一些错误的日志	2019-09-27 14:16:41 +08:00
陈景阳	bc6dc22014	fix 上传爬虫错误的问题	2019-09-27 11:49:57 +08:00
陈景阳	0847c6a991	fix	2019-09-27 10:28:46 +08:00
陈景阳	e728be6328	fix	2019-09-27 10:14:48 +08:00
陈景阳	698d240bd6	fix bug	2019-09-26 21:13:25 +08:00
陈景阳	0ddb294885	完成爬虫列表	2019-09-26 20:53:05 +08:00
陈景阳	3845e57612	fix 上传的问题	2019-09-26 19:44:12 +08:00
陈景阳	5f158ddb44	完成爬虫获取	2019-09-26 19:12:02 +08:00
陈景阳	169a7d0df9	fix 可能直接退出的问题	2019-09-26 16:49:01 +08:00
陈景阳	31be4c1839	优化爬虫获取逻辑	2019-09-26 16:43:32 +08:00
陈景阳	a11544d809	优化爬虫获取逻辑	2019-09-26 16:26:32 +08:00
陈景阳	947b561653	优化爬虫获取逻辑	2019-09-26 11:38:13 +08:00
陈景阳	05c28230b7	爬虫逻辑修改为从GridFS获取	2019-09-26 11:28:20 +08:00
陈景阳	96e926b486	fix 无法终止任务的问题	2019-09-26 10:29:58 +08:00
陈景阳	e235076a11	fix 无法终止任务的问题	2019-09-26 10:23:08 +08:00
陈景阳	7218a4f4de	添加日志打印	2019-09-26 09:37:10 +08:00
陈景阳	fda7e56e1a	添加日志打印	2019-09-25 16:19:58 +08:00
陈景阳	82999225de	fix 无法获取task的错误	2019-09-25 15:11:27 +08:00