205 Commits

Author	SHA1	Message	Date
marvzhang	7315deefee	加入复制爬虫	2020-02-24 09:12:03 +08:00
marvzhang	6000667b7d	updated dockerpush.yml	2020-02-23 09:19:18 +08:00
marvzhang	2e6b6e4e70	加入批量删除爬虫任务	2020-02-22 17:35:51 +08:00
marvzhang	eb167ead1e	暂时停用自动检测Scrapy项目功能	2020-02-22 12:48:15 +08:00
marvzhang	cddc09405b	加入scrapy spider跳转	2020-02-21 22:28:41 +08:00
marvzhang	21323f0d28	加入scrapy pipelines支持	2020-02-21 17:12:57 +08:00
marvzhang	38af9e9173	加入scrapy items.py支持	2020-02-21 15:07:54 +08:00
marvzhang	1ddac86fe1	加入添加scrapy项目	2020-02-20 17:33:45 +08:00
marvzhang	17bdbaf8dd	优化爬虫列表页面	2020-02-20 11:52:28 +08:00
marvzhang	ec8bf33535	加入版本检测	2020-02-19 13:16:46 +08:00
marvzhang	16263a9423	fixed ssh-keygen issue	2020-02-18 15:20:57 +08:00
marvzhang	357a2d26a8	fixed unable to update is_scrapy issue	2020-02-18 14:57:57 +08:00
marvzhang	fb9b6e1619	更改ssh逻辑	2020-02-18 13:42:31 +08:00
marvzhang	2ce289c8f3	加入Git同步	2020-02-18 12:15:40 +08:00
marvzhang	3bb1fe2a74	加入git同步	2020-02-17 18:12:59 +08:00
marvzhang	534a29ebc3	加入添加scrapy爬虫	2020-02-17 14:06:16 +08:00
marvzhang	9abf577e74	完成scrapy设置	2020-02-17 11:52:26 +08:00
marvzhang	dec566d1e5	加入settings.py同步	2020-02-17 11:15:16 +08:00
marvzhang	a9277f3412	添加Scrapy设置后端	2020-02-17 10:31:59 +08:00
marvzhang	fc4d92c4d6	更新scrapy参数	2020-02-16 10:38:41 +08:00
marvzhang	3b8702ed58	加入scrapy日志选择	2020-02-15 21:25:21 +08:00
marvzhang	d46f43b05b	加入scrapy爬虫支持	2020-02-15 18:28:37 +08:00
marvzhang	fd62adc8ba	优化爬虫执行逻辑	2020-02-11 15:37:06 +08:00
marvzhang	8d1d7c9b1d	兼容Node.js爬虫	2020-02-10 13:23:34 +08:00
marvzhang	23f0b0c9e2	fixed unable to sync spiders to nodes error	2020-02-03 16:08:43 +08:00
marvzhang	2c410feed3	changed dir	2020-02-03 11:58:05 +08:00
marvzhang	0d7b97ead5	added demo for general spiders	2020-02-03 10:30:04 +08:00
marvzhang	6b70868326	added demo spiders	2020-02-03 09:21:41 +08:00
marvzhang	98e5ead285	添加demo爬虫	2020-02-02 22:56:11 +08:00
marvzhang	85a4df9bfb	fixed https://github.com/crawlab-team/crawlab/issues/485	2020-02-01 19:18:30 +08:00
陈景阳	07edf8b2e8	fix 启动报错的问题	2020-02-01 12:53:44 +08:00
陈景阳	4825653ae0	fix 无法及时同步爬虫的问题	2020-01-28 15:43:57 +08:00
陈景阳	b139c7fe6c	feature 新增全局环境变量	2020-01-28 15:12:12 +08:00
marvzhang	172dfe6c7e	调整在线编辑文件	2020-01-15 20:10:43 +08:00
marvzhang	ae2ff69b45	加入树形结构文件目录	2020-01-15 17:44:11 +08:00
marvzhang	9195606e2d	加入消息通知类型选择	2020-01-15 14:39:51 +08:00
marvzhang	f5b22cba7a	将发送消息通知调整为异步	2020-01-15 13:51:12 +08:00
marvzhang	ee0e231ad4	完成钉钉机器人消息通知	2020-01-15 13:04:59 +08:00
marvzhang	eab6b39603	完成钉钉机器人消息通知	2020-01-15 13:03:43 +08:00
marvzhang	7e53d41a24	added vendor	2020-01-15 10:31:58 +08:00
marvzhang	11e74e23b4	added dingtalk	2020-01-14 20:03:04 +08:00
marvzhang	1a3e356097	默认为不触发通知	2020-01-14 15:42:51 +08:00
marvzhang	510585d83a	更新邮件通知	2020-01-14 11:49:42 +08:00
marvzhang	659874a4ee	加入用户设置与邮件通知	2020-01-13 19:56:13 +08:00
marvzhang	39d9f6de8a	updated vendor	2020-01-13 15:57:29 +08:00
marvzhang	746abbdc04	improved compatibility with crawlab-sdk	2020-01-13 12:32:06 +08:00
marvzhang	72cad7bf64	added pointer to node list	2020-01-11 16:42:04 +08:00
marvzhang	e5cd929a2a	fixed "nil returned" error	2020-01-10 18:42:37 +08:00
marvzhang	ff074d78f4	修复rpc timeout 报错问题	2020-01-10 15:16:34 +08:00
marvzhang	25fc1ca36a	fixed duplicated AssignTask method	2020-01-07 13:54:24 +08:00