230 Commits

Author	SHA1	Message	Date
marvzhang	6c3bcaea9c	加入git 日志	2020-03-11 14:01:02 +08:00
marvzhang	e1e59b51f0	安装界面优化	2020-03-11 10:22:39 +08:00
marvzhang	3123752038	配置加载demo爬虫	2020-03-11 08:16:52 +08:00
marvzhang	d2ed7e6379	加入配置只在工作节点上调度	2020-03-11 08:05:37 +08:00
marvzhang	74b1f509db	code cleanup	2020-03-11 07:43:32 +08:00
marvzhang	f51dab9761	code cleanup	2020-03-11 07:23:13 +08:00
marvzhang	227729275a	修复hostname问题	2020-03-11 07:22:37 +08:00
marvzhang	f7a2a82a92	加入php安装	2020-03-10 16:42:40 +08:00
marvzhang	71253c48b7	修复安装语言问题	2020-03-10 16:20:04 +08:00
marvzhang	af9b38c423	重构安装卸载依赖RPC逻辑	2020-03-10 14:54:28 +08:00
marvzhang	591c8d3417	重构获取已安装依赖列表RPC逻辑	2020-03-10 13:48:08 +08:00
marvzhang	34d3e8b276	重构RPC逻辑	2020-03-10 12:08:26 +08:00
marvzhang	e3fba9ac5e	adjust params	2020-03-08 18:38:09 +08:00
marvzhang	19a7c25d18	优化RPC逻辑	2020-03-08 17:50:26 +08:00
marvzhang	73b6f96b6a	修复节点名称	2020-03-08 17:10:13 +08:00
marvzhang	08be28daf0	try to fix installation error	2020-03-08 15:30:12 +08:00
marvzhang	abef2a801c	解决无法读取工作节点语言问题	2020-03-07 14:08:14 +08:00
marvzhang	7da165d8e6	尝试修复工作节点未找到安装语言问题	2020-03-07 12:15:42 +08:00
marvzhang	7028a1145a	优化安装界面	2020-03-07 10:28:34 +08:00
marvzhang	da000f3b74	暂时关闭java	2020-03-05 11:01:58 +08:00
marvzhang	6b39167a8b	加入hostname注册	2020-03-05 08:56:01 +08:00
marvzhang	47fcae9456	updated install-java.sh	2020-03-05 08:09:12 +08:00
marvzhang	40f84de307	added java env	2020-03-04 10:36:58 +08:00
marvzhang	4f24ac15a1	加入帮助文档	2020-03-01 20:55:52 +08:00
marvzhang	cc2ec7a34c	fixed https://github.com/crawlab-team/crawlab/issues/577	2020-02-24 09:48:23 +08:00
marvzhang	7315deefee	加入复制爬虫	2020-02-24 09:12:03 +08:00
marvzhang	6000667b7d	updated dockerpush.yml	2020-02-23 09:19:18 +08:00
marvzhang	2e6b6e4e70	加入批量删除爬虫任务	2020-02-22 17:35:51 +08:00
marvzhang	eb167ead1e	暂时停用自动检测Scrapy项目功能	2020-02-22 12:48:15 +08:00
marvzhang	cddc09405b	加入scrapy spider跳转	2020-02-21 22:28:41 +08:00
marvzhang	21323f0d28	加入scrapy pipelines支持	2020-02-21 17:12:57 +08:00
marvzhang	38af9e9173	加入scrapy items.py支持	2020-02-21 15:07:54 +08:00
marvzhang	1ddac86fe1	加入添加scrapy项目	2020-02-20 17:33:45 +08:00
marvzhang	17bdbaf8dd	优化爬虫列表页面	2020-02-20 11:52:28 +08:00
marvzhang	ec8bf33535	加入版本检测	2020-02-19 13:16:46 +08:00
marvzhang	16263a9423	fixed ssh-keygen issue	2020-02-18 15:20:57 +08:00
marvzhang	357a2d26a8	fixed unable to update is_scrapy issue	2020-02-18 14:57:57 +08:00
marvzhang	fb9b6e1619	更改ssh逻辑	2020-02-18 13:42:31 +08:00
marvzhang	2ce289c8f3	加入Git同步	2020-02-18 12:15:40 +08:00
marvzhang	3bb1fe2a74	加入git同步	2020-02-17 18:12:59 +08:00
marvzhang	534a29ebc3	加入添加scrapy爬虫	2020-02-17 14:06:16 +08:00
marvzhang	9abf577e74	完成scrapy设置	2020-02-17 11:52:26 +08:00
marvzhang	dec566d1e5	加入settings.py同步	2020-02-17 11:15:16 +08:00
marvzhang	a9277f3412	添加Scrapy设置后端	2020-02-17 10:31:59 +08:00
marvzhang	fc4d92c4d6	更新scrapy参数	2020-02-16 10:38:41 +08:00
marvzhang	3b8702ed58	加入scrapy日志选择	2020-02-15 21:25:21 +08:00
marvzhang	d46f43b05b	加入scrapy爬虫支持	2020-02-15 18:28:37 +08:00
marvzhang	fd62adc8ba	优化爬虫执行逻辑	2020-02-11 15:37:06 +08:00
marvzhang	8d1d7c9b1d	兼容Node.js爬虫	2020-02-10 13:23:34 +08:00
marvzhang	23f0b0c9e2	fixed unable to sync spiders to nodes error	2020-02-03 16:08:43 +08:00