Commit Graph

24 Commits

Author SHA1 Message Date
marvzhang
d2ed7e6379 加入配置只在工作节点上调度 2020-03-11 08:05:37 +08:00
marvzhang
7315deefee 加入复制爬虫 2020-02-24 09:12:03 +08:00
marvzhang
e8f1ca6990 修复批量运行爬虫bug 2020-02-22 21:03:14 +08:00
marvzhang
dd3264768a 加入批量运行爬虫 2020-02-22 19:12:24 +08:00
marvzhang
17bdbaf8dd 优化爬虫列表页面 2020-02-20 11:52:28 +08:00
marvzhang
1ccb8be5de 加入长任务支持 2020-02-19 17:24:16 +08:00
marvzhang
588c17497e 添加Scrapy设置 2020-02-17 10:30:32 +08:00
marvzhang
5aeadcb7f8 加入自动搜索 2020-02-16 11:25:04 +08:00
marvzhang
22d2ec1a6a 加入scrapy参数 2020-02-16 10:23:09 +08:00
marvzhang
3b8702ed58 加入scrapy日志选择 2020-02-15 21:25:21 +08:00
marvzhang
d46f43b05b 加入scrapy爬虫支持 2020-02-15 18:28:37 +08:00
marvzhang
fd62adc8ba 优化爬虫执行逻辑 2020-02-11 15:37:06 +08:00
marvzhang
527506ea65 必须同意免责声明才能运行爬虫 2019-12-20 11:35:41 +08:00
marvzhang
34eef73283 更新百度统计事件名称 2019-12-13 13:53:27 +08:00
marvzhang
82c7cd63b7 优化 https://github.com/crawlab-team/crawlab/issues/185 2019-12-04 16:33:02 +08:00
陈景阳
417b98074c fix 无法选择节点的问题 2019-10-16 15:32:15 +08:00
陈景阳
8294e7cb4b 完成爬虫的分类 2019-09-30 16:35:36 +08:00
Marvin Zhang
eb1a80ec2d added param to task 2019-09-04 20:13:28 +08:00
Marvin Zhang
f6ba3b04c8 code clean up 2019-07-23 21:09:08 +08:00
Marvin Zhang
563ecea96f updated README.md
code cleanup
2019-04-03 19:58:21 +08:00
cxa
61f7ff6a89 fix bug 2019-04-03 16:32:35 +08:00
Marvin Zhang
508712ba07 fixed inconsistency of timestamp issue 2019-03-12 20:28:50 +08:00
Marvin Zhang
1fb09e4d1f support multi-node log view 2019-03-06 15:43:14 +08:00
Marvin Zhang
cc59e1cfce added setup.py 2019-03-03 10:48:04 +08:00