27 Commits

Author	SHA1	Message	Date
marvzhang	46a30d925c	added colly example	2020-08-13 09:23:34 +08:00
marvzhang	e3fc3acc8b	updated baidu_colly spider	2020-08-03 17:38:01 +08:00
marvzhang	bf2943e098	added baidu colly example spider	2020-08-03 16:20:33 +08:00
Seven2Nine	142367a5f0	Update spider.py ... 修复“//” 开头的url报错 ValueError('Missing scheme in request url: %s' % self._url)	2020-07-08 11:06:52 +08:00
marvzhang	cf7f30d7ce	updated spiders	2020-02-11 10:06:03 +08:00
marvzhang	143550f3c6	added jd_mask_spider	2020-02-10 11:15:37 +08:00
marvzhang	4a62542eb1	fixed sinastock_spider issue	2020-02-08 09:51:11 +08:00
marvzhang	de41f41475	版本更新	2020-02-03 16:43:29 +08:00
marvzhang	de2d230e1a	changed dir	2020-02-03 11:58:05 +08:00
marvzhang	1385288b73	修复可配置爬虫无法解析 "//" 打头的URL	2020-01-30 17:36:38 +08:00
marvzhang	5ad3b07627	updated version	2020-01-15 20:40:02 +08:00
marvzhang	a067c1c1ad	将可配置爬虫stages调整为列表	2019-12-13 12:55:53 +08:00
marvzhang	6d9c162e9e	优先调整xpath顺序	2019-12-04 13:57:27 +08:00
marvzhang	40f6675ce8	更新Spiderfile模版	2019-12-03 14:25:54 +08:00
marvzhang	98cbccb81e	加入Spiderfile模版	2019-12-03 13:37:41 +08:00
marvzhang	9e849695d1	更新可配置爬虫	2019-12-03 12:14:38 +08:00
marvzhang	c3bc20127d	更新可配置爬虫	2019-12-02 22:35:45 +08:00
marvzhang	bca50c0f19	加入依赖模块	2019-12-02 17:46:57 +08:00
marvzhang	87546f0c88	准备可配置爬虫自定义设置变量	2019-11-29 13:42:50 +08:00
marvzhang	a87950e369	加入环境变量	2019-11-25 22:07:20 +08:00
marvzhang	dccfb23901	加入储存逻辑	2019-11-25 17:52:19 +08:00
marvzhang	1c32c92c54	refactor code	2019-11-25 16:45:55 +08:00
marvzhang	5a286f98af	更新可配置爬虫，修复一些问题	2019-11-24 19:45:21 +08:00
marvzhang	8b451c8b2b	更新可配置爬虫，修复一些问题	2019-11-24 18:51:32 +08:00
marvzhang	9c282ddb4d	加入可配置爬虫	2019-11-24 17:57:12 +08:00
marvzhang	7b86d35a0f	code cleanup	2019-11-23 18:16:24 +08:00
marvzhang	607ce70f5c	准备可配置爬虫	2019-11-23 18:13:47 +08:00