diff --git a/README.md b/README.md index fcb7b69d..0f754b20 100644 --- a/README.md +++ b/README.md @@ -122,10 +122,31 @@ class JuejinPipeline(object): ## Comparison with Other Frameworks +There are existing spider management frameworks. So why use Crawlab? + +The reason is that most of the existing platforms are depending on Scrapyd, which limits the choice only within python and scrapy. Surely scrapy is a great web crawl frameowrk, but it cannot do everything. + +Crawlab is easy to use, general enough to adapt spiders in any language and any framework. It has also a beautiful frontend interface for users to manage spiders much more easily. + |Framework | Type | Distributed | Frontend | Scrapyd-Dependent | -|---|---|---|---|---| -| Crawlab | Admin Platform | Y | Y | N -| Gerapy | Admin Platform | Y | Y | Y -| SpiderKeeper | Admin Platform | Y | Y | Y -| ScrapyAdmin | Admin Platform | Y | Y | Y -| Scrapyd | Web Service | Y | N | N/A +|:---:|:---:|:---:|:---:|:---:| +| [Crawlab](https://github.com/tikazyq/crawlab) | Admin Platform | Y | Y | N +| [Gerapy](https://github.com/Gerapy/Gerapy) | Admin Platform | Y | Y | Y +| [SpiderKeeper](https://github.com/DormyMo/SpiderKeeper) | Admin Platform | Y | Y | Y +| [ScrapydWeb](https://github.com/my8100/scrapydweb) | Admin Platform | Y | Y | Y +| [Scrapyd](https://github.com/scrapy/scrapyd) | Web Service | Y | N | N/A + +## TODOs +##### Backend +- [ ] File Management +- [ ] MySQL Database Support +- [ ] Task Restart +- [ ] Node Monitoring +- [ ] More spider examples + +##### Frontend +- [ ] Task Stats/Analytics +- [ ] Table Filters +- [ ] Multi-Language Support (中文) +- [ ] Login & User Management +- [ ] General Search diff --git a/frontend/README.zh-CN.md b/frontend/README.zh-CN.md deleted file mode 100644 index 5dc9f1d7..00000000 --- a/frontend/README.zh-CN.md +++ /dev/null @@ -1,233 +0,0 @@ -

- -

- -

- - vue - - - element-ui - - - Build Status - - - license - - - GitHub release - - - gitter - - - donate - -

- -简体中文 | [English](./README.md) - -## 简介 - -[vue-element-admin](http://panjiachen.github.io/vue-element-admin) 是一个后台集成解决方案，它基于 [vue](https://github.com/vuejs/vue) 和 [element](https://github.com/ElemeFE/element)。它使用了最新的前端技术栈，内置了 i18 国际化解决方案，动态路由，权限验证，提炼了典型的业务模型，提供了丰富的功能组件，它可以帮助你快速搭建企业级中后台产品原型。相信不管你的需求是什么，本项目都能帮助到你。 - -- [在线访问](http://panjiachen.github.io/vue-element-admin) - -- [使用文档](https://panjiachen.github.io/vue-element-admin-site/zh/) - -- [Gitter 讨论组](https://gitter.im/vue-element-admin/discuss) - -- [Wiki](https://github.com/PanJiaChen/vue-element-admin/wiki) - -- [Donate](https://panjiachen.gitee.io/vue-element-admin-site/zh/donate) - -- [Gitee](https://panjiachen.gitee.io/vue-element-admin/) 国内用户可访问该地址在线预览 - -- [国内访问文档](https://panjiachen.gitee.io/vue-element-admin-site/zh/) 方便没翻墙的用户查看文档 - -**本项目的定位是后台集成方案，不适合当基础模板来开发。** - -- 模板建议使用: [vue-admin-template](https://github.com/PanJiaChen/vue-admin-template) -- 桌面端: [electron-vue-admin](https://github.com/PanJiaChen/electron-vue-admin) -- Typescript版: [vue-typescript-admin-template](https://github.com/Armour/vue-typescript-admin-template) (鸣谢: [@Armour](https://github.com/Armour)) - -群主 **[圈子](https://jianshiapp.com/circles/1209)** 楼主会经常分享一些技术相关的东西，或者加入[qq 群](https://github.com/PanJiaChen/vue-element-admin/issues/602) - -**注意：该项目使用 element-ui@2.3.0+ 版本，所以最低兼容 vue@2.5.0+** - -**从`v3.8.0`开始使用`webpack4`。所以若还想使用`webpack3`开发，请使用该分支[webpack3](https://github.com/PanJiaChen/vue-element-admin/tree/webpack3)** - -**该项目不支持低版本浏览器(如 ie)，有需求请自行添加 polyfill [详情](https://github.com/PanJiaChen/vue-element-admin/wiki#babel-polyfill)** - -## 前序准备 - -你需要在本地安装 [node](http://nodejs.org/) 和 [git](https://git-scm.com/)。本项目技术栈基于 [ES2015+](http://es6.ruanyifeng.com/)、[vue](https://cn.vuejs.org/index.html)、[vuex](https://vuex.vuejs.org/zh-cn/)、[vue-router](https://router.vuejs.org/zh-cn/) 、[axios](https://github.com/axios/axios) 和 [element-ui](https://github.com/ElemeFE/element)，所有的请求数据都使用[Mock.js](https://github.com/nuysoft/Mock)模拟，提前了解和学习这些知识会对使用本项目有很大的帮助。 - -同时配套一个系列的教程文章，如何从零构建后一个完整的后台项目，建议大家先看完这些文章再来实践本项目 - -- [手摸手，带你用 vue 撸后台 系列一(基础篇)](https://juejin.im/post/59097cd7a22b9d0065fb61d2) -- [手摸手，带你用 vue 撸后台 系列二(登录权限篇)](https://juejin.im/post/591aa14f570c35006961acac) -- [手摸手，带你用 vue 撸后台 系列三 (实战篇)](https://juejin.im/post/593121aa0ce4630057f70d35) -- [手摸手，带你用 vue 撸后台 系列四(vueAdmin 一个极简的后台基础模板)](https://juejin.im/post/595b4d776fb9a06bbe7dba56) -- [手摸手，带你封装一个 vue component](https://segmentfault.com/a/1190000009090836) -- [手摸手，带你优雅的使用 icon](https://juejin.im/post/59bb864b5188257e7a427c09) -- [手摸手，带你用合理的姿势使用 webpack4（上）](https://juejin.im/post/5b56909a518825195f499806) -- [手摸手，带你用合理的姿势使用 webpack4（下）](https://juejin.im/post/5b5d6d6f6fb9a04fea58aabc) - -**如有问题请先看上述使用文档和文章，若不能满足，欢迎 issue 和 pr** - -

- -

- -## Sponsors -Become a sponsor and get your logo on our README on GitHub with a link to your site. [[Become a sponsor]](https://www.patreon.com/panjiachen) - -

Admin Dashboard Templates made with Vue, React and Angular.

- -## 功能 - -``` -- 登录 / 注销 - -- 权限验证 - - 页面权限 - - 指令权限 - - 二步登录 - -- 多环境发布 - - dev sit stage prod - -- 全局功能 - - 国际化多语言 - - 多种动态换肤 - - 动态侧边栏（支持多级路由嵌套） - - 动态面包屑 - - 快捷导航(标签页) - - Svg Sprite 图标 - - 本地mock数据 - - Screenfull全屏 - - 自适应收缩侧边栏 - -- 编辑器 - - 富文本 - - Markdown - - JSON 等多格式 - -- Excel - - 导出excel - - 导出zip - - 导入excel - - 前端可视化excel - -- 表格 - - 动态表格 - - 拖拽表格 - - 树形表格 - - 内联编辑 - -- 错误页面 - - 401 - - 404 - -- 組件 - - 头像上传 - - 返回顶部 - - 拖拽Dialog - - 拖拽Select - - 拖拽看板 - - 列表拖拽 - - SplitPane - - Dropzone - - Sticky - - CountTo - -- 综合实例 -- 错误日志 -- Dashboard -- 引导页 -- ECharts 图表 -- Clipboard(剪贴复制) -- Markdown2html -``` - -## 开发 - -```bash -# 克隆项目 -git clone https://github.com/PanJiaChen/vue-element-admin.git - -# 安装依赖 -npm install - -# 建议不要用 cnpm 安装 会有各种诡异的bug 可以通过如下操作解决 npm 下载速度慢的问题 -npm install --registry=https://registry.npm.taobao.org - -# 启动服务 -npm run dev -``` - -浏览器访问 http://localhost:9527 - -## 发布 - -```bash -# 构建测试环境 -npm run build:sit - -# 构建生产环境 -npm run build:prod -``` - -## 其它 - -```bash -# --report to build with bundle size analytics -npm run build:prod - -# --generate a bundle size analytics. default: bundle-report.html -npm run build:prod --generate_report - -# --preview to start a server in local to preview -npm run build:prod --preview - -# lint code -npm run lint - -# auto fix -npm run lint -- --fix -``` - -更多信息请参考 [使用文档](https://panjiachen.github.io/vue-element-admin-site/zh/) - -## Changelog - -Detailed changes for each release are documented in the [release notes](https://github.com/PanJiaChen/vue-element-admin/releases). - -## Online Demo - -[在线 Demo](http://panjiachen.github.io/vue-element-admin) - -## Donate - -如果你觉得这个项目帮助到了你，你可以帮作者买一杯果汁表示鼓励 :tropical_drink: -![donate](https://panjiachen.github.io/donate/donation.png) - -[更多捐赠方式](https://panjiachen.gitee.io/vue-element-admin-site/zh/donate) - -[Paypal Me](https://www.paypal.me/panfree23) - -## Browsers support - -Modern browsers and Internet Explorer 10+. - -| [IE / Edge](http://godban.github.io/browsers-support-badges/)
IE / Edge | [Firefox](http://godban.github.io/browsers-support-badges/)
Firefox | [Chrome](http://godban.github.io/browsers-support-badges/)
Chrome | [Safari](http://godban.github.io/browsers-support-badges/)
Safari | -| --------- | --------- | --------- | --------- | -| IE10, IE11, Edge| last 2 versions| last 2 versions| last 2 versions - -## License - -[MIT](https://github.com/PanJiaChen/vue-element-admin/blob/master/LICENSE) - -Copyright (c) 2017-present PanJiaChen