updated version

This commit is contained in:
marvzhang
2021-08-11 15:43:00 +08:00
parent da4f5b2803
commit 61c042ff79
2 changed files with 62 additions and 1 deletions

View File

@@ -0,0 +1,61 @@
# 更新日志 (v0.6.0-beta.20210803)
## 概览
这是下一个正式版本 v0.6.0 beta 版本**不推荐将此 beta 版本用作生产环境中**因为它还没有被全面测试也不足够稳定另外一些实用功能例如 GitScrapy消息通知不计划在此 beta 版本发布它们将以插件形式被整合进正式版本
## 升级优化
作为一个重要版本发布Crawlab v0.6包括 beta 版本由一些重大的功能升级组成包括性能稳定性健壮性易用性方面的大量优化本次 beta 版本理论上会比老版本更加健壮特别是任务执行文件同步节点通信上面但是我们还是推荐用户在 Crawlab 信版本上更全面的测试不同的爬虫任务
#### 后端
- **文件同步**. 将文件同步从原先的 MongoDB GridFS 迁移到分布式文件系统 SeaweedFS以提升文件同步和爬虫部署的稳定性和健壮性
- **节点通信**. 将节点通信从原先基于 Redis 套壳的 RPC 迁移到 gRPC工作节点通过向主节点发起 gRPC 请求来与 MongoDB 数据库间接交互
- **任务队列**. 将任务队列从 Redis 列表迁移到 MongoDB 集合以提高灵活性例如优先级队列
- **日志**. 将日志储存迁移到 SeaweedFS以解决 MongoDB 数据库中的性能问题
- **SDK 集成**. 将结果数据储存从原生 SDK 迁移到了任务处理器集中导入到数据库
- **任务相关**. 将任务相关逻辑抽象为了任务调度器任务处理器以及任务执行器以减少系统耦合度提升可扩展性和可维护性
- **组件化**. 引入依赖注入框架将模块服务以及子系统进行模块化
#### 前端
- **Vue 3**. 迁移到了最新的前端框架 Vue 3以支持更高级的功能例如组合式 API TypeScript
- **UI 框架**. 从之前的 Vue-Element-Admin 迁移到了基于 Vue 3 UI 框架 Element-Plus更多灵活性和功能性
- **高级文件编辑器**. 支持更高级的文件编辑器功能包括拖砖操作复制移动重命名删除文件编辑代码高亮导航标签等
- **可自定义表格**. 内置更多高级功能包括自定义列批量操作搜索过滤排序等
- **导航标签**. 支持多导航标签查看不同的页面
- **批量创建**. 支持批量创建对象包括爬虫项目定时任务等
- **详情导航**. 详情页里的侧边栏导航
- **更优化的仪表盘**. 主页仪表盘中更多的数据图表
## 待完成
您可能已经知晓这是一个 beta 版本因此一些既有的实用功能例如 Git Scrapy 集成还不支持不过由于代码中已经有一些基础功能我们正努力将它们涵盖在 v0.6.0 的正式版本中我们只会在它们被全面测试之后再加入到稳定版本中
- [ ] **插件框架**. 高级功能会以插件的形式集成到 Crawlab
- [ ] **Git 集成**. 将作为插件存在
- [ ] **Scrapy 集成**. 将作为插件存在
- [ ] **消息通知**. 将作为插件存在
- [ ] **关联人物**. 如果任务执行模式为 所有节点 指定节点那么将会有主任务和子任务之分
- [ ] **Crontab 编辑器**. 可视化 Crontab 编辑的前端组件
- [ ] **结果去重**.
- [ ] **环境变量**.
- [ ] **国际化**. 支持中文.
- [ ] **前端易用性优化**. 更多高级功能例如表格形式保存
- [ ] **日志自动清理**.
- [ ] **文档**.
## 未来计划
此次 beta 版本发布只是作为 Crawlab v0.6 核心功能测试的预览版本我们诚信希望各位用户能下载安装并运行更多测试爬虫任务 beta 版中发现的主要问题解决后以及插件框架和其他重要功能完成并通过测试之后我们将发布正式版本因此在此之前还可能会存在第二个更完善的 beta 版本
## 参考
- 官网: https://www.crawlab.cn
- Github: https://github.com/crawlab-team/crawlab
- Demo: https://crawlab.cn/demo
## 社区
如果您觉得 [Crawlab](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fgithub.com%2Fcrawlab-team%2Fcrawlab) 对您的日常开发或公司有帮助,欢迎在 Github 上进行 star以及如果遇到任何问题请随时在 Github 上提 issue。另外欢迎您对 [Crawlab](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fgithub.com%2Fcrawlab-team%2Fcrawlab) 做开发贡献。