mirror of
https://github.com/crawlab-team/crawlab.git
synced 2026-01-22 17:31:03 +01:00
3106347fe9
- Deleted CHANGELOG-zh.md and CHANGELOG.md - Added version-specific changelog files in the changelog/ directory for v0.2, v0.3, v0.4, v0.5, and v0.6 - Included both Chinese and English versions for some changelog files - Organized changelogs by version with detailed feature and bug fix descriptions
3.0 KiB
3.0 KiB
更新日志 (v0.6.0)
概览
作为一个重要版本发布，Crawlab v0.6.0 由一些重大的功能升级组成，包括性能、稳定性、健壮性、易用性方面的大量优化。本次 beta 版本理论上会比老版本更加健壮，特别是任务执行、文件同步、节点通信上面。但是，我们还是推荐用户在 Crawlab 新版本上更全面的测试不同的爬虫任务。
升级优化
后端
- 文件同步. 将文件同步从原先的 MongoDB GridFS 迁移到分布式文件系统 SeaweedFS，以提升文件同步和爬虫部署的稳定性和健壮性。
- 节点通信. 将节点通信从原先基于 Redis 套壳的 RPC 迁移到 gRPC。工作节点通过向主节点发起 gRPC 请求来与 MongoDB 数据库间接交互。
- 任务队列. 将任务队列从 Redis 列表迁移到 MongoDB 集合，以提高灵活性，例如优先级队列。
- 日志. 将日志储存迁移到 SeaweedFS，以解决 MongoDB 数据库中的性能问题。
- SDK 集成. 将结果数据储存从原生 SDK 迁移到了任务处理器集中导入到数据库。
- 任务相关. 将任务相关逻辑抽象为了任务调度器、任务处理器以及任务执行器，以减少系统耦合度，提升可扩展性和可维护性。
- 组件化. 引入依赖注入框架，将模块、服务以及子系统进行模块化。
- 插件框架. Crawlab 插件框架 (CPF) 已发布. 详情请参考 这里.
- Git 集成. Git 集成被作为内置功能.
- Scrapy 集成. Scrapy 集成以插件形式存在，插件为 spider-assistant.
- 依赖集成. Dependency 集成以插件形式存在，插件为 dependency.
- 消息通知. 消息通知功能以插件形式存在，插件为 notification.
前端
- Vue 3. 迁移到了最新的前端框架 Vue 3，以支持更高级的功能，例如组合式 API 和 TypeScript。
- UI 框架. 从之前的 Vue-Element-Admin 迁移到了基于 Vue 3 的 UI 框架 Element-Plus，更多灵活性和功能性。
- 高级文件编辑器. 支持更高级的文件编辑器功能，包括拖砖操作、复制、移动、重命名、删除、文件编辑、代码高亮、导航标签等。
- 可自定义表格. 内置更多高级功能，包括自定义列、批量操作、搜索、过滤、排序等。
- 导航标签. 支持多导航标签查看不同的页面。
- 批量创建. 支持批量创建对象，包括爬虫、项目、定时任务等。
- 详情导航. 详情页里的侧边栏导航。
- 更优化的仪表盘. 主页仪表盘中更多的数据图表。