From 33aaf91531d7f58e1a9b3151cb431d8d28cbcacc Mon Sep 17 00:00:00 2001 From: marvzhang Date: Wed, 11 Aug 2021 15:43:00 +0800 Subject: [PATCH 1/4] updated version --- backend/go.mod | 2 +- changelog/v0.6.0-beta.20210803-zh.md | 61 ++++++++++++++++++++++++++++ 2 files changed, 62 insertions(+), 1 deletion(-) create mode 100644 changelog/v0.6.0-beta.20210803-zh.md diff --git a/backend/go.mod b/backend/go.mod index b70e650e..fb229d93 100644 --- a/backend/go.mod +++ b/backend/go.mod @@ -4,7 +4,7 @@ go 1.15 require ( github.com/apex/log v1.9.0 - github.com/crawlab-team/crawlab-core v0.6.0-beta.20210802.1344 + github.com/crawlab-team/crawlab-core v0.6.0-beta.20210811.1540 github.com/crawlab-team/go-trace v0.1.0 github.com/gin-gonic/gin v1.6.3 github.com/spf13/cobra v1.1.3 diff --git a/changelog/v0.6.0-beta.20210803-zh.md b/changelog/v0.6.0-beta.20210803-zh.md new file mode 100644 index 00000000..e65b7fca --- /dev/null +++ b/changelog/v0.6.0-beta.20210803-zh.md @@ -0,0 +1,61 @@ +# 更新日志 (v0.6.0-beta.20210803) + +## 概览 + +这是下一个正式版本 v0.6.0 的 beta 版本。**不推荐将此 beta 版本用作生产环境中**，因为它还没有被全面测试，也不足够稳定。另外，一些实用功能（例如 Git、Scrapy、消息通知）不计划在此 beta 版本发布，它们将以插件形式被整合进正式版本。 + +## 升级优化 + +作为一个重要版本发布，Crawlab v0.6（包括 beta 版本）由一些重大的功能升级组成，包括性能、稳定性、健壮性、易用性方面的大量优化。本次 beta 版本理论上会比老版本更加健壮，特别是任务执行、文件同步、节点通信上面。但是，我们还是推荐用户在 Crawlab 信版本上更全面的测试不同的爬虫任务。 + +#### 后端 + +- **文件同步**. 将文件同步从原先的 MongoDB GridFS 迁移到分布式文件系统 SeaweedFS，以提升文件同步和爬虫部署的稳定性和健壮性。 +- **节点通信**. 将节点通信从原先基于 Redis 套壳的 RPC 迁移到 gRPC。工作节点通过向主节点发起 gRPC 请求来与 MongoDB 数据库间接交互。 +- **任务队列**. 将任务队列从 Redis 列表迁移到 MongoDB 集合，以提高灵活性，例如优先级队列。 +- **日志**. 将日志储存迁移到 SeaweedFS，以解决 MongoDB 数据库中的性能问题。 +- **SDK 集成**. 将结果数据储存从原生 SDK 迁移到了任务处理器集中导入到数据库。 +- **任务相关**. 将任务相关逻辑抽象为了任务调度器、任务处理器以及任务执行器，以减少系统耦合度，提升可扩展性和可维护性。 +- **组件化**. 引入依赖注入框架，将模块、服务以及子系统进行模块化。 + +#### 前端 + +- **Vue 3**. 迁移到了最新的前端框架 Vue 3，以支持更高级的功能，例如组合式 API 和 TypeScript。 +- **UI 框架**. 从之前的 Vue-Element-Admin 迁移到了基于 Vue 3 的 UI 框架 Element-Plus，更多灵活性和功能性。 +- **高级文件编辑器**. 支持更高级的文件编辑器功能，包括拖砖操作、复制、移动、重命名、删除、文件编辑、代码高亮、导航标签等。 +- **可自定义表格**. 内置更多高级功能，包括自定义列、批量操作、搜索、过滤、排序等。 +- **导航标签**. 支持多导航标签查看不同的页面。 +- **批量创建**. 支持批量创建对象，包括爬虫、项目、定时任务等。 +- **详情导航**. 详情页里的侧边栏导航。 +- **更优化的仪表盘**. 主页仪表盘中更多的数据图表。 + +## 待完成 + +您可能已经知晓，这是一个 beta 版本，因此一些既有的实用功能（例如 Git 和 Scrapy 集成）还不支持。不过，由于代码中已经有一些基础功能，我们正努力将它们涵盖在 v0.6.0 的正式版本中。我们只会在它们被全面测试之后再加入到稳定版本中。 + +- [ ] **插件框架**. 高级功能会以插件的形式集成到 Crawlab 中。 +- [ ] **Git 集成**. 将作为插件存在。 +- [ ] **Scrapy 集成**. 将作为插件存在。 +- [ ] **消息通知**. 将作为插件存在。 +- [ ] **关联人物**. 如果任务执行模式为 “所有节点” 或 “指定节点”，那么将会有主任务和子任务之分。 +- [ ] **Crontab 编辑器**. 可视化 Crontab 编辑的前端组件。 +- [ ] **结果去重**. +- [ ] **环境变量**. +- [ ] **国际化**. 支持中文. +- [ ] **前端易用性优化**. 更多高级功能，例如表格形式保存。 +- [ ] **日志自动清理**. +- [ ] **文档**. + +## 未来计划 + +此次 beta 版本发布只是作为 Crawlab v0.6 核心功能测试的预览版本。我们诚信希望各位用户能下载安装并运行更多测试爬虫任务。在 beta 版中发现的主要问题解决后，以及插件框架和其他重要功能完成并通过测试之后，我们将发布正式版本。因此，在此之前，还可能会存在第二个更完善的 beta 版本。 + +## 参考 + +- 官网: https://www.crawlab.cn +- Github: https://github.com/crawlab-team/crawlab +- Demo: https://crawlab.cn/demo + +## 社区 + +如果您觉得 [Crawlab](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fgithub.com%2Fcrawlab-team%2Fcrawlab) 对您的日常开发或公司有帮助，欢迎在 Github 上进行 star，以及，如果遇到任何问题，请随时在 Github 上提 issue。另外，欢迎您对 [Crawlab](https://www.oschina.net/action/GoToLink?url=https%3A%2F%2Fgithub.com%2Fcrawlab-team%2Fcrawlab) 做开发贡献。 From 5796076c0e7670fc2dcf6c70f3699018b8476506 Mon Sep 17 00:00:00 2001 From: marvzhang Date: Wed, 11 Aug 2021 15:50:09 +0800 Subject: [PATCH 2/4] updated go.mod --- backend/go.mod | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/backend/go.mod b/backend/go.mod index fb229d93..2fe339f5 100644 --- a/backend/go.mod +++ b/backend/go.mod @@ -4,7 +4,7 @@ go 1.15 require ( github.com/apex/log v1.9.0 - github.com/crawlab-team/crawlab-core v0.6.0-beta.20210811.1540 + github.com/crawlab-team/crawlab-core v0.6.0-beta.20210811.1546 github.com/crawlab-team/go-trace v0.1.0 github.com/gin-gonic/gin v1.6.3 github.com/spf13/cobra v1.1.3 From f9674ba20a8434c9f624512e3635b188bb57bb95 Mon Sep 17 00:00:00 2001 From: marvzhang Date: Wed, 11 Aug 2021 16:21:26 +0800 Subject: [PATCH 3/4] updated go.mod --- backend/go.mod | 2 +- backend/go.sum | 8 ++++---- 2 files changed, 5 insertions(+), 5 deletions(-) diff --git a/backend/go.mod b/backend/go.mod index 2fe339f5..2ec7c5d2 100644 --- a/backend/go.mod +++ b/backend/go.mod @@ -4,7 +4,7 @@ go 1.15 require ( github.com/apex/log v1.9.0 - github.com/crawlab-team/crawlab-core v0.6.0-beta.20210811.1546 + github.com/crawlab-team/crawlab-core v0.6.0-beta.20210811.1620 github.com/crawlab-team/go-trace v0.1.0 github.com/gin-gonic/gin v1.6.3 github.com/spf13/cobra v1.1.3 diff --git a/backend/go.sum b/backend/go.sum index cfa705ff..9977ab97 100644 --- a/backend/go.sum +++ b/backend/go.sum @@ -74,16 +74,16 @@ github.com/cpuguy83/go-md2man/v2 v2.0.0-20190314233015-f79a8a8ca69d/go.mod h1:ma github.com/cpuguy83/go-md2man/v2 v2.0.0/go.mod h1:maD7wRr/U5Z6m/iR4s+kqSMx2CaBsrgA7czyZG/E6dU= github.com/crawlab-team/crawlab-core v0.0.1 h1:tZ9Rlji5L5uoZ6nRZFqnSGmEl5TdmdxAyxueJDKfUl8= github.com/crawlab-team/crawlab-core v0.0.1/go.mod h1:6dJHMvrmIJbfYHhYNeGZkGOLEBvur+yGiFzLCRXx92k= -github.com/crawlab-team/crawlab-core v0.6.0-beta.20210802.1344 h1:iRFkt5TAQM4T6NWeJfcM/yT1USqskv5SmqKYiDfHb9I= -github.com/crawlab-team/crawlab-core v0.6.0-beta.20210802.1344/go.mod h1:3K3ZIbZOmks7nJT/nfR338SrXFPHzD0AT1F7TSVuI/w= +github.com/crawlab-team/crawlab-core v0.6.0-beta.20210811.1620 h1:BWeVBjNDRJeewgStIKbdsHeTrnDOOfY5Q2HX1eEWaVg= +github.com/crawlab-team/crawlab-core v0.6.0-beta.20210811.1620/go.mod h1:P00kiSHhvhRisDpE4tfjPAJUpnS6ZfWY+H4+x+1h3TI= github.com/crawlab-team/crawlab-db v0.0.2/go.mod h1:o7o4rbcyAWlFGHg9VS7V7tM/GqRq+N2mnAXO71cZA78= github.com/crawlab-team/crawlab-db v0.1.1 h1:156h2fbbFKXAHs1mxprqRFC8zs2nrdyaG9JKG7patVw= github.com/crawlab-team/crawlab-db v0.1.1/go.mod h1:t0VidSjXKzQgACqNSQV5wusXncFtL6lGEiQTbLfNR04= github.com/crawlab-team/crawlab-fs v0.0.0/go.mod h1:k2VXprQspLAmbgO5sSpqMjg/xP4iKDkW4RyTWY8eTZM= github.com/crawlab-team/crawlab-fs v0.1.0 h1:iKSJJY4Wvea8Qss+zC/tLiZ371VeV75Z3cuqlsxydzY= github.com/crawlab-team/crawlab-fs v0.1.0/go.mod h1:dOE0TeWPDz9krwzt1H72rjj0Fn/aHe53yn7GoOZHD0s= -github.com/crawlab-team/crawlab-grpc v0.1.0 h1:cCAvQMyXCuUumek2EmYBFRU4UwnC84454vwc+vg4PeE= -github.com/crawlab-team/crawlab-grpc v0.1.0/go.mod h1:W9Yee6xfesxoaqS5K1sF1I1zlH+i6xqwy4lyoBTOdkc= +github.com/crawlab-team/crawlab-grpc v0.6.0-beta.20210811.1546 h1:z2I6zBQwFLyY8GAv/WnmLMHAnc0yO023AVaurM6kSGI= +github.com/crawlab-team/crawlab-grpc v0.6.0-beta.20210811.1546/go.mod h1:W9Yee6xfesxoaqS5K1sF1I1zlH+i6xqwy4lyoBTOdkc= github.com/crawlab-team/crawlab-log v0.1.0 h1:0t+lZEojs3Vqb/bMkk2qs3I+1+XdwKG3pMTfeK5PZWM= github.com/crawlab-team/crawlab-log v0.1.0/go.mod h1:N8nTTKEbr9ZQSlmw0+HNB4ZAMQF4yVMaJLx8YhXvhNo= github.com/crawlab-team/crawlab-vcs v0.1.0 h1:LjtKOOFzx1o7vvgGppC7jt/8lznyvFwwXBYggbSW9+4= From c6ce602b3b8ddab3bcfb4be9fc5924770f0041ea Mon Sep 17 00:00:00 2001 From: marvzhang Date: Wed, 11 Aug 2021 16:34:42 +0800 Subject: [PATCH 4/4] updated go.mod --- backend/go.mod | 2 +- backend/go.sum | 8 ++++---- 2 files changed, 5 insertions(+), 5 deletions(-) diff --git a/backend/go.mod b/backend/go.mod index 2ec7c5d2..acca7cfe 100644 --- a/backend/go.mod +++ b/backend/go.mod @@ -4,7 +4,7 @@ go 1.15 require ( github.com/apex/log v1.9.0 - github.com/crawlab-team/crawlab-core v0.6.0-beta.20210811.1620 + github.com/crawlab-team/crawlab-core v0.6.0-beta.20210811.1634 github.com/crawlab-team/go-trace v0.1.0 github.com/gin-gonic/gin v1.6.3 github.com/spf13/cobra v1.1.3 diff --git a/backend/go.sum b/backend/go.sum index 9977ab97..8b3b71be 100644 --- a/backend/go.sum +++ b/backend/go.sum @@ -74,16 +74,16 @@ github.com/cpuguy83/go-md2man/v2 v2.0.0-20190314233015-f79a8a8ca69d/go.mod h1:ma github.com/cpuguy83/go-md2man/v2 v2.0.0/go.mod h1:maD7wRr/U5Z6m/iR4s+kqSMx2CaBsrgA7czyZG/E6dU= github.com/crawlab-team/crawlab-core v0.0.1 h1:tZ9Rlji5L5uoZ6nRZFqnSGmEl5TdmdxAyxueJDKfUl8= github.com/crawlab-team/crawlab-core v0.0.1/go.mod h1:6dJHMvrmIJbfYHhYNeGZkGOLEBvur+yGiFzLCRXx92k= -github.com/crawlab-team/crawlab-core v0.6.0-beta.20210811.1620 h1:BWeVBjNDRJeewgStIKbdsHeTrnDOOfY5Q2HX1eEWaVg= -github.com/crawlab-team/crawlab-core v0.6.0-beta.20210811.1620/go.mod h1:P00kiSHhvhRisDpE4tfjPAJUpnS6ZfWY+H4+x+1h3TI= +github.com/crawlab-team/crawlab-core v0.6.0-beta.20210811.1634 h1:rUCWl/AwGczVIx54StgAeu3pOVN9n4zUWcN9//7Juu8= +github.com/crawlab-team/crawlab-core v0.6.0-beta.20210811.1634/go.mod h1:dvqfN3ZjLZQSxXYkHFFPEbgxZNHqad+yFhZv++Qg4tQ= github.com/crawlab-team/crawlab-db v0.0.2/go.mod h1:o7o4rbcyAWlFGHg9VS7V7tM/GqRq+N2mnAXO71cZA78= github.com/crawlab-team/crawlab-db v0.1.1 h1:156h2fbbFKXAHs1mxprqRFC8zs2nrdyaG9JKG7patVw= github.com/crawlab-team/crawlab-db v0.1.1/go.mod h1:t0VidSjXKzQgACqNSQV5wusXncFtL6lGEiQTbLfNR04= github.com/crawlab-team/crawlab-fs v0.0.0/go.mod h1:k2VXprQspLAmbgO5sSpqMjg/xP4iKDkW4RyTWY8eTZM= github.com/crawlab-team/crawlab-fs v0.1.0 h1:iKSJJY4Wvea8Qss+zC/tLiZ371VeV75Z3cuqlsxydzY= github.com/crawlab-team/crawlab-fs v0.1.0/go.mod h1:dOE0TeWPDz9krwzt1H72rjj0Fn/aHe53yn7GoOZHD0s= -github.com/crawlab-team/crawlab-grpc v0.6.0-beta.20210811.1546 h1:z2I6zBQwFLyY8GAv/WnmLMHAnc0yO023AVaurM6kSGI= -github.com/crawlab-team/crawlab-grpc v0.6.0-beta.20210811.1546/go.mod h1:W9Yee6xfesxoaqS5K1sF1I1zlH+i6xqwy4lyoBTOdkc= +github.com/crawlab-team/crawlab-grpc v0.6.0-beta.20210811.1628 h1:VcW4n+EvmkbG1UMJ0xPDDyVS+lzKywIcrgFG+VJw1RA= +github.com/crawlab-team/crawlab-grpc v0.6.0-beta.20210811.1628/go.mod h1:W9Yee6xfesxoaqS5K1sF1I1zlH+i6xqwy4lyoBTOdkc= github.com/crawlab-team/crawlab-log v0.1.0 h1:0t+lZEojs3Vqb/bMkk2qs3I+1+XdwKG3pMTfeK5PZWM= github.com/crawlab-team/crawlab-log v0.1.0/go.mod h1:N8nTTKEbr9ZQSlmw0+HNB4ZAMQF4yVMaJLx8YhXvhNo= github.com/crawlab-team/crawlab-vcs v0.1.0 h1:LjtKOOFzx1o7vvgGppC7jt/8lznyvFwwXBYggbSW9+4=