package main import ( "crawlab/config" "crawlab/database" "crawlab/middlewares" "crawlab/routes" "crawlab/services" "github.com/apex/log" "github.com/gin-gonic/gin" "github.com/spf13/viper" "runtime/debug" ) func main() { app := gin.Default() // 初始化配置 if err := config.InitConfig(""); err != nil { log.Error("init config error:" + err.Error()) panic(err) } log.Info("初始化配置成功") // 初始化日志设置 logLevel := viper.GetString("log.level") if logLevel != "" { log.SetLevelFromString(logLevel) } log.Info("初始化日志设置成功") if viper.GetString("log.isDeletePeriodically") == "Y" { err := services.InitDeleteLogPeriodically() if err != nil { log.Error("Init DeletePeriodically Failed") panic(err) } log.Info("初始化定期清理日志配置成功") } // 初始化Mongodb数据库 if err := database.InitMongo(); err != nil { log.Error("init mongodb error:" + err.Error()) debug.PrintStack() panic(err) } log.Info("初始化Mongodb数据库成功") // 初始化Redis数据库 if err := database.InitRedis(); err != nil { log.Error("init redis error:" + err.Error()) debug.PrintStack() panic(err) } log.Info("初始化Redis数据库成功") if services.IsMaster() { // 初始化定时任务 if err := services.InitScheduler(); err != nil { log.Error("init scheduler error:" + err.Error()) debug.PrintStack() panic(err) } log.Info("初始化定时任务成功") } // 初始化任务执行器 if err := services.InitTaskExecutor(); err != nil { log.Error("init task executor error:" + err.Error()) debug.PrintStack() panic(err) } log.Info("初始化任务执行器成功") // 初始化节点服务 if err := services.InitNodeService(); err != nil { log.Error("init node service error:" + err.Error()) panic(err) } log.Info("初始化节点配置成功") // 初始化爬虫服务 if err := services.InitSpiderService(); err != nil { log.Error("init spider service error:" + err.Error()) debug.PrintStack() panic(err) } log.Info("初始化爬虫服务成功") // 初始化用户服务 if err := services.InitUserService(); err != nil { log.Error("init user service error:" + err.Error()) debug.PrintStack() panic(err) } log.Info("初始化用户服务成功") // 以下为主节点服务 if services.IsMaster() { // 中间件 app.Use(middlewares.CORSMiddleware()) app.Use(middlewares.AuthorizationMiddleware()) // 路由 // 节点 app.GET("/nodes", routes.GetNodeList) // 节点列表 app.GET("/nodes/:id", routes.GetNode) // 节点详情 app.POST("/nodes/:id", routes.PostNode) // 修改节点 app.GET("/nodes/:id/tasks", routes.GetNodeTaskList) // 节点任务列表 app.GET("/nodes/:id/system", routes.GetSystemInfo) // 节点任务列表 app.DELETE("/nodes/:id", routes.DeleteNode) // 删除节点 // 爬虫 app.GET("/spiders", routes.GetSpiderList) // 爬虫列表 app.GET("/spiders/:id", routes.GetSpider) // 爬虫详情 app.POST("/spiders", routes.PutSpider) // 上传爬虫 app.POST("/spiders/:id", routes.PostSpider) // 修改爬虫 app.POST("/spiders/:id/publish", routes.PublishSpider) // 发布爬虫 app.DELETE("/spiders/:id", routes.DeleteSpider) // 删除爬虫 app.GET("/spiders/:id/tasks", routes.GetSpiderTasks) // 爬虫任务列表 app.GET("/spiders/:id/file", routes.GetSpiderFile) // 爬虫文件读取 app.POST("/spiders/:id/file", routes.PostSpiderFile) // 爬虫目录写入 app.GET("/spiders/:id/dir", routes.GetSpiderDir) // 爬虫目录 app.GET("/spiders/:id/stats", routes.GetSpiderStats) // 爬虫统计数据 // 任务 app.GET("/tasks", routes.GetTaskList) // 任务列表 app.GET("/tasks/:id", routes.GetTask) // 任务详情 app.PUT("/tasks", routes.PutTask) // 派发任务 app.DELETE("/tasks/:id", routes.DeleteTask) // 删除任务 app.POST("/tasks/:id/cancel", routes.CancelTask) // 取消任务 app.GET("/tasks/:id/log", routes.GetTaskLog) // 任务日志 app.GET("/tasks/:id/results", routes.GetTaskResults) // 任务结果 app.GET("/tasks/:id/results/download", routes.DownloadTaskResultsCsv) // 下载任务结果 // 定时任务 app.GET("/schedules", routes.GetScheduleList) // 定时任务列表 app.GET("/schedules/:id", routes.GetSchedule) // 定时任务详情 app.PUT("/schedules", routes.PutSchedule) // 创建定时任务 app.POST("/schedules/:id", routes.PostSchedule) // 修改定时任务 app.DELETE("/schedules/:id", routes.DeleteSchedule) // 删除定时任务 // 统计数据 app.GET("/stats/home", routes.GetHomeStats) // 首页统计数据 // 用户 app.GET("/users", routes.GetUserList) // 用户列表 app.GET("/users/:id", routes.GetUser) // 用户详情 app.PUT("/users", routes.PutUser) // 添加用户 app.POST("/users/:id", routes.PostUser) // 更改用户 app.DELETE("/users/:id", routes.DeleteUser) // 删除用户 app.POST("/login", routes.Login) // 用户登录 app.GET("/me", routes.GetMe) // 获取自己账户 } // 路由ping app.GET("/ping", routes.Ping) // 运行服务器 host := viper.GetString("server.host") port := viper.GetString("server.port") if err := app.Run(host + ":" + port); err != nil { log.Error("run server error:" + err.Error()) panic(err) } }