产品简介
调度系统(云知芯 Scheduler)是基于大数据分析平台的任务调度服务,可无缝接入UHadoop。目前支持MapReduce、Hive SQL、Spark、SparkSQL任务,并支持按日期选择方式和Crontab方式设置调度时间。任务上支持复杂的任务逻辑编排、失败重启、超时告警、失败告警等。
产品特性
- 支持多样化,多依赖的复杂工作流任务
- 分钟级任务创建,编辑等操作,支持可视化任务工作流
- 实时查看,修改任务信息,备份历史任务记录
- 支持任务执行记录和日志查看
- 支持任务运行状态消息通知功能
产品使用场景
Uscheduler作为一款工作流处理系统,主要负责处理在hadoop集群提交的工作流任务,实现多任务复杂依赖条件下任务流的有序执行。
- 任务流管理 :依托用户已有的Uhadoop集群,实现对hadoop任务的定时提交,支持多任务的工作流程的应用场景。
- 工作流可视化 :根据工作流各个任务之间的依赖关系,提供可视化任务管理界面,适用于管理和配置复杂依赖关系的任务调度场景。
- 任务日志查看 :提供调度执行记录的日志查询,精确到每个application的具体任务信息,适用于多任务环境下的日志查询,错误排查等场景