u8国际-u8国际官方网站-网址最新北京科杰科技取得一种基于 Spark 任务标识的任务调度方法专利提高调度的效率和准确性

　　u8国际,u8国际官方网站,u8国际网站最新,u8国际网站,u8国际网址,u8国际链接

　　专利摘要显示，本发明涉及计算机技术领域，尤其涉及一种基于 Spark 任务标识的任务调度方法，该方法包括为每个 Spark 任务定义唯一的标识符，将标识后的 Spark 任务存储到待执行任务队列中；根据待执行任务队列中单个任务执行完成的时间与所述单个任务存在依赖关系的其他任务数量确定任务的优先级；根据执行任务调度时集群资源的空闲资源内存以及待执行任务队列中最高优先级任务的优先级确定各任务的执行顺序；将调度的任务发送给可用的 Spark 集群执行并检测任务的完成状态，将任务的完成状态信息存储到数据库中；根据 Spark 任务执行时集群资源的空闲资源占比小于预设占比的时长以及任务完成合格程度确定任务调度参数的调整量。