发布时间:2026-11-11
点击次数:
导航:X技术最新专利计算;推算;计数设备的制造及其应用技术
本专利针对高并发多种类作业中状态管理复杂、人工调度易出错的问题,提出基于有限状态自动机的统一协调调度算法。通过定义作业状态及关联关系,利用三个线程实时监控、调度作业,并结合资源控制与人工辅助机制,实现九游体育,九游体育股份有限公司,九游体育官方网站,九游Sports自动化、智能化的作业管理与资源分配。
[0002]这里所说的作业,是指具备有限状态的,可自动运行的、自动具备的(如:时间条件)、或者人工确认(如:人工审核)。对于系统中自运行的作业,除过自身业务功能外,需要配合系统完成部分状态管理工作,暨作业开始运行时(“正在运行”状态)、运行异常跳出时(“运行异常”状态)、运行正常结束时(“运行成功”状态)需要同步设置作业的状态(详见
统一协调调度算法适用的场景,大批量、高并发、复杂关联关系、有限状态、自动运行的单元,适用统一协调调度算法的优点包括:算法代替人工大量的、重复的、复杂的机械劳动和逻辑判断,尽可能的回避,由于人为操作而造成的失误;算法自动判断各种关联关系,及时触发自运行作业,监控自运行作业的执行状态,替代人工值守,同时适时的协调人工辅助调度;算法综合考虑系统资源消耗现状,控制机器的资源分配;算法将自运行作业的调度,集中于安全性和稳定性较高的服务器,间接提高整个调度系统的可靠性。
[0003]本算法实施过程分为作业及关联关系定义、详细作业计划制定、依据作业计划统一协调调度三个阶段,流程如图1所示;作业及关联关系定义阶段的目的是为后两个阶段提供基础数据和调度依据,作业的定义包括其运行所需要的全部必要参数值,关联关系包括作业运行的全部必要条件;详细作业计划制定的目的是为算法指定详细的任务范围,包括作业列表、作业计划开始执行时间、超预定义开始时间启动告警动作时长、预计执行时长、超预计时长的告警阀值、等;依据作业计划统一协调调度是整个算法的核心,依据详细的作业计划,协调调度系统资源,完成计划中全部作业的运行;
本算法针对某一作业关联关系具备的判断标准是:关联的所有种类作业已经运行成功,或者条件具备的,如图2所示,JOB-E作业开始执行的条件是JOB-A、JOB-B, JOB-C,JOB-D作业全部成功执行;
本算法调度模块的运行机制是:系统后台启动3个全程值守的线程,分别是作业监控线程A,作业调度线程B、人工辅助管理线程C ;作业监控线])实时监控计划所列的作业的关联关系具备情况、运行结束作业的执行状态,当某一作业的关联关系全部具备,即刻安排作业调度线]);对运行异常、运行成功结束的作业,暨需要人工辅助管理的作业,交由人工辅助管理线所示;本算法作业监控线程A的工作机制是:定时巡更,暨按照规定的间隔时间,对每个关联关系未具备作业的关联关系具备情况、作业正在运行或运行结束的作业进行分析,对关联关系未具备作业,如果作业的全部关联关系具备,则将作业的状态置为“关联具备”状态,交由作业调度线程B处置;如果作业超预定义开始时间启动告警动作时长,则交由人工辅助管理线程C做告警处置,对运行结束的作业,如果作业是异常结束,需交由人工辅助管理线程C做告警处置;
本算法作业调度线程B的运行机制是:实时值守,等待作业监控线程A分配任务,为作业状态为“关联具备”的作业创建执行线程,接着检查最大并发线程数是否超过系统阀值,如果超过系统阀值,则将新创建的线程加入线程资源等候队列的队尾,并设置作业状态为“等待线程资源”;如果未超过系统阀值,则启动新创建的线程,此时作业会立即运行,自运行作业会将作业状态置为“正在运行”,同时占用一个系统线程资源。如果发现“运行异常”状态的作业,则交由人工辅助管理线程C做告警处置。如果发现“运行成功”的作业,则置作业状态为“运行完毕”,同时释放一个系统线程资源;如果发现“正在运行”作业的运行时长超预计时长的告警阀值,则交由人工辅助管理线程C做告警处置;
本算法人工辅助管理线程C的机制是:实时值守,等待作业监控线程A和作业调度线程B分配任务,任务包括:对运行异常跳出的作业、超预定义开始时间告警阀值的作业、运行时长超出预期设置阀值的作业、需要其它人工干预的作业,人工辅助管理线程C会向作业相关责任人发送提醒、或者告警短信,监控界面弹出报警窗口并伴随报警声音;
本算法中自运行作业的基本状态包括:“等待调度”、“关联具备”、“正在运行”、“运行成功”、“运行异常”、“运行完毕”、等,基本的状态变迁图如图4所示,此处所列仅为基本状态,实施过程中可依据具体情况作出调整。
[0005]本算法的实施可分如下步骤:作业状态的定义和作业状态间相互转换过程的定义,自运行作业及关联关系的定义,作业核心三线程(即作业监控线程A,作业调度线程B、人工辅助管理线程C)的实现,人工辅助调度接口的实现,详细作业计划的制定,算法依据作业计划实施调度的过程,人工辅助调度的实施。
1.一种可用于针对多种类、批量、高并发、复杂关联的有限状态作业,实时监控作业关联关系的具备情况,综合考虑系统资源消耗现状,统一协调调度作业,并实时监控作业的运行情况,适时协调人工辅助调度,算法的核心包括:对作业各种状态的识别和处置、作业直接和间接关联关系的筛选、对作业关联关系具备的判断。
2.利用如权利要求1所述的对批量、高并发、复杂关联的有限状态作业实施统一协调调度,所需要构建的包括如下功能模块的系统:有限状态作业及其关联关系的管理、作业详细执行计划的制定、有限状态作业的统一协调调度、协调人工适时的辅助调度。
4.利用如权利要求1所述的算法,实现对多种类、批量、高并发、复杂关联的有限状态作业的统一协调调度,新的系统需要包括如下功能:对有限状态作业的定义、对有限状态作业关联关系的定义、对有限状态作业状态相互转换的定义、实时监控作业关联关系的具备情况、关联关系具备作业的调度队列管理、通过声、光、电等手段,适时协调人工辅助调。
【专利摘要】本发明应用于ETL作业调度领域,提出一种具备有限状态的多种类作业,在批量、高并发、复杂关联的环境下,进行统一协调调度算法。所述算法包括有限状态作业的定义、有限状态作业关联关系的定义、有限状态作业协调调度算法、人工辅助管理功能四部分。所述算法通过实时监控作业关联关系中“未具备”作业的关联关系的“具备”情况、作业关联关系“已具备”作业的状态变化情况,综合考虑系统资源消耗状况,统一协调调度作业,并适时协调人工辅助调度。所述算法可被用来对批量、高并发、复杂关联的有限状态作业实施统一协调调度。