(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202211075981.7 (22)申请日 2022.09.05 (65)同一申请的已公布的文献号 申请公布号 CN 115145992 A (43)申请公布日 2022.10.04 (73)专利权人 深圳市明源云科技有限公司 地址 518000 广东省深圳市南 山区粤海街 道高新区社区高新南十道16号金地威 新中心A座801 (72)发明人 梁招娣　杨敏超　梁伟　 (74)专利代理 机构 深圳市世纪恒程知识产权代 理事务所 4 4287 专利代理师 陈满谊 (51)Int.Cl. G06F 16/25(2019.01)G06F 16/23(2019.01) G06F 16/27(2019.01) G06F 9/48(2006.01) (56)对比文件 CN 113268500 A,2021.08.17 CN 112732819 A,2021.04.3 0 CN 110704479 A,2020.01.17 CN 110908789 A,2020.0 3.24 CN 111339071 A,2020.0 6.26 CN 108363746 A,2018.08.0 3 CN 113760242 A,2021.12.07 CN 112527876 A,2021.0 3.19 CN 112734525 A,2021.04.3 0 CN 114138758 A,202 2.03.04 US 2017139 970 A1,2017.0 5.18 审查员 曾婉琳 (54)发明名称 多源数据处理方法、 装置、 电子设备及可读 存储介质 (57)摘要 本申请公开了多源数据处理方法、 装置、 电 子设备及可读 存储介质， 应用于数据处理技术领 域， 所述多源数据处理方法包括： 通过任务配置 界面获取用户针对于待处理任务输入的数据源 信息； 依据预设数据更新方式， 在所述数据源信 息定位的至少一个目标数据库中更新所述待处 理任务对应的任务数据， 得到至少一个待拉取任 务数据； 将各所述待拉取任务数据拉取至预设多 源数据库， 得到待处理多源数据； 通过所述任务 配置界面获取所述待处理任务的任务执行参数， 依据所述任务执行参数， 执行所述待处理任务， 以处理所述待处理多源数据。 本申请解决了进行 多源数据处 理的处理效率低的技 术问题。 权利要求书3页 说明书15页 附图4页 CN 115145992 B 2022.12.27 CN 115145992 B 1.一种多源数据处 理方法， 其特 征在于， 所述多源数据处 理方法包括： 通过任务配置界面获取用户针对于待处理任务输入的数据源信息， 其中， 所述待处理 任务用于表征跨数据库的多源数据的数据处 理需求； 依据预设数据 更新方式， 在所述数据源信 息定位的至少一个目标数据库中更新所述待 处理任务对应的任务数据， 得到 至少一个待拉取任务数据； 将各所述待拉取任务数据拉取至预设多源数据库， 得到待处 理多源数据； 通过所述任务配置界面获取所述待处理任务的任务执行参数， 依据所述任务执行参 数， 执行所述待处 理任务， 以处 理所述待处 理多源数据， 其中， 所述待处理任务包括第一待处理任务和第二待处理任务， 所述目标数据库包括 源表数据库和源数据库， 所述依据预设数据更新方式， 在所述数据源信息定位的至少一个 目标数据库中更新所述待处理任务对应的任务数据， 得到至少一个待拉取任务数据的步骤 包括： 若所述待处理任务为所述第一待处理任务， 则依据所述数据源信息， 在至少一个所述 源表数据库中确定所述待处理任务对应的第一任务数据， 其中， 所述源表数据库为存储与 所述第一任务数据的数据类型相同的源数据的数据库； 将所述第一待处 理任务裂 变为各所述第一任务数据一 一对应的待处 理子任务； 依据所述预设数据更新方式和各所述待处理子任务分别对应的数据更新 时间， 对各所 述第一任务数据进行 更新， 得到所述待拉取任务数据； 若所述待处理任务为所述第 二待处理任务， 则依据 所述数据源信 息对应的第 一数据存 储路径， 在至少一个所述源数据库中确定所述第二待处理任务对应的第二任务数据， 其中， 所述源数据库为存 储源数据的数据库； 依据所述预设数据更新方式， 对所述第二任务数据进行更新， 得到所述待拉取任务数 据。 2.如权利要求1所述多源数据处理方法， 其特征在于， 所述通过任务配置界面获取用户 针对于待处 理任务输入的数据源信息的步骤 包括： 通过所述任务配置界面获取用户针对于待处 理任务输入数据源基础信息； 或 通过所述任务配置界面获取用户针对于待处理任务输入的数据源表信息和数据源基 础信息。 3.如权利要求2所述多源数据处理方法， 其特征在于， 所述通过所述任务配置界面获取 用户针对于待处 理任务输入的数据源表信息和数据源基础信息的步骤 包括： 通过所述任务配置界面获取用户针对于待处 理任务输入的数据源基础信息； 检测所述任务配置界面对应的数据源表选项中是否存在用户针对于待处理任务配置 的数据源表标识； 若是， 则依据所述数据源表标识， 确定数据源表信息； 若否， 则通过任务配置界面获取用户针对于待处理任务输入的预设数量的任务标识信 息， 并将各 所述任务标识信息共同作为所述数据源表信息 。 4.如权利要求1所述多源数据处理方法， 其特征在于， 在所述将各所述待拉取任务数据 拉取至预设多源数据库， 得到待处 理多源数据的步骤之前， 所述多源数据处 理方法还 包括： 在所述任务配置界面获取 所述待拉取任务数据对应的第二数据存 储路径；权　利　要　求　书 1/3 页 2 CN 115145992 B 2在预设多源数据库检测所述第二数据存储路径对应的数据存储空间是否存在多源数 据； 若是， 则生成数据重复告警信息， 并将所述数据重复告警信息在预设显示界面进行显 示； 若否， 则将所述待拉取任务数据拉取至所述预设多源数据库。 5.如权利要求1所述多源数据处理方法， 其特征在于， 所述任务执行参数包括第 一任务 执行参数和第二任务执 行参数， 所述依据所述任务执 行参数， 执 行所述待处 理任务， 包括： 在所述任务配置界面获取任务处理命令， 其中， 所述任务处理命令包括任务预览命令 和任务执 行命令； 若所述任务处理命令为所述任务预览命令， 则在所述任务配置界面显示所述第 一任务 执行参数对应的参数表达式； 若所述任务处理命令为所述任务执行命令， 则获取所述待处理任务对应的第 二任务执 行参数和对应的任务执 行时间； 依据所述第一任务执行参数、 所述第二任务执行参数和所述任务执行时间， 执行所述 待处理任务。 6.如权利要求1所述多源数据处理方法， 其特征在于， 在所述通过所述任务配置界面获 取所述待处理任务的任务执行参数， 依据所述任务执行参数， 执行所述待处理任务的步骤 之后， 所述多源数据处 理方法还 包括： 检测所述待处 理任务对应的任务执 行过程是否满足预设告警条件； 若是， 则依据预设告警规则， 生成任务告警信 息， 并将所述任务告警信息在预设显示界 面进行显示。 7.一种多源数据处 理装置， 其特 征在于， 所述多源数据处 理装置包括： 获取模块， 用于通过任务配置界面获取用户针对于待处理任务输入的数据源信息， 其 中， 所述待处 理任务用于表征跨数据库的多源数据的数据处 理需求； 更新模块， 用于依据预设数据更新方式， 在所述数据源信息定位的至少一个目标数据 库中更新所述待处 理任务对应的任务数据， 得到 至少一个待拉取任务数据； 拉取模块， 用于将各所述待拉取任务数据拉取至预设多源数据库， 得到待处理多源数 据； 执行模块， 用于通过所述任务配置界面获取所述待处理任务的任务执行参数， 依据所 述任务执 行参数， 执 行所述待处 理任务， 以处 理所述待处 理多源数据， 其中， 所述待处理任务包括第一待处理任务和第二待处理任务， 所述目标数据库包括 源表数据库和源数据库， 所述执行模块还用于： 若 所述待处理任务为所述第一待处理任务， 则依据所述数据源信息， 在至少一个所述源表数据库中确定所述待处理任务对应的第一任 务数据， 其中， 所述源表数据库为存储与所述第一任务数据的数据类型相同的源数据的数 据库； 将所述第一待处理任务裂变为各所述第一任务数据一一对应的待处理子任务； 依据 所述预设数据更新方式和各所述待处理子任务分别对应的数据更新时间， 对各所述第一任 务数据进 行更新， 得到所述待拉取任务数据； 若 所述待处理任务为所述第二待处理任务， 则 依据所述数据源信息对应的第一数据存储 路径， 在至少一个所述源数据库中确定所述第二权　利　要　求　书 2/3 页 3 CN 115145992 B 3