全网唯一标准王
(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210961919.1 (22)申请日 2022.08.11 (71)申请人 海南数造科技有限公司 地址 572000 海南省三 亚市崖州区崖州湾 科技城用友产业园1号楼2层222、 224、 226、 228号 (72)发明人 王瀚 杨泽明 杨光 陆柏亨  李玮 鲍立飞  (51)Int.Cl. G06F 16/21(2019.01) G06F 16/23(2019.01) G06F 16/2455(2019.01) G06F 16/25(2019.01) G06F 9/48(2006.01) G06F 11/36(2006.01) (54)发明名称 一种一站式数据开发方法、 系统 (57)摘要 本申请涉及数据开发的领域, 尤其是涉及一 种一站式数据开发方法、 系统, 其包括基于用户 写入任务的操作获取对应的任务需求数据; 将任 务需求数据进行加工确定对应的目标任务数据; 对目标任务数据进行逻辑判断是否正确; 若是, 依据多个目标任务数据获取对应的任务流数据; 对任务流数据进行冒烟测试获取对应的目标发 布包文件数据; 基于冒烟测试通过的操作对发布 包文件数据进行审核; 基于用户的定时策略对发 布包文件数据进行周期调度。 本申请具有简化数 据使用过程, 提高开发效率的效果。 权利要求书2页 说明书8页 附图6页 CN 115309722 A 2022.11.08 CN 115309722 A 1.一种一站式数据开发方法, 其特 征在于, 包括如下步骤: 基于用户写入 任务的操作获取对应的任务需求数据; 将任务需求数据进行加工确定对应的目标任务数据; 对目标任务数据进行逻辑判断是否正确; 若是, 依据多个目标任务数据获取对应的任务 流数据; 对任务流数据进行冒烟测试获取对应的目标发布包文件数据; 基于冒烟测试通过的操作对发布包文件数据进行审核; 基于用户的定时策略对发布包文件数据进行周期调度。 2.根据权利要求1所述的一种一站式数据开发方法, 其特征在于, 在基于用户写入任务 的操作获取对应的任务需求数据之前, 还进行如下步骤: 获取数据底座中的元 数据, 其中, 元 数据包括库、 表、 字段等类型; 将元数据进行加工获取对应的目标 元数据; 将目标元数据更新到对应的数据库中; 将目标元数据写入检索引擎。 3.根据权利要求2所述的一种一站式数据开发方法, 其特征在于, 在将元数据进行加工 获取对应的目标 元数据过程中, 进行如下步骤: 基于ETL流程对元数据进行排序处理、 去重处理、 转义处理的操作获取对应的中间元数 据; 获取中间元 数据的属性数据; 依据预先设置的预设属性数据和 属性数据确定缺失属性数据; 依据缺失属性数据对中间元 数据进行属性补充操作获取对应的目标 元数据。 4.根据权利要求2所述的一种一站式数据开发方法, 其特征在于, 在将目标元数据写入 检索引擎过程中, 进行如下步骤; 调取预先设置的定时任务数据; 依据定时任务数据将目标 元数据写入检索引擎。 5.根据权利要求1所述的一种一站式数据开发方法, 其特征在于, 在基于用户写入任务 的操作获取对应的任务需求数据的过程中, 进行如下步骤: 调取预设的脚本任务数据, 其中脚本任务数据包括HiveSQL、 SparkSQL、 Python、 Shell 等多种类型; 基于用户编辑脚本任务数据的操作获取对应的任务需求数据。 6.根据权利要求1所述的一种一站式数据开发方法, 其特征在于, 在获取对应的目标发 布包文件数据过程中, 进行如下步骤: 基于对任务流数据进行参数配置的操作获取对应的中间任务流数据, 其中, 参数包括 频率、 调度时间、 告警策略; 将中间任务 流数据存 储至MongoDB数据库; 获取中间任务流数据对应的任务流测试数据, 并将任务流测试数据存储至MongoDB数 据库, 其中, 中间任务 流数据为任务 流测试数据; 基于任务流测试数据获取对应的目标发布包文件数据, 并将目标发布包文件数据存储 至MongoDB数据库。权 利 要 求 书 1/2 页 2 CN 115309722 A 27.根据权利要求1所述的一种一站式数据开发方法, 其特征在于, 在对发布包文件数据 进行周期调度的过程中, 进行如下步骤: 基于检测到发布包文件数据运行异常, 发送告警数据给到对应的管理人员; 基于管理人员的排查操作发送问题信息给用户, 其中, 问题信息为管理人员排查出那 些部分有问题的相关信息; 基于用户的修复操作获取对应的新任务流数据, 并将新任务流数据存储至MongoDB数 据库; 选取新新任务流数据确定对应的待发布包文件数据, 将待发布包文件数据确定为目标 发布包文件数据。 8.一种一站式数据开发系统, 其特 征在于, 包括: 任务需求获取模块 (1) , 基于用户写入 任务的操作用于获取对应的任务需求数据; 目标任务确定模块 (2) , 将任务需求数据进行加工用于确定对应的目标任务数据; 判断模块 (3) , 用于对目标任务数据进行逻辑判断是否正确; 任务流获取模块 (4) , 若是, 依据多个目标任务数据用于获取对应的任务 流数据; 目标发布包获取模块 (5) , 对任务流数据进行冒烟测试获用于取对应的目标发布包文 件数据; 审核模块 (6) , 基于冒烟测试通过的操作用于对发布包文件数据进行审核; 调度模块 (7) , 基于用户的定时策略用于对发布包文件数据进行周期调度。 9.计算机可读存储介质, 存储有能够被处理器加载并执行如权利要求1至7中任一项所 述方法的计算机程序。 10.智能终端, 包括存储器和处理器, 所述存储器上存储有能够被处理器加载并执行如 权利要求1至7中任一种方法的计算机程序。权 利 要 求 书 2/2 页 3 CN 115309722 A 3

PDF文档 专利 一种一站式数据开发方法、系统

文档预览
中文文档 17 页 50 下载 1000 浏览 0 评论 0 收藏 3.0分
温馨提示:本文档共17页,可预览 3 页,如浏览全部内容或当前文档出现乱码,可开通会员下载原始文档
专利 一种一站式数据开发方法、系统 第 1 页 专利 一种一站式数据开发方法、系统 第 2 页 专利 一种一站式数据开发方法、系统 第 3 页
下载文档到电脑,方便使用
本文档由 SC 于 2024-02-07 12:40:02上传分享
友情链接
站内资源均来自网友分享或网络收集整理,若无意中侵犯到您的权利,敬请联系我们微信(点击查看客服),我们将及时删除相关资源。