(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211062512.1 (22)申请日 2022.09.01 (71)申请人 中国农业银行股份有限公司 地址 100005 北京市东城区建国门内大街 69号 (72)发明人 周畅　 (74)专利代理 机构 北京品源专利代理有限公司 11332 专利代理师 蔡舒野 (51)Int.Cl. G06F 16/23(2019.01) G06F 16/27(2019.01) G06F 16/22(2019.01) (54)发明名称 一种数据获取方法、 装置、 设备以及存储介 质 (57)摘要 本发明公开了一种数据获取方法、 装置、 设 备以及存储介质。 该方法包括： 响应于目标数据 获取请求， 若待获取数据的数据获取方式为非实 时获取方式， 则根据目标数据获取请求， 将目标 数据获取请求对应的目标数据获取任务划分为 至少两个子任务， 并为每个子任务生成对应的备 选数据获取请求； 根据所述备选数据获取请求， 并发控制至少两个工作线 程基于对应HashMap内 锁， 将各子任务对应的备选数据获取请求发送至 对应的ES集群， 获取至少两个备选数据； 根据所 述至少两个备选数据， 确定目标获取数据。 本发 明提供的方案， 可 以根据数据的获取方式， 确定 对应的数据获取策略， 同时利用多线程并发， 实 现目标数据的快速有效获取。 权利要求书2页 说明书11页 附图5页 CN 115438056 A 2022.12.06 CN 115438056 A 1.一种数据获取 方法， 其特 征在于， 包括： 响应于目标数据获取请求， 若待获取数据的数据获取方式为非实时获取方式， 则根据 目标数据获取请求， 将目标数据获取请求对应的目标数据获取任务划分为至少两个子任 务， 并为每 个子任务 生成对应的备选数据获取请求； 根据所述备选数据获取请求， 并发控制至少两个工作线程基于对应的HashMap内锁， 将 各子任务对应的备选数据获取请求发送至对应的ES集群， 获取至少两个备选数据； 根据所述至少两个备选数据， 确定目标获取 数据。 2.根据权利要求1所述的方法， 其特征在于， 响应于目标数据获取请求， 若待获取数据 的数据获取方式为非实时获取方式， 则根据目标数据获取请求， 将目标数据获取请求对应 的目标数据获取任务划分为至少两个子任务， 并为每个子任务生成对应的备选数据获取请 求， 包括： 响应于目标数据获取请求， 确定待获取数据的数据获取方式； 所述数据获取方式包括： 非实时获取 方式和实时获取 方式； 若待获取数据的数据获取方式为非实时获取方式， 则根据目标数据获取请求， 确定目 标数据获取任务和至少两个指标； 根据所述指标的数量， 将所述目标数据获取任务划分为至少两个子任务， 并为每个子 任务生成对应的备选数据获取请求。 3.根据权利要求2所述的方法， 其特征在于， 其中， 指标包括如下至少一项： 数据接入方 式、 索引日志发送分区网段以及 索引所属系统。 4.根据权利要求1所述的方法， 其特征在于， 根据所述备选数据获取请求， 并发控制至 少两个工作线程基于对应的HashMap内锁， 将各子任务对应的备选数据获取请求发送至对 应的ES集群， 获取至少两个备选数据， 包括： 根据所述备选数据获取请求， 确定各子任务对应的ES集群编号和Hash Map内锁编号； 根据所述子任务的数量， 确定需要调用的工作线程数量； 根据所述ES集群编号和所述HashMap内锁编号， 并发控制至少两个工作线程基于对应 的HashMap内锁， 将各子任务对应的备选数据获取请求发送至对应的ES集群， 获取备选数 据。 5.根据权利要求1所述的方法， 其特 征在于， 还 包括： 响应于目标数据获取请求， 若待获取数据的数据获取方式为实时获取， 则确定待获取 数据关联的至少两个数据源； 针对每个数据源， 确定 至少两个工作线程； 控制至少两个工作线程并发执行聚合、 查询或选择操作， 并获取各工作线程反馈的至 少两个备选数据； 根据所述至少两个备选数据， 确定目标获取 数据。 6.根据权利要求5所述的方法， 其特征在于， 控制至少两个工作线程并发执行聚合、 查 询或选择操作， 并获取 各工作线程反馈的至少两个备选数据， 包括： 利用CountDownLatch计数器， 在检测到至少两个工作线程并发执行聚合、 查询或选择 操作完毕的情况 下， 获取各工作线程反馈的至少两个备选数据。 7.根据权利要求1所述的方法， 其特征在于， 根据所述至少两个备选数据， 确定目标获权　利　要　求　书 1/2 页 2 CN 115438056 A 2取数据， 包括： 对所述至少两个备选数据执行处理操作， 生成目标获取数据； 所述处理操作包括合并 和/或筛选操作。 8.一种数据获取装置， 其特 征在于， 包括： 生成模块， 用于响应于目标数据获取请求， 若待获取数据的数据获取方式为非实时获 取方式， 则根据目标数据获取请求， 将目标数据获取请求对应的目标数据获取任务划分为 至少两个子任务， 并为每 个子任务 生成对应的备选数据获取请求； 第一获取模块， 用于根据所述备选数据获取请求， 并发控制至少两个工作线程基于对 应的HashMap内锁， 将各子任务对应的备选数据获取请求 发送至对应的ES集群， 获取至少两 个备选数据； 第一数据确定模块， 用于根据所述至少两个备选数据， 确定目标获取 数据。 9.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑7中任一项所述的 数据获取 方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机指 令， 所述计算机指令用于使处 理器执行时实现权利要求1 ‑7中任一项所述的数据获取 方法。权　利　要　求　书 2/2 页 3 CN 115438056 A 3