一种数据操作的处理方法和系统与流程

1.本发明属于信息
技术领域：
：，具体涉及一种数据操作的处理方法和系统。
背景技术：
：：2.目前软件系统或平台和互联网系统或平台的数据库存取功能和操作功能的开发都需要对不同厂家的数据库操作都做相应的配置、驱动的引入以及脚本的编写，特别是关系型数据库和非关系数据库的写法截然不同。对于关系型数据库来说，如果数据量大的话，要么查询速度直线下降，要么需要有专业的数据库设计人员和脚本编写人员来进行优化，专业人员优化完数据库后将无后继工作，对企业来说无疑是成本的浪费；对于非关系型数据库来说，对开发人员要求会更高，不但要了解非关系型数据库原理，而且对服务器性能平衡、磁盘分布设计、网络结构设计等一系统分布式协同工作的知识比较全面，当平台搭建完成后，非关系型数据库开发人员将无用武之地，同样对企业来说是成本的浪费，无法统一对关系型数据库和非关系型数据库的统一标准使用。3.对数据库存取功能和操作功能的开发需要需求人员将需求资料及业务模型传达给数据库设计和开发人员，开发人员开发相应功能过程中需要不停的与需求人员做需求资料及业务模型与数据库模型的设计满足度进行多次交流，对复杂业务的模型设计和开发也要求开发人员的逻辑思维需要比较清晰，对数据库比较大的数据库设计和开发则需要工作经验很丰富的人员参考；对于业务上的调整，未能或很难及时发现数据库的调整的影响层面，严重的情况下可能影响重要业务功能的正常使用。4.不同数据库的应用领域不同，如果系统或平台的开发初期一般采用一种关系型或一种关系型和一种非关系型数据库并存，当业务发展过程中数据库未能满足要求时，无法对数据库进行转型或转换厂家或者高成本的数据库转换处理，要么周期很长，要么问题非常多，给企业带来很多不必要的稳定性和可用性的麻烦。5.目前业界有很多数据库操作组件，但是都是基于某一个厂家独特的配置，无法实现同一数据同时在不同数据库厂家存取的功能，或者需要程序中手工拆分数据并分别执行相对于的数据库厂家的操作引擎进行数据存取；在数据库厂家更换时需要借助第三方工具进行数据的转换，无法系统内进行自动化的转换，对第三方工具的使用也需要一定的专业人员和时间成本，且无法保证数据转换的正确性，需要重复的进行数据验证才能顺利转换完成；在数据库操作出现性能问题的时候，需要数据库开发人员借助数据库脚本执行计划的功能在特定环境下进行人工分析才能分析出性能问题，由于没有自动化性能提示能力，即使分析性能问题点时，也不一定有性能优化方案。技术实现要素：6.鉴于现有技术中存在的问题，本发明的目的在于提供一种数据操作的处理方法和系统；解决了软件系统或平台和互联网系统或平台的数据库存取功能不佳，以及操作功能的开发存在自动化和分析性能不足的问题。7.本发明的目的是采用下述技术方案实现的：8.第一方面，本发明提供了一种数据操作的处理方法，包括以下步骤：9.获取用户的数据库配置信息并创建数据库配置方案；10.获取用户的数据存取配置信息并创建数据存取配置方案；11.获取用户的数据操作请求，并对所述数据操作请求中的数据信息进行拆分；12.基于已创建的数据存取配置方案和数据库配置方案，对拆分后的数据分别进行安全检测；13.判断通过安全检测的数据的操作类型，并重新组装数据信息并生成数据存取单元；14.当通过安全检测的数据的操作类型为第一操作模式时，通过第一处理方式对生成的数据存取单元进行并行计算并得到结果数据；当通过安全检测的数据的操作类型为第二操作模式时，通过第二处理方式对生成的数据存取单元进行并行计算并得到结果数据。15.优选的，所述数据库配置信息包括数据库链接清单、数据库实例策略清单和数据库配置清单；16.获取用户的数据库配置清单并创建数据库配置方案，包括步骤：17.获取用户的数据库链接清单并创建数据库链接信息；18.获取用户的数据库实例策略清单并创建数据库实例生成策略；19.获取用户的数据库配置清单、并根据已创建的数据库链接信息和数据库实例生成策略，创建出数据库配置方案。20.进一步地，所述数据库链接清单包括数据库名称、数据库类型、数据库地址、数据库实例信息、登录账号及密码、数据库配置参数、使用期限、是否有效及表空间等信息。21.进一步地，所述数据库实例策略清单包括：策略名称、策略生成类型、区域维度、数字维度以及有规则的其他维度和分库的生效时间。22.进一步地，所述数据库配置清单包括：数据库配置方案名称、数据库厂家类型、数据库实例默认前缀名称、数据库链接名称、数据库实例生成策略信息。23.优选的，所述数据存取配置信息包括数据分区策略清单和数据存取配置方案清单；24.获取用户的数据存取配置信息并创建数据存取配置方案包括：25.获取用户的数据分区策略清单，创建数据分区策略；26.获取用户的数据存取配置方案清单、并根据已创建的数据分区策略和数据库配置方案，创建数据存取配置方案。27.进一步地，所述数据存取配置信息还包括数据业务逻辑关系配置方案清单；28.获取用户的数据存取配置信息并创建数据存取配置方案还包括步骤：获取用户的数据业务逻辑关系配置方案清单、并根据已创建的数据存取配置方案，创建出数据业务逻辑关系配置方案。29.优选的，拆分后的数据包括数据表元数据、数据表字段元数据和数据库链接信息；30.对拆分后的数据分别进行安全检测，包括步骤：31.将拆分后的所述数据表元数据和数据表字段元数据与已创建的数据存取配置方案中对应的数据进行匹配，若相互匹配则安全检测通过，若不匹配，则安全检测不通过；32.将拆分后的所述数据库链接信息与已创建的数据库配置方案中对应的数据库链接信息进行匹配，若相互匹配则安全检测通过，若不匹配，则安全检测不通过。33.优选的，所述重新组装数据信息并生成数据存取单元包括步骤：34.分析所述数据操作请求中的数据信息所在的数据存取配置方案，并获取所述数据操作请求中的数据信息对应的数据分区信息；35.组装所述数据操作请求中的数据信息对应的数据分区信息；36.识别所述数据操作请求中的数据信息所在的数据库配置方案，并获取所述数据操作请求中的数据信息对应的数据库链接信息；37.组装所述数据操作请求中的数据信息对应的数据库链接信息；38.基于所述数据操作请求中的数据信息对应的数据分区信息和数据库链接信息，生成数据存取单元。39.优选的，当通过安全检测的数据的操作类型为第一操作模式时，通过第一处理方式对生成的数据存取单元进行并行计算并得到结果数据，包括步骤：40.对生成的数据存取单元进行数据分区处理，得到第一数据组；41.判断所述第一数据组是否是多链接或者分区；42.若所述第一数据组是多链接或者是分区，则判断所述第一数据组是否支持事务，若所述第一数据组不是多链接或者不是分区，则直接进行并行计算和数据分布式更新；43.若所述第一数据组支持事务，则开启自动化分区分布式事务，并进行并行计算和数据分布式更新，若否直接创建分库分表分区子单元任务、并进行并行计算和数据分布式更新。44.进一步地，所述第一操作模式为更新模式，所述更新模式包括增加、修改或者删除操作。45.优选的，当通过安全检测的数据的操作类型为第二操作模式时，通过第二处理方式对生成的数据存取单元进行并行计算并得到结果数据，包括步骤：46.获取生成的多个所述数据存取单元中的数据信息；47.对多个所述数据存取单元中的数据信息进行并行处理；48.汇总对多个所述数据存取单元中的数据信息进行并行处理后的数据处理结果；49.对所述数据处理结果进行清洗并得到结果数据。50.一种数据操作的处理系统，所述处理系统包括：51.第一配置模块，用于创建数据库配置方案；52.第二配置模块，用于创建数据存取配置方案；53.数据拆分模块，用于获取用户的数据操作请求并对所述数据操作请求中的数据信息进行拆分；54.安全检测模块，用于基于已创建的数据存取配置方案和数据库配置方案对拆分后的数据分别进行安全检测；55.操作类型判断模块，判断通过安全检测的数据的操作类型；56.数据存取信息生成器，用于重新组装数据信息并生成数据存取单元：57.异源异构数据第一执行器，当通过安全检测的数据的操作类型为第一操作模式时，用于通过第一处理方式对生成的数据存取单元进行并行计算并得到结果数据；58.异源异构数据第二执行器，当通过安全检测的数据的操作类型为第二操作模式时，通过第二处理方式对生成的数据存取单元进行并行计算并得到结果数据。59.优选的，所述异源异构数据第一执行器包括：60.数据分区处理单元，用于对生成的数据存取单元进行数据分区处理、并得到第一数据组；61.分区分布式事务单元，用于开启自动化分区分布式事务；62.分库分表分区子单元，用于创建分库分表分区子单元任务；63.数据分布式更新单元，用于进行数据分布式更新。64.优选的，所述异源异构数据第二执行器包括：65.数据获取单元，用于获取生成的多个所述数据存取单元中的数据信息；66.数据管道处理单元，用于对多个所述数据存取单元中的数据信息进行并行处理；67.数据管道汇集单元，用于汇总对多个所述数据存取单元中的数据信息进行并行处理后的数据处理结果；68.数据清洗单元，用于对所述数据处理结果进行清洗并得到结果数据。69.本发明达到的有益效果是：70.本发明提供了一种数据操作的处理方法和系统，是一种基于云平台或系统涉及多任务的软件开发自动选择一种或多种不同厂家数据库，可同时存取并具备智能性能优化提示的方法或系统的软件技术，让系统开发只关注数据存储逻辑，无需关心数据存储的选型和系统在使用过程中由于政策性或者战略性问题需要更换数据库厂家而带来的成本增加、时效性以及兼容性等问题，当需要更换数据库厂家时本发明具备数据自动化迁移能力，系统开发人员无需担心数据更换带来的数据丢失或者不一致的问题，这些都交由此发明进行自动处理；本发明还提供了智能性能优化提示功能，能解决由于数据存储文件规划不合理或者数据库操作不合理导致数据存取性能不佳的问题，本发明在发现性能问题时会自动提示系统开发人员进行优化改进的建议，同时当开启自动化优化选项时还具备人工智能自动化性能优化处理功能。附图说明71.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。72.图1是本发明实施例提供的一种数据操作的处理方法流程图。具体实施方式73.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。74.需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。75.如图1所示，本发明具体实施方式本发明提供了一种数据操作的处理方法，包括以下步骤：76.s1获取用户的数据库配置信息并创建数据库配置方案；77.s2获取用户的数据存取配置信息并创建数据存取配置方案；78.s3获取用户的数据操作请求，并对所述数据操作请求中的数据信息进行拆分；79.s4基于已创建的数据存取配置方案和数据库配置方案，对拆分后的数据分别进行安全检测；80.s5判断通过安全检测的数据的操作类型，并重新组装数据信息并生成数据存取单元；81.s6当通过安全检测的数据的操作类型为第一操作模式时，通过第一处理方式对生成的数据存取单元进行并行计算并得到结果数据；当通过安全检测的数据的操作类型为第二操作模式时，通过第二处理方式对生成的数据存取单元进行并行计算并得到结果数据。82.经过上述步骤，可以实现数据库配置和数据操作自动化进行，使得开发人员只关注数据存储逻辑，无需关心数据存储的选型和系统，从而加快了总体的开发速度。也避免了专业人员来进行数据库配置，而配置完成后专业人员将无事可做的情况。83.在一实施例中，所述数据库配置信息包括数据库链接清单、数据库实例策略清单和数据库配置清单；84.获取用户的数据库配置清单并创建数据库配置方案，包括步骤：85.获取用户的数据库链接清单并创建数据库链接信息；86.获取用户的数据库实例策略清单并创建数据库实例生成策略；87.获取用户的数据库配置清单、并根据已创建的数据库链接信息和数据库实例生成策略，创建出数据库配置方案。88.在上述步骤中，所述数据库链接清单包括数据库名称、数据库类型、数据库地址、数据库实例信息、登录账号及密码、数据库配置参数、使用期限、是否有效及表空间等信息。所述数据库实例策略清单包括策略名称、策略生成类型(如日期维度(按年、按月、按日等)、区域维度(国别、地区、行政编码等)、数字维度(长整型分段n范围、range区域等)以及有规则的其他维度)和分库的生效时间(如从2020年开始进行数据分库等)。所述数据库配置清单包括数据库配置方案名称、数据库厂家类型、数据库实例默认前缀名称、数据库链接名称、数据库实例生成策略等信息。89.其中，数据库类型包括关系型数据库(例如：mysql、mssql、oracle、达蒙、华为gaussdb等)和非关系型数据库(例如：redis、h2、sqlite、bigtable、hbase、mongodb、hdfs、hadoop、spark等)。90.数据库方案配置信息是数据存取的基本通道信息。可以同时配置多种数据库链接信息，则为异源及异构数据源提供数据存取通道；每种数据库配置多个数据链接时，则是为分布式数据存取能力提供必要的分布式数据库链接信息，是异源异构分布式同时存取的基础支撑。91.通过上述步骤，收集数据操作所需要的数据库配置信息，以便于后续数据操作可以直接使用数据库配置信息。92.在一实施例中，所述数据存取配置信息包括数据分区策略清单和数据存取配置方案清单；93.获取用户的数据存取配置信息并创建数据存取配置方案包括步骤：94.获取用户的数据分区策略清单，创建数据分区策略；95.获取用户的数据存取配置方案清单、并根据已创建的数据分区策略和数据库配置方案，创建数据存取配置方案。96.其中，所述数据存取配置信息还包括数据业务逻辑关系配置方案清单；97.获取用户的数据存取配置信息并创建数据存取配置方案还包括步骤：获取用户的数据业务逻辑关系配置方案清单、并根据已创建的数据存取配置方案，创建出数据业务逻辑关系配置方案。98.在一实施例中，拆分后的数据包括数据表元数据、数据表字段元数据和数据库链接信息；99.对拆分后的数据分别进行安全检测，包括步骤：100.将拆分后的所述数据表元数据和数据表字段元数据与已创建的数据存取配置方案中对应的数据进行匹配，若相互匹配则安全检测通过，若不匹配，则安全检测不通过；101.将拆分后的所述数据库链接信息与已创建的数据库配置方案中对应的数据库链接信息进行匹配，若相互匹配则安全检测通过，若不匹配，则安全检测不通过。102.其中，数据表元数据包括数据表的英文名称、中文名称以及别名；数据表字段元数据包括数据表字段的英文名称、中文名称、数据表的字段类型，以及检索条件英文名称和中文名称等。103.通过上述步骤，可以检测出用户的数据操作请求是否已预先配置在已创建的数据存取配置方案中，为后续数据操作提供安全保障。104.数据存储方案配置信息是数据存取的基本数据分区信息，提高单数据信息的存储容量并提高数据信息的存取性能的基础，为性能智能化提示提供分析支撑。结合数据库方案配置信息可以实现数据容灾、数据自动化迁移等功能。同时设置表内分区及数据分库，则能实现海量数据的准实时存取。105.在一实施例中，所述重新组装数据信息并生成数据存取单元包括步骤：106.分析所述数据操作请求中的数据信息所在的数据存取配置方案，并获取所述数据操作请求中的数据信息对应的数据分区信息；107.组装所述数据操作请求中的数据信息对应的数据分区信息；108.识别所述数据操作请求中的数据信息所在的数据库配置方案，并获取所述数据操作请求中的数据信息对应的数据库链接信息；109.组装所述数据操作请求中的数据信息对应的数据库链接信息；110.基于所述数据操作请求中的数据信息对应的数据分区信息和数据库链接信息，生成数据存取单元。111.在一实施例中，当通过安全检测的数据的操作类型为第一操作模式时，通过第一处理方式对生成的数据存取单元进行并行计算并得到结果数据，包括步骤：112.对生成的数据存取单元进行数据分区处理，得到第一数据组；113.判断所述第一数据组是否是多链接或者分区；114.若所述第一数据组是多链接或者是分区，则判断所述第一数据组是否支持事务，若所述第一数据组不是多链接或者不是分区，则直接进行并行计算和数据分布式更新；115.若所述第一数据组支持事务，则开启自动化分区分布式事务、并进行并行计算和数据分布式更新，若否直接创建分库分表分区子单元任务，并进行并行计算和数据分布式更新。116.其中，所述第一操作模式为更新模式，所述更新模式包括增加、修改或者删除操作。117.进一步的，当通过安全检测的数据的操作类型为第二操作模式时，通过第二处理方式对生成的数据存取单元进行并行计算并得到结果数据，包括步骤：118.获取生成的多个所述数据存取单元中的数据信息；119.对多个所述数据存取单元中的数据信息进行并行处理；120.汇总对多个所述数据存取单元中的数据信息进行并行处理后的数据处理结果；121.对所述数据处理结果进行清洗并得到结果数据。122.其中，第二操作模式为查询模式。123.通过上述步骤，实现了基于用户的操作请求进行数据操作，使得数据操作自动化进行，提高了数据操作的效率。124.进一步的，所述数据操作的处理方法还包括步骤：125.将得到的结果数据返回给用户、编写并存储操作日志；126.基于编写的操作日志，进行智能优化分析。127.通过编写操作日志，方便及时发现数据操作过程中出现的错误，进而及时修改错误。还可以基于操作日志及时发现数据库存储过程中的可优化项目，进行智能优化分析。128.本实施例还提供了一种数据操作的处理系统，所述处理系统包括：129.第一配置模块，用于创建数据库配置方案；130.第二配置模块，用于创建数据存取配置方案；131.数据拆分模块，用于获取用户的数据操作请求并对所述数据操作请求中的数据信息进行拆分；132.安全检测模块，用于基于已创建的数据存取配置方案和数据库配置方案对拆分后的数据分别进行安全检测；133.操作类型判断模块，判断通过安全检测的数据的操作类型；134.数据存取信息生成器，用于重新组装数据信息并生成数据存取单元：135.异源异构数据第一执行器，当通过安全检测的数据的操作类型为第一操作模式时，用于通过第一处理方式对生成的数据存取单元进行并行计算并得到结果数据；136.异源异构数据第二执行器，当通过安全检测的数据的操作类型为第二操作模式时，通过第二处理方式对生成的数据存取单元进行并行计算并得到结果数据。137.进一步的，所述处理系统还包括智能优化分析模块，用于对系统进行智能优化分析。138.在一实施例中，所述异源异构数据第一执行器包括：139.数据分区处理单元，用于对生成的数据存取单元进行数据分区处理、并得到第一数据组；140.分区分布式事务单元，用于开启自动化分区分布式事务；141.分库分表分区子单元，用于创建分库分表分区子单元任务；142.数据分布式更新单元，用于进行数据分布式更新。143.进一步的，所述异源异构数据第二执行器包括：144.数据获取单元，用于获取生成的多个所述数据存取单元中的数据信息；145.数据管道处理单元，用于对多个所述数据存取单元中的数据信息进行并行处理；146.数据管道汇集单元，用于汇总对多个所述数据存取单元中的数据信息进行并行处理后的数据处理结果；147.数据清洗单元，用于对所述数据处理结果进行清洗并得到结果数据。148.下面将结合优选实施例详细说明。149.在一实施例中，数据操作的处理方法包括如下步骤：150.数据库方案配置信息及数据存储方案配置信息；151.异构异源数据更新或者数据获取；152.异构异源数据更新或者数据获取结果处理；153.编写操作结果信息；154.智能分析及智能性能优化提示；155.智能化性能优化/优化提示(需根据优化提示对数据库进行人工优化操作)。156.在一实施例中，接收用户提交的数据库配置方案具体包括接收数据库方案配置信息和接收数据存储方案配置信息。157.数据存储方案配置信息，是数据存取的基本数据分区信息，提高单数据信息的存储容量并提高数据信息的存取性能的基础，为性能智能化提示提供分析支撑。结合数据库方案配置信息可以实现数据容灾、数据自动化迁移等功能。同时设置表内分区及数据分库，则能实现海量数据的准实时存取。158.接收数据存储配置信息包括如下步骤：159.第一步：用户管理数据分区策略信息：填写策略名称，选择数据表策略类型，包括按时间类型(按年、月、日等维度创建实例)、按业务属性创建实例(如地区编码或者设备类型等)或其他可以切割数据的方式创建实例，输入相关策略的数值，使用期间，是否有效。为第二步做数据存储方案配置提供分区策略。160.第二步：用户管理数据存储方案配置信息：编辑数据存储配置方案的基本信息，包括方案名称、数据表元数据信息、数据表字段元数据信息、配置表常用检索字段、选择数据分区策略信息、选择数据库配置方案以及是否智能化自动分区等信息。数据存储方案配置接口在保存时保存方案基本信息、方案id与数据分区策略信息的关系、方案id与数据库配置方案id的关系等。161.第三步：配置数据业务逻辑信息：选择数据表元数据信息(关联表或被关联表)，选择存储配置方案，配置元数据关联关系(关联条件或被关联条件)，配置元数据过滤信息，。保存时保存表元数据信息与业务处理标识号(bizcode)的关系、保存数据表元数据信息对应的数据存储配置方案id与业务处理标识号的关系，保存业务逻辑信息的展示信息与业务处理标识号的关系，保存数据表元数据信息与其他数据表元数据信息之间的关联关系，保存数据表元数据信息过滤条件之前的关联关系。162.在一实施例中，数据存取通用处理，是异构异源数据同时存取的核心模块，结合数据存取配置方案的配置信息、数据库配置方案信息，对用户的数据操作请求进行分析和拆解，负责异构异源分区数据的操作以及合法性检测，在数据发生修改和删除时，自动识别数据库的非只读属性，对于不可修改和删除的数据库类型则发生不可操作指令，并提示用户采用合理的数据库厂家类型，操作完成后写入操作日志，以供给智能提示的人工智能分析和优化工作。163.第一步：当用户提交数据存取申请时，首先将提交的数据存取申请进行分析，拆分出相关的数据表元数据以及数据表字段元数据以及相对应的数据库链接信息，再从数据存取配置方案中获取元数据，检测提交的元数据是否已经配置并被注册(其中数据表元数据包括数据表的英文名称、中文名称以及别名；数据表字段元数据包括数据表字段的英文名称、中文名称、数据表的字段类型，以及检索条件英文名称和中文名称等)，如果检测通过则从数据库配置方案中检测数据库链接对应的数据库信息是否支持相关操作存取操作；数据库信息也同时检测通过后，将识别数据是操作类型(数据存储或者数据读取)；为第二步提供安全保障；164.第二步：数据通用处理模块，当opt_type＝data_read时，即当数据操作类型为读取模式时，分析数据存储方案，组装数据分区信息(list《datapartitioninfo》)，识别数据库配置方案，组装数据库链接信息(list《databaselinkinfo》)，生成数据存取单元，组装并行处理的数据结构(paralleldatamodel)，创建分库分表分区任务管理器(paralleldatataskmanager)，组装数据获取任务管道集(datalinkedlisttaskqueue)，开启数据并行任务。165.根据数据库链接到相应的数据库中获取相关业务数据集合，并行任务结束后逐级汇集各级数据集合，按照检索条件进行数据汇集过滤，最后组装结果数据(resultmodel)、写入操作日志(optlogger)并返回结果数据给用户；当opt_type＝data_insert/data_update/data_delete时，即当数据操作类型为更新模式时，分析数据存储方案，组装数据分区信息(list《datapartitioninfo》)，识别数据库配置方案，组装数据库链接信息(list《databaselinkinfo》)，生成数据存取单元，数据分区处理，开启自动化分区分布式事务，创建分库分表分区子单元任务(list《parallelatomicdatatask》)，数据分布式更新，分布式事务完成保证，最后将数据更新结果(resultmodel)反馈给用户并写入操作日志(optlogger)，写入的日志提供给智能优化提示做智能分析的数据依据；166.其中，分析数据存储方案的实现方案为：用户提交数据存取申请到服务端时服务器根据业务处理标识号(bizcode)获取配置数据业务逻辑信息，由于第2点的第三步中配置数据业务逻辑信息配置了数据存储方案的信息，故将配置数据业务逻辑信息中的所有数据存储方案形成了数据存储方案集合map《string,datastoreconfiginfo》，并保存在分库分表分区任务管理器(paralleldatataskmanager)中的并行处理的数据结构，以便后续使用到数据存储方案信息时可以取得；由于组装数据分区信息是数据存储方案配置信息中的分区策略名称对应了关系、数据库配置方案是数据存储方案配置信息中的数据库方案对应了关系、数据库链接信息是数据存储方案配置信息的数据源名称对应了关系；由于组装数据分区信息会根据策略产生一份或多份数据分区信息，联合数据库链接信息，共同产生了最小的数据存取单元，每一个数据业务逻辑信息配置信息将产生至少一个数据存取单元，每一个数据存取单元为一个最小粒度的数据存取的操作(除了微小型软件系统中的简单的数据表元数据信息外，大部分的软件系统中都涉及多个数据存取单元)；167.分库分表分区任务管理器(paralleldatataskmanager)是一种或多种不同厂家数据库可同时存取并具备智能性能优化提示技术的一个执行单元，每一个同时存取的功能都会产生一个分库分表分区任务管理器(paralleldatataskmanager)，由分库分表分区任务管理器(paralleldatataskmanager)统一高内聚数据信息和处理功能，不同的存取执行单元相互之间完全隔离，保证相互之前数据不会相互干扰，分库分表分区任务管理器(paralleldatataskmanager)包括了提供同时存取所涉及的并行处理的数据结构(paralleldatamodel)、同时存取处理的各个处理环节分工执行模块的数据获取任务管道集、每个数据获取任务管道集处理的最终结果数据的汇总模块(数据管道数据级联汇集)，以及最终结果数据的条件数据清洗模块；168.并行处理的数据结构(paralleldatamodel)是分库分表分区任务管理器(paralleldatataskmanager)中所有需要用到的数据信息，包括了第1点和第2点中所提及的所有的数据信息，包含业务处理标识号(bizcode)、操作类型(i数据增加；u数据修改；d数据删除；g数据查询)和数据业务逻辑信息(bizconfiginfomodel)，而数据业务逻辑信息(bizconfiginfomodel)又包含了每个数据存储单元所需要的相关信息：数据表元数据信息map《string,metatableinfo》metatableinfomap、数据库配置信息map《string,databaseconfiginfo》databaseconfiginmap、数据表元数据与数据库配置信息的映射关系map《string,string》metatableid2databaseidmap|metatablename2databasenamemap、数据表字段元数据信息map《string,metatablecolmninfo》metatablecolumninfomap、数据表字段元数据与数据表元数据的对应关系map《string,string》metatablecolumnid2tableidmap|metatablecolumnname2tablenamemap、检索条件信息map《string,metatablequeryconditioninfo》metatablequeryconditioninfomap、检索条件与数据表元数据的关系map《string,string》metatablequeryconditionid2tableidmap|metatablequeryconditionname2tablenamemap以及数据表元数据对应的数据表字段元数据的显示字段信息map《string,list《string》metatableid2tablecolumnidmap|metatablename2tablecolumnnamemap；169.数据获取任务管道集是数据获取任务管道的集合，每个数据获取任务管道负责对一个数据存取单元进行高度封装，包括数据存取单元的配置信息的获得、数据存取单元的数据分段加载、分段清洗和转换、分段进行数据结果的处理，每个分段数据可以根据数据库的类型特性已经运行机器的内存容量自动调整(一般每段数据量在200～500个数据行)，保证数据最高效的处理；不同的数据存取单元形成的数据获取任务管道的并行处理形成了数据获取任务管道集。170.数据管道数据级联汇集是对数据获取任务管道集的数据处理结果进行数据级联汇集，数据级联汇集规则和级联汇集层次由数据存储方案配置信息中的第三步的数据业务逻辑信息配置信息决定。171.条件数据清洗是对数据管道数据级联汇集过程和结果进行数据过滤的过程，条件数据清洗规则由数据存储方案配置信息中的第三步的数据业务逻辑信息配置信息中的关联条件和元数据过滤信息决定过滤的数据。172.数据分区处理是将要更新的数据按照数据存储方案配置信息中的第三步的数据业务逻辑信息配置信息中同时联动增删改的数据表拆分成数据存取单元集合(数据存取单元即创建分库分表分区子单元任务(list《parallelatomicdatatask》)并执行保存数据操作。当开启自动化分区分布式事务时在数据全部保存成功前，所有数据的保存都标识成为预处理状态，当所有数据保存成功后，将数据的保存标识全部修改为保存成功状态，此时所有的数据存取单元集合将同时向数据存取单元对应的数据库信息发起并行数据更新(即数据分布式更新)；当为开启自动化分区分布式事务时，数据在保存时保存标识直接为保存成功状态。173.下面将介绍一个优选的实施例。174.步骤s102，用户提交数据存取申请到服务端；175.步骤s1021，用户获取请求认证码，通过userauth接口将用户authcode提交到后台请求通信令牌token；176.步骤s1022，用户通过数据交换接口dte(dataexchange)将用户数据、通信令牌token、业务处理标识号(bizcode)和操作类型(i数据增加；u数据修改；d数据删除；g数据查询)传输到后台；177.步骤s1023，执行parseuserdata拆分用户提交数据的数据信息，产生数据表元数据信息map《string,metatableinfo》metatableinfomap、数据库配置信息map《string,databaseconfiginfo》databaseconfiginmap、数据表元数据与数据库配置信息的映射关系map《string,string》metatableid2databaseidmap|metatablename2databasenamemap、数据表字段元数据信息map《string,metatablecolmninfo》metatablecolumninfomap、数据表字段元数据与数据表元数据的对应关系map《string,string》metatablecolumnid2tableidmap|metatablecolumnname2tablenamemap、检索条件信息map《string,metatablequeryconditioninfo》metatablequeryconditioninfomap、检索条件与数据表元数据的关系map《string,string》metatablequeryconditionid2tableidmap|metatablequeryconditionname2tablenamemap以及数据表元数据对应的数据表字段元数据的显示字段信息map《string,list《string》metatableid2tablecolumnidmap|metatablename2tablecolumnnamemap；178.步骤s104，检测用户数据的合法性；179.步骤s1041，对步骤s102的用户数据拆分结果通过接口getmetadata获取数据存储配置方案，校验用户数据的请求内容是否都在数据存储配置方案中，如果不在数据存储配置方案中则返回resultmodel，并赋值resultmodel.code＝-0001，赋值resultmodel.message＝“数据未授权”；如果用户数据请求内容检验通过则进入步骤s106步骤；180.步骤s106，判断操作类型；181.步骤s1061，如果操作类型为g,如果是简单查询则跳转到方法dataexchangeforget执行步骤s108步查询操作；如果是复杂查询则跳转到方法dataexchangeforpost执行步骤s118步查询操作；182.步骤s1062，如果操作类型为u，则跳转到方法dataexchangeforpost执行步骤s118步更新操作；183.步骤s1063，如果操作类型为d,，则跳转到方法dataexchangeforpost执行步骤s118步删除操作；184.步骤s1064，如果操作类型为i，则跳转到方法dataexchangeforpost执行步骤s118步新增操作；185.步骤s108，执行数据查询操作；186.步骤s1081，从步骤s102，中通信令牌token、业务处理标识号bizcode；187.步骤s1082，解析步骤s102，中拆分后的用户数据；188.步骤s110,组装数据获取分区分表分库信息；189.步骤s1101，通过parsedatapartitioninfo获取用户数据对应的数据表元数据的分区信息map《string,list《datapartitioninfo》》metatablepartioninfomap和数据表名称及数据库链接名称的映射关系map《string,string》metatablename2dbnamemap；190.步骤s1102，通过parsedatabaselinkinfo获取用户数据对应的数据表元数据的数据库配置信息map《string,list《databaselinkinfo》》dbname2databaselinkinfomap。191.步骤s112，创建数据分区并行任务管理器；192.步骤s1121，判断是否为数据新增或数据删除，如果不是跳转到下一步，通过createdatapartitioninfo接口对步骤s1063和步骤s1064的结果数据创建数据分区分表分库信息map《string,datapartitioninfo》partitionid2datapartitioninfomap。193.步骤s1122，实例化paralleldatataskmanager并行任务管理器，将数据分区分表分库信息partitionid2datapartitioninfomap传入并行任务管理器，实例化并行任务数据结构。194.步骤s114，创建数据表分库管理器；195.通过步骤s110的metatablepartioninfomap、metatablename2dbnamemap和dbname2databaselinkinfomap创建数据表分库任务管道集queur《datalinkedlisttaskqueue》和数据分级数据结构map《string,list《list《map《string,object》》》tablename2part2datalistmap。196.步骤s116,执行数据获取操作；197.步骤s1161，执行并行任务管理器paralleldatataskmanager.start()，开始并行执行分库分表分区任务paralleldatataskitem，paralleldatataskitem对分区数据表对应的数据库厂家信息进行数据库厂家驱动的自封装(数据库厂家驱动包括mysql、mssql、oracle、达蒙、华为gaussdb、redis、h2、sqlite、bigtable、hbase、mongodb、hdfs、hadoop、spark等)，每个paralleldatataskitem在thread中执行，将paralleldatataskitem执行完成的数据存放于数据分级数据结构tablename2part2datalistmap。198.步骤s1162，根据数据清洗条件对数据分级数据结构tablename2part2datalistmap进行清洗，清洗完成后的数据存放到list《map《string,string》》retdatalist中。199.步骤s1163，将执行结果并入执行预先建立的结果模型resultmodel，如果执行成功则将resultmodel.data＝retdatalist；如果执行不成功则resultmodel.code＝0005，赋值resultmodel.message＝“数据获取失败”。200.步骤s1164，通过optlogger写入数据操作日志，日志信息包括：logid、开始时间、结束时间、执行数据库链接信息、执行数据库的分区信息、执行单元id等。201.步骤s1165，返回查询结果；202.步骤s118，校验数据更新操作的合规性；203.步骤s1181，从步骤s102中通信令牌token、业务处理标识号bizcode；204.步骤s1182，解析步骤s102中拆分后的用户数据；205.步骤s1183，执行步骤s110组装数据获取分区分表分库信息；206.步骤s1184，根据数据库厂家类型，通过isdatabaseallow方法识别数据更新操作是否被允许。207.步骤s120，数据更新数据结构组装；208.步骤s1201，执行步骤s112,创建数据分区并行任务管理器paralleldatataskmanager。209.步骤s1202，创建分库分表分区子单元任务管理器parallelatomicdatatask，构建子单元任务数据结构parallelatomicdatainfo，每个子单元任务包含一个子单元任务数据结构，子单元任务数据结构parallelatomicdatainfo包含数据表元数据信息datapartitioninfo、数据库链接databaselinkinfo以及检索条件信息metatablequeryconditioninfo。210.步骤s122，执行数据更新操作；211.步骤s1221，通过checktransaction识别是否开启事务处理。212.步骤s1222，开启并行子单元任务parallelatomicdatatask.start进行分布式更新操作。213.步骤s124，数据更新完成；214.步骤s1241，识别所有更新操作已经完成parallelatomicdatatask.isfinish。215.步骤s1242，将执行结果并入执行结果模型resultmodel，如果执行成功则将resultmodel.data＝parallelatomicdatatask.iud.size；如果执行不成功则resultmodel.code＝0015，赋值resultmodel.message＝“数据更新失败”。216.步骤s1243，通过optlogger写入数据操作日志，日志信息包括：logid、开始时间、结束时间、执行数据库链接信息、执行数据库的分区信息、执行单元id等。217.步骤s1244，返回查询结果。218.以上实施例的代码示例如下：219.提交的数据格式样例为[0220][0221]返回执行结果的数据格式样例为：[0222]{[0223]issucces:true[0224]code:200[0225]message:”[0226]data:{[0227]“uid”:”uojamns,mdfpqiuoikjsdfhk”,[0228]“datafield1”:“hello-linwm”,[0229]“datafield2”:1,[0230]“datafield3”:”2020-01-02”[0231]}[0232]}[0233]本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。[0234]在本技术所提供的几个实施例中，应该理解到，所揭露的方法和系统，可以通过其他的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。[0235]以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本
技术领域：
：的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。当前第1页12当前第1页12
技术特征：
1.一种数据操作的处理方法，其特征在于，包括以下步骤：获取用户的数据库配置信息并创建数据库配置方案；获取用户的数据存取配置信息并创建数据存取配置方案；获取用户的数据操作请求，并对所述数据操作请求中的数据信息进行拆分；基于已创建的数据存取配置方案和数据库配置方案，对拆分后的数据分别进行安全检测；判断通过安全检测的数据的操作类型，并重新组装数据信息并生成数据存取单元；当通过安全检测的数据的操作类型为第一操作模式时，通过第一处理方式对生成的数据存取单元进行并行计算并得到结果数据；当通过安全检测的数据的操作类型为第二操作模式时，通过第二处理方式对生成的数据存取单元进行并行计算并得到结果数据。2.根据权利要求1所述的数据操作的处理方法，其特征在于，所述数据库配置信息包括数据库链接清单、数据库实例策略清单和数据库配置清单；获取用户的数据库配置清单并创建数据库配置方案，包括步骤：获取用户的数据库链接清单并创建数据库链接信息；获取用户的数据库实例策略清单并创建数据库实例生成策略；获取用户的数据库配置清单、并根据已创建的数据库链接信息和数据库实例生成策略，创建出数据库配置方案。3.根据权利要求2所述的数据操作的处理方法，其特征在于，所述数据库链接清单包括数据库名称、数据库类型、数据库地址、数据库实例信息、登录账号及密码、数据库配置参数、使用期限、是否有效及表空间等信息。4.根据权利要求2所述的数据操作的处理方法，其特征在于，所述数据库实例策略清单包括：策略名称、策略生成类型、区域维度、数字维度以及有规则的其他维度和分库的生效时间。5.根据权利要求2所述的数据操作的处理方法，其特征在于，所述数据库配置清单包括：数据库配置方案名称、数据库厂家类型、数据库实例默认前缀名称、数据库链接名称、数据库实例生成策略信息。6.根据权利要求1所述的数据操作的处理方法，其特征在于，所述数据存取配置信息包括数据分区策略清单和数据存取配置方案清单；获取用户的数据存取配置信息并创建数据存取配置方案包括：获取用户的数据分区策略清单，创建数据分区策略；获取用户的数据存取配置方案清单、并根据已创建的数据分区策略和数据库配置方案，创建数据存取配置方案。7.根据权利要求6所述的数据操作的处理方法，其特征在于，所述数据存取配置信息还包括数据业务逻辑关系配置方案清单；获取用户的数据存取配置信息并创建数据存取配置方案还包括步骤：获取用户的数据业务逻辑关系配置方案清单、并根据已创建的数据存取配置方案，创建出数据业务逻辑关系配置方案。8.根据权利要求1所述的数据操作的处理方法，其特征在于，拆分后的数据包括数据表元数据、数据表字段元数据和数据库链接信息；
对拆分后的数据分别进行安全检测，包括步骤：将拆分后的所述数据表元数据和数据表字段元数据与已创建的数据存取配置方案中对应的数据进行匹配，若相互匹配则安全检测通过，若不匹配，则安全检测不通过；将拆分后的所述数据库链接信息与已创建的数据库配置方案中对应的数据库链接信息进行匹配，若相互匹配则安全检测通过，若不匹配，则安全检测不通过。9.根据权利要求1所述的数据操作的处理方法，其特征在于，所述重新组装数据信息并生成数据存取单元包括步骤：分析所述数据操作请求中的数据信息所在的数据存取配置方案，并获取所述数据操作请求中的数据信息对应的数据分区信息；组装所述数据操作请求中的数据信息对应的数据分区信息；识别所述数据操作请求中的数据信息所在的数据库配置方案，并获取所述数据操作请求中的数据信息对应的数据库链接信息；组装所述数据操作请求中的数据信息对应的数据库链接信息；基于所述数据操作请求中的数据信息对应的数据分区信息和数据库链接信息，生成数据存取单元。10.根据权利要求1所述的数据操作的处理方法，其特征在于，当通过安全检测的数据的操作类型为第一操作模式时，通过第一处理方式对生成的数据存取单元进行并行计算并得到结果数据，包括步骤：对生成的数据存取单元进行数据分区处理，得到第一数据组；判断所述第一数据组是否是多链接或者分区；若所述第一数据组是多链接或者是分区，则判断所述第一数据组是否支持事务，若所述第一数据组不是多链接或者不是分区，则直接进行并行计算和数据分布式更新；若所述第一数据组支持事务，则开启自动化分区分布式事务，并进行并行计算和数据分布式更新，若否直接创建分库分表分区子单元任务、并进行并行计算和数据分布式更新。11.根据权利要求10所述的数据操作的处理方法，其特征在于，所述第一操作模式为更新模式，所述更新模式包括增加、修改或者删除操作。12.根据权利要求1所述的数据操作的处理方法，其特征在于，当通过安全检测的数据的操作类型为第二操作模式时，通过第二处理方式对生成的数据存取单元进行并行计算并得到结果数据，包括步骤：获取生成的多个所述数据存取单元中的数据信息；对多个所述数据存取单元中的数据信息进行并行处理；汇总对多个所述数据存取单元中的数据信息进行并行处理后的数据处理结果；对所述数据处理结果进行清洗并得到结果数据。13.一种数据操作的处理系统，其特征在于，所述处理系统包括：第一配置模块，用于创建数据库配置方案；第二配置模块，用于创建数据存取配置方案；数据拆分模块，用于获取用户的数据操作请求并对所述数据操作请求中的数据信息进行拆分；安全检测模块，用于基于已创建的数据存取配置方案和数据库配置方案对拆分后的数
据分别进行安全检测；操作类型判断模块，判断通过安全检测的数据的操作类型；数据存取信息生成器，用于重新组装数据信息并生成数据存取单元：异源异构数据第一执行器，当通过安全检测的数据的操作类型为第一操作模式时，用于通过第一处理方式对生成的数据存取单元进行并行计算并得到结果数据；异源异构数据第二执行器，当通过安全检测的数据的操作类型为第二操作模式时，通过第二处理方式对生成的数据存取单元进行并行计算并得到结果数据。14.根据权利要求13所述的数据操作的处理系统，其特征在于，所述异源异构数据第一执行器包括：数据分区处理单元，用于对生成的数据存取单元进行数据分区处理、并得到第一数据组；分区分布式事务单元，用于开启自动化分区分布式事务；分库分表分区子单元，用于创建分库分表分区子单元任务；数据分布式更新单元，用于进行数据分布式更新。15.根据权利要求13所述的数据操作的处理系统，所述异源异构数据第二执行器包括：数据获取单元，用于获取生成的多个所述数据存取单元中的数据信息；数据管道处理单元，用于对多个所述数据存取单元中的数据信息进行并行处理；数据管道汇集单元，用于汇总对多个所述数据存取单元中的数据信息进行并行处理后的数据处理结果；数据清洗单元，用于对所述数据处理结果进行清洗并得到结果数据。

技术总结
本发明公开一种数据操作的处理方法及系统，包括获取用户的数据库配置信息并创建数据库配置方案；获取用户的数据存取配置信息并创建数据存取配置方案；获取用户的数据操作请求，并对数据操作请求中的数据信息进行拆分；基于已创建的数据存取配置方案和数据库配置方案，对拆分后的数据分别进行安全检测；判断通过检测的数据操作类型，并重新组装数据信息并生成数据存取单元；当通过安全检测的数据的操作类型为第一操作模式时，通过第一处理方式对生成的数据存取单元进行并行计算并得到结果数据；当通过安全检测的数据的操作类型为第二操作模式时，通过第二处理方式对生成的数据存取单元进行并行计算并得到结果数据；解决了数据存取性能不佳的问题。数据存取性能不佳的问题。数据存取性能不佳的问题。


技术研发人员：林伟民 邓凤羽
受保护的技术使用者：广东优触感科技有限公司
技术研发日：2023.05.19
技术公布日：2023/9/20