一种自识别灵活查询及多维分析自动化装配实现方法与流程

1.本发明属于数据分析
技术领域：
：，具体涉及一种自识别灵活查询及多维分析自动化装配实现方法。
背景技术：
：：2.随着银行业务活动的开展、新业务活动的制定，业务部门分析人员需要通过数据的挖掘分析来了解客户以及业务的发展的情况。面对业务部门的数据分析的诉求，业务部门通过提出数据分析需求对当前的分析要求进行描述并提交到科技部门，然后由科技开发人员针对当前的数据分析需求进行固定报表的开发来满足分析需求。这种方式存在如下问题：3.首先，实现对数据挖掘的维度、数据选择条件、数据展示项以及汇总统计项设置固化；业务人员只能根据预设好的过虑条件、统计维度与统计指标进行数据的查询，适应的分析场景小，限制了数据分析人员灵活的进行数据探查的能力，当有新的分析场景出来或统计维度的变化时，原有的固定分析报表就无法满足需求，其无法满足灵活多变的数据探查要求。4.其次，需求提出到实现过程长，时效性差。需求的提出到由开发人员进行需求分析、开发、测试、投产。整个实现周期较长，无法满足业务的时效性需求，业务部门当前的统计指标或营销场景的分析，往往有很强的时效要求。由于数据分析结果无法及时呈现，导致无法根据统计指标情况进行汇报或进行商机的把控，导致商机的延误或丢失，对活动的开展造成影响。技术实现要素：5.本发明的目的在于提供一种自识别灵活查询及多维分析自动化装配实现方法，该方法实现输入域控件类型的自动识别与匹配以及探查条件的随意组合，以及实现灵活的多维度下聚合分析；解决了数据分析需要技术人员进行开发实现的问题和时效性问题，让业务人员在面对数据文件、数据库表的时就能一键式实现灵活的数据探查分析。6.为实现上述目的，本发明采用如下技术方案：7.一种自识别灵活查询及多维分析自动化装配实现方法，包括如下步骤：8.(1)数据的获取及自动分析9.获取数据文件或数据库数据源下对应数据表，通过数据结构自动识别、分析维度和度量识别、以及查询面板可选输入域自动匹配对获取的数据文件或数据表进行自动分析，以当前分析数据集名称作为查询分析主题名称，并自动将查询的属性信息、维度信息、度量信息、输入域类型信息存放到配置信息中；10.数据结构自动识别：对于cvs、excel数据文件，通过dataframe获取到弹性数据集，对数据文件模型、数据类型进行解析，并通过属性dtypes获取到各属性列数据类型信息；而对于oracle数据库表通过user_tab_columns获取到数据数据模型和属性列类型信息；11.分析维度和度量识别：对自动获取的数据模型需要进行维度与度量属性标签的标注，以用于后续明细分析和聚合分析可选项。通过dataframe获取到的弹性数据集或通过user_tab_columns获取到数据数据模型及属性列信息后，识别出数值类型属性列信息，并标识为度量标签；对于字符型、日期类型列均标识为维度标签，用于明细统计、聚合分析中的可选维度集合信息项；12.查询面板可选输入域自动匹配：维度属性列、度量属性列均作为可选查询输入域可选信息项，自动匹配方法包括如下步骤：13.(a)机构树输入域控件自动匹配实现方法：通过dataframe获取到cvs、excel或数据库表数据后，通过数据分析识别出机构维度列，并匹配为机构树控件，并为机构树控件匹配机构树级查询子查询条件用于机构范围的探查条件；14.(b)日期输入域控件自动匹配实现方法：对于识别出为日期类型的属性列自动匹配为日期组件，并自动为日期组件匹配等于、不等于、范围、为空、不为空可选运算符；15.(c)其他字段型输入域自动匹配实现方法：为字符型属性列自动匹配文件输入域，并自动为字符型属性列提供可选的等于、包含、范围、不等于、为空、不为空可选运算操作；16.(d)为数据值型输入域自动匹配实现方法：为数据值型属性列自动匹配为文本输入域，并对输入域值进行输入值类型校验，并为其提供等于、范围、不等于、为空、不为空可选运算操作；17.(2)明细级数据的探查18.在需进行数据分析时，对所要分析的查询分析主题进行个性化分析，个性化分析包括查询条件和展示列，查询条件通过查询属性选择是否进行进行，展示列通过展示属性选择是否需要，通过选择查询条件和/或展示列更新查询面板和数据展示区表格，个属性查询条件组合进行明细级数据探查；19.(3)数据聚合的探查20.在明细级数据探查基础上，即以明细级探查所查询到的数据集作为基础进行数据聚合分析；数据聚合分析包括分析维度和度量，聚合分析组合维度、需聚合统计的度量指标，以明细查询所作为子查询，以聚合统计所选维度作为分组组合维度，并计算出各分组维度如下聚合指标：数量、和、均值、最小值、最大值、中位数，并进行展示。21.进一步地，数据结构解析：voidquerymodeconfig(datasetdataset,stringquerymodeenname,stringquerymodecnname)，并根据选择的数据源不同，调用方法datasetreadexceltodataframe(stringstringfilepath)或调用方法datasetreaddatabasetabtodataset(stringdbinfo,stringtable)来获取数据集。22.进一步地，配置信息以主、子表方式进行存放，主表存放模型主信息，子表存放模型属性、类型、维度、度量、控件类型信息。23.进一步地，对于数据文件通过使用内存数据库技术并根据获取到的查询主题结构创建内存表，并将文件加载到内存表中进行明细级数据探查的封装实现。24.进一步地，根据查询模型的模型英文编码获取配置信息，并动态生成查询面板组件和展示表格的属性信息列，通过“探查条件”重新选择探查属性并动态重新生成查询面板组件；通过“展示属性”重新选择要展示的属性信息；根据配置信息配置的数据源与对象名称调用方法datasetdetailanalymodel(stringquerymodeenname,listcondition)创建查询数据集。25.进一步地，聚合分析调用方法datasetmultianalymodel(stringquerymodeenname,listcondition,listdimension,listmeasure)实现聚合分析的指标计算，创建查询数据集。26.本发明通过数据结构的解读、数据的分析，自动完成维度、度量建模、模型要素与查询控件的自动识别匹配，包括特殊的机构树控件的自动化识别与组装，并动态实现查询面板中对各查询要素输入域的灵活选择与组合，并匹配可选择的多种条件探查组件，实现明细级和多维度的指标聚合的自主探查分析自动化装配实现；以解决固化报表无法灵活满足多样性的、灵活性的数据探查时效性问题。具体实施方式27.本实施例提供的一种自识别灵活查询及多维分析自动化装配实现方法包括如下步骤：28.(1)数据的获取及自动分析29.获取数据文件或数据库数据源下对应数据表，通过数据结构自动识别、分析维度和度量识别、以及查询面板可选输入域自动匹配对获取的数据文件或数据表进行自动分析，以当前分析数据集名称作为查询分析主题名称，并自动将查询的属性信息、维度信息、度量信息、输入域类型信息存放到配置信息中；30.数据结构自动识别：对于cvs、excel数据文件，通过dataframe获取到弹性数据集，对数据文件模型、数据类型进行解析，并通过属性dtypes获取到各属性列数据类型信息；而对于oracle数据库表通过user_tab_columns获取到数据数据模型和属性列类型信息。31.分析维度和度量识别：对自动获取的数据模型需要进行维度与度量属性标签的标注，以用于后续明细分析和聚合分析可选项。通过dataframe获取到的弹性数据集或通过user_tab_columns获取到数据数据模型及属性列信息后，识别出数值类型属性列信息，并标识为度量标签；对于字符型、日期类型列均标识为维度标签，用于明细统计、聚合分析中的可选维度集合信息项；32.查询面板可选输入域自动匹配：维度属性列、度量属性列均作为可选查询输入域可选信息项，自动匹配方法包括如下步骤：33.(a)机构树输入域控件自动匹配实现方法：通过dataframe获取到cvs、excel或数据库表数据后，通过数据分析识别出机构维度列，并匹配为机构树控件，并为机构树控件匹配机构树级查询子查询条件用于机构范围的探查条件；34.(b)日期输入域控件自动匹配实现方法：对于识别出为日期类型的属性列自动匹配为日期组件，并自动为日期组件匹配等于、不等于、范围、为空、不为空可选运算符；35.(c)其他字段型输入域自动匹配实现方法：为字符型属性列自动匹配文件输入域，并自动为字符型属性列提供可选的等于、包含、范围、不等于、为空、不为空可选运算操作；36.(d)为数据值型输入域自动匹配实现方法：为数据值型属性列自动匹配为文本输入域，并对输入域值进行输入值类型校验，并为其提供等于、范围、不等于、为空、不为空可选运算操作。37.本实施例将查询模型的过程通过对数据的解析来自动完成对数据结构的识别，并实现将业务规则的配置转换为逻辑计算的自动解析。数据结构解析的解析实现方法：voidquerymodeconfig(datasetdataset,stringquerymodeenname,stringquerymodecnname)，并根据选择的数据源不同，调用方法datasetreadexceltodataframe(stringstringfilepath)或调用方法datasetreaddatabasetabtodataset(stringdbinfo,stringtable)来获取数据集；并通过数据集来实现查询模型的自动创建过程，并实现查询控件的匹配。38.表1函数说明39.[0040][0041]通过加载文件获取excel文件的选择，通过readexceltodataframe来创建数据集，并作为参数传递给querymodeconfig()来实现查询模型的自动创建。将创建查询模型配置信息，配置信息以主、子表方式进行存放，主表存放模型主信息，如表2所示，子表存放模型属性、类型、维度、度量、控件类型信息；如表3所示，若数据源为库表，根据配置的数据源的连接信息和表名称获取表结构信息，并将查询模型存放到如下主子表中。[0042]表2查询模型主表[0043]序号列名备注1模型编码模型唯一编号2模型名称文件名称3模型类型0-文件、1-库表4文件或表名5数据源文件存文件路径；库表存放数据源名称[0044]表3查询模型子表[0045]序号列名备注1模型编码唯一编码2属性名称列名称3属性类型列类型4是否维度用于聚合分析的分组维度5是否度量用于聚合分析的计算6控件类型01：文本框；02：数值；03：日期；04：机构[0046](2)明细级数据的探查[0047]在需进行数据分析时，对所要分析的查询分析主题进行个性化分析，个性化分析包括查询条件和展示列，查询条件通过查询属性选择是否进行进行，展示列通过展示属性选择是否需要，通过选择查询条件和/或展示列更新查询面板和数据展示区表格，个属性查询条件组合进行明细级数据探查。[0048]需要说明的是，对于数据文件通过使用内存数据库技术并根据获取到的查询主题结构创建内存表，并将文件加载到内存表中进行明细级数据探查的封装实现，并为后续的数据聚合探查分析提供底层支持。[0049]本实施例根据查询模型的模型英文编码获取配置信息，并动态生成查询面板组件和展示表格的属性信息列，用户可以通过“探查条件”重新选择探查属性并动态重新生成查询面板组件；通过”展示属性“重新选择要展示的属性信息。根据配置信息配置的数据源与对象名称调用方法datasetdetailanalymodel(stringquerymodeenname,listcondition)创建查询数据集，将查询结果返回到应用端进行展示。[0050](3)数据聚合的探查[0051]在明细级数据探查基础上，即以明细级探查所查询到的数据集作为基础进行数据聚合分析；数据聚合分析包括分析维度和度量，聚合分析组合维度、需聚合统计的度量指标，以明细查询所作为子查询，以聚合统计所选维度作为分组组合维度，并计算出各分组维度如下聚合指标：数量、和、均值、最小值、最大值、中位数，并进行展示。[0052]在明细查询的基础上，聚合分析调用方法datasetmultianalymodel(stringquerymodeenname,listcondition,listdimension,listmeasure)实现聚合分析的指标计算，创建查询数据集，将查询结果返回到应用端进行展示。[0053]本发明通过对数据和数据结构的分析来实现复杂的查询模型属性、维度、度量、控件类型的自动识别与配置，并通过界面的探查条件、展示信息项的选择来实现展现页面的动态生成，以及在明细探查的基础上，通过维度与度量的组合实现聚合分析装配方法。[0054]以上所述仅是本发明优选的实施方式，但本发明的保护范围并不局限于此，任何基于本发明所提供的技术方案和发明构思进行的改造和替换都应涵盖在本发明的保护范围内。当前第1页12当前第1页12
技术特征：
readexcel to dataframe(string string filepath)或调用方法dataset readdatabasetab to dataset(string dbinfo,string table)来获取数据集。3.根据权利要求1所述的一种自识别灵活查询及多维分析自动化装配实现方法，其特征在于，配置信息以主、子表方式进行存放，主表存放模型主信息，子表存放模型属性、类型、维度、度量、控件类型信息。4.根据权利要求1所述的一种自识别灵活查询及多维分析自动化装配实现方法，其特征在于，对于数据文件通过使用内存数据库技术并根据获取到的查询主题结构创建内存表，并将文件加载到内存表中进行明细级数据探查的封装实现。5.根据权利要求1所述的一种自识别灵活查询及多维分析自动化装配实现方法，其特征在于，根据查询模型的模型英文编码获取配置信息，并动态生成查询面板组件和展示表格的属性信息列，通过“探查条件”重新选择探查属性并动态重新生成查询面板组件；通过“展示属性”重新选择要展示的属性信息；根据配置信息配置的数据源与对象名称调用方法dataset detailanalymodel(string querymodeenname,list condition)创建查询数据集。6.根据权利要求1所述的一种自识别灵活查询及多维分析自动化装配实现方法，其特征在于，聚合分析调用方法dataset multianalymodel(string querymodeenname,list condition,listdimension,list measure)实现聚合分析的指标计算，创建查询数据集。

技术总结
本发明公开了一种自识别灵活查询及多维分析自动化装配实现方法包括数据的获取及自动分析、明细级数据的探查和数据聚合的探查，本发明通过数据结构的解读、数据的分析，自动完成维度、度量建模、模型要素与查询控件的自动识别匹配，包括特殊的机构树控件的自动化识别与组装，并动态实现查询面板中对各查询要素输入域的灵活选择与组合，并匹配可选择的多种条件探查组件，实现明细级和多维度的指标聚合的自主探查分析自动化装配实现；以解决固化报表无法灵活满足多样性的、灵活性的数据探查时效性问题。效性问题。


技术研发人员：苏玉元
受保护的技术使用者：绵阳市商业银行股份有限公司
技术研发日：2023.05.15
技术公布日：2023/8/28