一种适用于证券交易系统的信创操作系统调优方法与流程

1.本发明涉及证券交易系统领域，具体来说是一种适用于证券交易系统的信创操作系统调优方法。


背景技术：

2.基于信创处理器和操作系统构成的计算平台，其中最主要的评价标准是证券交易系统在信创化平台上的高吞吐低时延性能表现是否能接近甚至超越现有平台。在进行信创操作系统调优是面临着以下两个问题：1、操作系统作为一个软件基础平台，位于计算机的硬件与应用软件之间，对整体的性能采取了较为均衡的策略。对于证券交易系统高吞吐低时延的特性，针对性地对操作系统复杂繁多的参数中进行手动调整，再等待调整后的“调优”结果，需要耗费大量的时间精力；2、证券交易系统要运行在信创环境中，仅仅处理器就包含x86_64和arm64两种架构下的intel、海光和鲲鹏三种处理器，还不包括交换机、网卡、内存等信创化与非信创化硬件。为要达到更好的高吞吐低时延性能，可能需要很多种参数折中以及配合才能得到一个最优的配置。人工调参的工作效率实在太低。
3.因此，如何高效、准确且简便地对信创平台下的操作系统进行性能调优是本领域技术人员亟待解决的技术问题。申请公布号为cn114138597a的中国发明专利公开了一种操作系统性能调优装置、方法、设备及存储介质，该发明的操作系统调优基于非信创操作系统及非信创硬件，通过性能监控模块和性能调节模块相互迭代来对操作系统进行cpu、io以及内存性能调优，这种方式往往具有一定的试错成本，且未针对应用所关注的性能指标进行调优。在实际情况中，如果当操作系统环境发生比较大变化，就可能会导致短期内性能调优效果不佳甚至出现反向调整。


技术实现要素：

4.本发明要解决的技术问题是克服现有技术的不足，提供一种结合已有的测试自动化经验，构建性能调优测试的自动化平台，将多场景、不同优化参数组合的性能调优实验从人工主导转换成标准化模板定义的自动化过程，可以高效、准确且简便地对信创平台下的操作系统进行性能调优，实现性能调优和参数优选的最佳解决方案的信创操作系统调优方法。
5.为了实现上述目的，设计一种适用于证券交易系统的信创操作系统调优方法，包括证券交易系统版本制品侧和自动化性能调优测试侧两部分，证券交易系统版本制品侧对接多平台多制品cicd流水线，通过将指定版本的编译后制品作为性能调优测试版本提交到制品库，然后推送到自动化性能调优测试侧的信创化平台上进行部署，完成性能调优测试的系统版本更新，这一侧的操作与自动化性能调优测试侧实现操作和数据的隔离，自动化性能调优测试侧的平台上只会有编译部署好的待调优测试版本，自动化性能调优测试侧的调优方法如下：获取经编写提交调优测试配置文件集；启动调优测试，以主导完成性能调优测试；根据配置文件要求，依次使用每组优化参数对操作系统进行参数设置；执行压力调优
测试任务；生成并收集调优测试结果和性能数据；调优测试完成，对本批次的调优测试结果和性能数据进行预处理、比对筛选，生成报告文件和定制的图表。
6.本发明还具有如下优选的技术方案：
7.1.所述调优测试任务中根据证券交易系统的性能调优测试场景完成相应程序制品，制品中需包含性能指标数据的生成逻辑，并以文本格式输出为本地文件。
8.2.所述自动化性能调优测试侧平台由主控模块和数据处理分析模块组成，主要包含任务文件、参数文件两部分：任务文件根据证券交易系统制品的执行命令和参数来编写，每一个任务文件对应一个调优测试场景，包含每台参测服务器需要运行的执行命令和参数；参数文件根据性能指标优化目标，选取相应的系统参数和设置命令组合，选定参数范围后使用辅助程序生成一系列参数文件；主控模块按每个参数文件对参测服务器进行优化设置，然后依次执行每一个任务文件，进行场景测试并将生成的数据文件收集到测试数据文件夹中；数据处理分析模块为独立模块，被主控模块调用或独立运行，数据处理分析模块负责扫描测试数据文件夹，按参数-场景进行性能指标数据抽取，格式转换，计算生成每组参数的场景性能调优测试结果，然后根据筛选策略设定，输出筛选出的参数组、场景性能调优测试结果，并根据设定输出汇总图表。
9.3.所述主控模块包括：调优测试过程的控制模块，调优测试过程由参数、任务两重循环嵌套而成，任务循环里驱动各参测服务器依次进行设置、调优测试任务和数据收集；参测服务器的驱动实现模块，参测服务器的驱动基于ssh免密登陆方式，按驱动命令的分类分别使用；参数文件的设计与实现模块，通过大量自动化性能调优测试，排查不同系统、环境参数与应用性能指标的相关性和参数的优势方向，最终选出符合性能要求的参数组合。
10.4.所述参数文件的设计与实现模块中每一个参数文件包含系统指令操作和系统参数配置项两类定义：系统指令操作，主控模块读入后以分号分隔的命令串方式发送到每一台参测服务器上完成系统设置；系统参数配置项，包括sysctl系统参数定义，主控模块读入后以ssh内联文件方式追加导入到各参测服务器的/etc/sysctl.conf文件，然后以sysctl-a命令生效配置。
11.5.所述数据处理分析模块包括数据抽取的技术实现模块，数据文件均使用文本格式，数据抽取过程主要使用字符串匹配、截取的技术方式，模块主过程根据调优测试数据文件特征调用相应的抽取函数；数据转换的技术实现模块，全部调优测试数据文件抽取后均会转换为带标题行的逗号分隔文件，文件名包含测试时间戳、参数文件和任务文件编号信息，作为数据分析模块的源数据；数据分析的技术实现模块，调优测试结果过滤筛选，使用系统自带工具命令完成对转换后的逗号分隔文件内容进行排序取得四个分位值、最大、最小值，完成与设定策略范围的比对后形成输出结果，实现在多个调优测试结果中快速筛选出值得关注的参数组-场景-结果组合，参数组-场景-结果的拟合分析，应用python环境中的数据分析工具，对调优测试结果进行参数组-场景-结果的拟合分析，以可视化图表方式输出完成各参数项与场景、结果的相关性、优势方向的分析。
12.本发明同现有技术相比，其优点在于：
13.1.调优能自动演进，能适应应用的变更；
14.2.参数可配置，自动化进行调优测试及收集测试数据，降本增效；
15.3.数据处理分析，可生成报告文件和定制的图表，形象直观地表现出调优效果。
附图说明
16.图1是本发明的总体架构图；
17.图2是本发明的调优测试流程图；
18.图3是本发明的调优效果图。
具体实施方式
19.下面结合附图对本发明作进一步说明，本发明的结构和原理对本专业的人来说是非常清楚的。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
20.本发明以高吞吐与低时延两个特性作为重点关注对象，提供了以下四个功能：
21.1.系统优化参数、数据收集等均能以配置文本文件形式定制；
22.2.能生成每次调优测试的完整数据日志记录，可以支持事后分析和调优测试场景还原；
23.3.可以自动完成调优测试前、调优测试后的系统环境初始化、数据收集和清理操作；
24.4.具备基本的测试结果预处理、分析比对和数据可视化功能，以提高优化参数筛选验证效率。
25.如图1所示，本发明总体架构分为证券交易系统版本制品侧和自动化性能调优测试侧两部分。
26.证券交易系统版本制品侧对接现有多平台多制品cicd流水线，通过将指定版本的编译后制品作为性能调优测试版本提交到制品库，然后推送到性能调优测试环境的信创化平台上进行部署，完成性能调优测试的系统版本更新。这一侧的操作与自动化性能调优测试侧实现操作和数据的隔离，自动化调优测试平台上只会有编译部署好的待调优测试版本，并且操作全程可以完全纳入现行开发测试部署的管控流程，满足代码和制品库的安全要求。
27.自动化性能调优测试侧是本发明的主要技术实现内容，步骤如下：技术人员编写提交调优测试配置文件集；启动调优测试主控程序，以主导完成性能调优测试；根据配置文件要求，依次使用每组优化参数对操作系统进行参数设置；执行指定的压力调优测试任务；生成并收集调优测试结果和性能数据；调优测试完成，对本批次的调优测试结果和性能数据进行预处理、比对筛选，生成报告文件和定制的图表。
28.该架构可满足持续调优测试，并随时更新证券交易系统版本等需求，并且通过对结果和性能数据的定制化比对筛选，可以有效收敛技术人员需要过滤分析的数据，帮助排查和聚焦优化方向。
29.本发明的运行环境如下：
30.a.服务器：天宫服务器，配置鲲鹏920处理器，万兆光纤网络；
31.b.操作系统：统信服务器操作系统v20。
32.本发明的技术实现如下：
33.1.总体技术过程分为以下阶段：
34.a.性能调优测试任务与平台的边界定义：
35.此阶段主要定义性能调优测试的场景描述方式：指标数据的生产者、数据形式和提供方式；证券交易系统组件性能调优测试版本的调用方式；证券交易系统组件性能调优测试的其他运行要求。
36.调优测试平台需以此为边界，实现与组件版本的对接、驱动、数据收集和环境管理。
37.b.调优测试平台规划设计
38.此阶段对调优测试平台的功能点、数据结构等作整体规划性设计，涵盖以下几个部分：控制和数据流程图；配置、数据文件；模块功能拆分和接口定义。
39.c.调优测试主控模块技术实现
40.此阶段是调优测试主控模块的程序实现过程，并完成必要的辅助程序实现。调优测试主控模块需要完成调优测试环境准备，调优测试驱动，数据收集，环境还原，日志等功能点，辅助程序主要用于特定场景下按需自动生成配置参数等功能。
41.d.数据处理和分析模块技术实现
42.此阶段是数据处理和分析模块的程序实现过程，该模块需要对主控模块收集的调优测试数据完成抽取、转换、基本分析，生成报告和可视化图表。
43.e.开发和性能调优测试的相关流程修订
44.此阶段根据性能调优测试平台的实践情况，对已有的开发和调优测试相关流程进行增补修订，完成从性能调优目标设定到优化建议反馈的流程闭环。
45.2.性能调优测试任务与平台的边界定义如下：
46.在本发明中，由技术人员根据证券交易系统的性能调优测试场景完成相应程序制品，制品中需包含性能指标数据的生成逻辑，并以文本格式输出为本地文件。制品程序打包成可执行文件，可以带若干参数作场景定义使用。
47.确定系统的执行命令和参数格式、数据文件名格式和数据文件内容格式，以此完成场景测试输出优化参数，获取优化结果。
48.3.调优测试平台规划设计如下：
49.调优测试平台由主控模块和数据处理分析模块组成，主要包含任务文件、参数文件两部分：
50.任务文件根据证券交易系统制品的执行命令和参数来编写。每一个任务文件对应一个调优测试场景，包含每台参测服务器需要运行的执行命令和参数。
51.参数文件根据性能指标优化目标，选取相应的系统参数和设置命令组合，选定参数范围后使用辅助程序生成一系列参数文件。
52.主控模块按每个参数文件对参测服务器进行优化设置，然后依次执行每一个任务文件，进行场景测试并将生成的数据文件收集到测试数据文件夹中。
53.数据处理分析模块为独立模块，可以被主控模块调用，也可以独立运行。数据处理分析模块负责扫描测试数据文件夹，按参数-场景进行性能指标数据抽取，格式转换，计算生成每组参数的场景性能调优测试结果，然后根据筛选策略设定，输出筛选出的参数组、场景性能调优测试结果，并根据设定输出汇总图表。
54.本发明采取快速迭代方式推进，优先完成实践场景的主控模块开发，实现可控的多参数文件、多场景组合下的自动调优测试功能。数据处理分析模块完成数据抽取、转换和
快速比对筛选，以实现持续优化的根本目标。
55.4.调优测试主控平台的技术实现如下：
56.调优测试主控模块实现过程包括以下技术要点：
57.a.调优测试过程的控制
58.调优测试过程由参数、任务两重循环嵌套而成。任务循环里驱动各参测服务器依次进行设置、调优测试任务和数据收集等操作，如图2所示。
59.b.参测服务器的驱动实现
60.参测服务器的驱动基于ssh免密登陆方式，按驱动命令的分类分别使用以下几种方式：
61.一次性执行命令，直接通过ssh将命令串从主控发送到参测服务器；
62.持续运行命令，通过ssh将命令串以后台运行方式传送给参测服务器，或将命令串传送给参测服务器上的tmux会话中；
63.参数文件传送，通过ssh内联文件将主控端的参数文件导入到参测服务器的配置文件中；
64.c.参数文件的设计与实现
65.本发明主要目的是通过大量自动化性能调优测试，排查不同系统、环境参数与应用性能指标的相关性和参数的优势方向，最终选出符合性能要求的参数组合。在本发明中每一个参数文件可以包含系统指令操作和系统参数配置项两类定义：
66.系统指令操作，主控模块读入后以分号分隔的命令串方式发送到每一台参测服务器上完成系统设置。这一形式适合于除系统参数外的其他优化设置，例如修改/proc/、/sys/下的开关参数文件，执行ethtool等动态配置命令。
67.系统参数配置项，如net.core.busy_poll＝0等sysctl系统参数定义，主控模块读入后以ssh内联文件方式追加导入到各参测服务器的/etc/sysctl.conf文件，然后以sysctl-a命令生效配置。
68.数据处理分析模块的技术实现
69.数据处理分析模块实现过程包括以下技术要点：
70.1.数据抽取的技术实现
71.本发明数据文件均使用文本格式，因此数据抽取过程主要使用字符串匹配、截取等技术方式；为降低开发量，尽可能使用系统自带的工具命令，例如sort，grep，awk等。
72.模块主过程可以根据调优测试数据文件特征调用相应的抽取函数。
73.2.数据转换的技术实现
74.本发明中全部调优测试数据文件抽取后均会转换为带标题行的逗号分隔文件，文件名包含测试时间戳、参数文件和任务文件编号等信息，作为数据分析模块的源数据。
75.3.数据分析的技术实现
76.本发明中数据分析部分使用系统自带工具命令完成，部分使用独立部署的python环境完成。
77.调优测试结果过滤筛选，使用系统自带工具命令完成对转换后的逗号分隔文件内容进行排序取得四个分位值、最大、最小值，完成与设定策略范围的比对后形成输出结果，实现在多个调优测试结果中快速筛选出值得关注的参数组-场景-结果组合。
78.参数组-场景-结果的拟合分析，应用python环境中numpy，pandas等数据分析工具，对调优测试结果进行参数组-场景-结果的拟合分析，以可视化图表方式输出完成各参数项与场景、结果的相关性、优势方向的分析。
79.实践结果
80.本发明是一对一发布订阅场景下的消息吞吐率和平均延迟时间优化为例，来说明平台建设过程中对开发性能优化的支撑反馈。
81.1.多参数组合的优化相关性筛查
82.在一对一发布订阅场景下，两台参测服务器分别作为消息的生产者和消费者，场景关注的性能指标是按每秒发布消息数划分的四种不同档位下(低、正常、大、超大)，消息往返平均延迟时间的最小值和50、90两个分位统计值。
83.以非信创主流平台相同场景下对应档位基线数据为优化目标，对该组件在信创化平台上面进行自动化性能调优测试实践，参数组合加入了信创化平台、社区提供的建议参数和配置项，共计如下3个分类16项参数。参数分类表如下所示：
[0084][0085]
实践中对组件的优化效果采用以下自适应调优效果评估算法，假设组件延迟时间最终优化目标为x，优化前性能调优测试得到的延迟时间为y，则：
[0086]
优化效果＝延迟时间最终优化目标/测试所得延迟时间＝x/y
[0087]
如图3所述，展示了优化效果，通过这样的计算评估方式可以对不同优化类型带来的性能改善程度有一个相对统一的量化评估，并且对于各档压力下的不同分位值均可以适用这种计算评估方式。
[0088]
在自动化性能调优测试平台支撑下，共向开发侧反馈以下优化建议作为版本演进迭代的技术参考：
[0089]
不同处理器架构下进程与numa的亲和性与全部四个档位压力下性能表现呈强相关性，应用及系统层面的numa感知和亲和性优化可以显著提升性能表现达14％。
[0090]
4个网卡硬件功能参数在一对一发布订阅场景中四个档位压力下对性能优化作用不明显。
[0091]
9个内核网络子系统参数中的3个对四个档位压力下性能有明显优化作用，其余6个在不同档位压力下对性能的最小值、2个分位值未有明显改善，但对持续压力下的性能曲
线平滑程度有不同的改善作用，但对不同档位压力下参数取值也有数量级的差异。
[0092]
综上可见，同一场景中不同压力档位下适用的优化参数从组合到取值都有明显差异，因此进一步提出证券交易系统可以在现有压力感知基础上，引入根据自动化性能调优测试成果对不同档位压力适用相应的优化参数和配置组合的设计改进。
[0093]
2.数据积累和挖掘
[0094]
在达成性能优化目标之外，一方面基于已筛选出来的优化参数和配置组合对证券交易系统的每轮迭代版本进行自动化性能调优测试以确认版本性能表现依然符合预期，另一方面联合信创化平台供应商、社区对已有的测试结果和系统性能数据进行数据可视化、指标拟合等分析，对参数组合、取值范围与性能表现的相关性进行更深入的研究，并将分析中发现的新增参数、参数取值通过自动化性能调优测试加以验证，进一步降低了证券交易系统在大、超大两档压力下的延时，并取得更为平滑的性能曲线。此外大量可还原调优测试场景的结果和系统资源性能数据也为后续版本调优测试积累了丰富的参考样本。
[0095]
3.综合效果评估
[0096]
在引入自动化性能调优测试前，前述举例的一对一场景优化中，每一次测试需持续5分钟，4档压力下完整测试需要20分钟一次，一位技术人员1个工作日内约能完成24组优化参数和配置组合的测试，另外还需要至少4小时完成数据的抽取、归档记录和分析筛选形成测试报告。
[0097]
引入自动化性能调优测试后，在以下几个方面都有显著的效率提升：
[0098]
a.通过拆分开发侧和调优测试侧，充分调动各方技术资源参与到测试侧的工具开发，调试和系统级数据分析中，让技术人员能更专注于性能优化版本的开发，有效缓解了性能调优测试与开发的时间和人力冲突。
[0099]
b.在自动化工具辅助下，技术人员只需不到1小时即可完成近16小时等效调优测试轮次的配置文件和任务文件编写生成，即可交由主控模块驱动完成测试、结果筛选收敛直至生成最终报告，充分发挥和利用参测服务器在非工作时段的计算资源。
[0100]
c.通过合理设定结果的筛选策略，可以快速的对大量参数组合和取值进行大范围覆盖性的实验，有助于技术人员对系统参数与组件实现之间的相关性研究，并且也实现了将信创化平台性能调优测试的频次提高到与版本迭代相同的节奏上。
[0101]
以上所述，仅为此发明的具体实施方式，但本发明的保护范围不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案和新型的构思加于等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种适用于证券交易系统的信创操作系统调优方法，其特征在于包括证券交易系统版本制品侧和自动化性能调优测试侧两部分，证券交易系统版本制品侧对接多平台多制品cicd流水线，通过将指定版本的编译后制品作为性能调优测试版本提交到制品库，然后推送到自动化性能调优测试侧的信创化平台上进行部署，完成性能调优测试的系统版本更新，这一侧的操作与自动化性能调优测试侧实现操作和数据的隔离，自动化性能调优测试侧的平台上只会有编译部署好的待调优测试版本，自动化性能调优测试侧的调优方法如下：获取经编写提交调优测试配置文件集；启动调优测试，以主导完成性能调优测试；根据配置文件要求，依次使用每组优化参数对操作系统进行参数设置；执行压力调优测试任务；生成并收集调优测试结果和性能数据；调优测试完成，对本批次的调优测试结果和性能数据进行预处理、比对筛选，生成报告文件和定制的图表。2.如权利要求1所述的一种适用于证券交易系统的信创操作系统调优方法，其特征在于所述调优测试任务中根据证券交易系统的性能调优测试场景完成相应程序制品，制品中需包含性能指标数据的生成逻辑，并以文本格式输出为本地文件。3.如权利要求1所述的一种适用于证券交易系统的信创操作系统调优方法，其特征在于所述自动化性能调优测试侧平台由主控模块和数据处理分析模块组成，主要包含任务文件、参数文件两部分：任务文件根据证券交易系统制品的执行命令和参数来编写，每一个任务文件对应一个调优测试场景，包含每台参测服务器需要运行的执行命令和参数；参数文件根据性能指标优化目标，选取相应的系统参数和设置命令组合，选定参数范围后使用辅助程序生成一系列参数文件；主控模块按每个参数文件对参测服务器进行优化设置，然后依次执行每一个任务文件，进行场景测试并将生成的数据文件收集到测试数据文件夹中；数据处理分析模块为独立模块，被主控模块调用或独立运行，数据处理分析模块负责扫描测试数据文件夹，按参数-场景进行性能指标数据抽取，格式转换，计算生成每组参数的场景性能调优测试结果，然后根据筛选策略设定，输出筛选出的参数组、场景性能调优测试结果，并根据设定输出汇总图表。4.如权利要求3所述的一种适用于证券交易系统的信创操作系统调优方法，其特征在于所述主控模块包括：调优测试过程的控制模块，调优测试过程由参数、任务两重循环嵌套而成，任务循环里驱动各参测服务器依次进行设置、调优测试任务和数据收集；参测服务器的驱动实现模块，参测服务器的驱动基于ssh免密登陆方式，按驱动命令的分类分别使用；参数文件的设计与实现模块，通过大量自动化性能调优测试，排查不同系统、环境参数与应用性能指标的相关性和参数的优势方向，最终选出符合性能要求的参数组合。5.如权利要求4所述的一种适用于证券交易系统的信创操作系统调优方法，其特征在
于所述参数文件的设计与实现模块中每一个参数文件包含系统指令操作和系统参数配置项两类定义：系统指令操作，主控模块读入后以分号分隔的命令串方式发送到每一台参测服务器上完成系统设置；系统参数配置项，包括sysctl系统参数定义，主控模块读入后以ssh内联文件方式追加导入到各参测服务器的/etc/sysctl.conf文件，然后以sysctl-a命令生效配置。6.如权利要求3所述的一种适用于证券交易系统的信创操作系统调优方法，其特征在于所述数据处理分析模块包括数据抽取的技术实现模块，数据文件均使用文本格式，数据抽取过程主要使用字符串匹配、截取的技术方式，模块主过程根据调优测试数据文件特征调用相应的抽取函数；数据转换的技术实现模块，全部调优测试数据文件抽取后均会转换为带标题行的逗号分隔文件，文件名包含测试时间戳、参数文件和任务文件编号信息，作为数据分析模块的源数据；数据分析的技术实现模块，调优测试结果过滤筛选，使用系统自带工具命令完成对转换后的逗号分隔文件内容进行排序取得四个分位值、最大、最小值，完成与设定策略范围的比对后形成输出结果，实现在多个调优测试结果中快速筛选出值得关注的参数组-场景-结果组合，参数组-场景-结果的拟合分析，应用python环境中的数据分析工具，对调优测试结果进行参数组-场景-结果的拟合分析，以可视化图表方式输出完成各参数项与场景、结果的相关性、优势方向的分析。

技术总结
本发明涉及证券交易系统领域，具体说是一种适用于证券交易系统的信创操作系统调优方法，包括证券交易系统版本制品侧和自动化性能调优测试侧两部分，证券交易系统版本制品侧对接多平台多制品CICD流水线，通过将指定版本的编译后制品作为性能调优测试版本提交到制品库，然后推送到自动化性能调优测试侧的信创化平台上进行部署，完成性能调优测试的系统版本更新，这一侧的操作与自动化性能调优测试侧实现操作和数据的隔离。本发明同现有技术相比，其优点在于：调优能自动演进，能适应应用的变更；参数可配置，自动化进行调优测试及收集测试数据，降本增效；数据处理分析，可生成报告文件和定制的图表，形象直观地表现出调优效果。形象直观地表现出调优效果。形象直观地表现出调优效果。


技术研发人员：张义得 韩大伟 王天宇 何群芳
受保护的技术使用者：上交所技术有限责任公司
技术研发日：2023.07.04
技术公布日：2023/9/25