磁盘故障检测方法、装置、电子设备及计算机可读存储介质与流程

1.本技术涉及数据存储技术领域，特别涉及一种磁盘故障检测方法，还涉及一种磁盘故障检测装置、电子设备以及计算机可读存储介质。


背景技术：

2.磁盘是存储系统的核心组成部分，磁盘能否提供稳定可靠的数据访问能力，直接影响整个存储系统的可靠性。然而，磁盘是磁、电和机械的混合体，其固有结构决定了磁盘本身的可靠性不高，相关技术中提出了主动容错技术用于实现磁盘故障检测。
3.基于主动容错技术，其通过采集磁盘的一些属性参数来进行阈值判断，进而根据判断结果确定磁盘是否发生故障。然而，作为行业标准，除某些专门规定的属性外，各磁盘厂商均可按照自己产品的特点定义更多的属性，并且统一规定的属性计算方法也可不同，这导致不同厂商的磁盘能够采集到的属性不同，并且相同属性数值分布也相差较多。因此，不同厂商的磁盘无法使用同样的属性进行预测，故更加难以利用现有磁盘的历史属性对当前研究的新型磁盘进行故障预测，加之新型磁盘在使用初期不存在足够多的历史数据用来参考，从而导致新型磁盘故障检测结果的不准确性。
4.因此，如何实现更为准确的磁盘故障检测是本领域技术人员亟待解决的问题。


技术实现要素：

5.本技术的目的是提供一种磁盘故障检测方法，该磁盘故障检测方法可以实现更为准确的磁盘故障检测；本技术的另一目的是提供一种磁盘故障检测装置、电子设备及计算机可读存储介质，均具有上述有益效果。
6.第一方面，本技术提供了一种磁盘故障检测方法，包括：
7.对历史磁盘进行磁盘参数采集，获得初始源域数据；
8.对目标磁盘进行磁盘参数采集，获得初始目标域数据；
9.分别对所述初始源域数据和所述初始目标域数据进行降维处理，获得相同特征维度下的源域数据和目标域数据；
10.根据所述源域数据和所述目标域数据进行迁移学习，获得所述源域数据中的迁移数据，并将所述迁移数据与所述目标域数据组合为新目标域数据；
11.利用预设检测模型对所述新目标域数据进行检测，获得检测结果。
12.可选地，所述分别对所述初始源域数据和所述初始目标域数据进行降维处理，获得相同特征维度下的源域数据和目标域数据，包括：
13.将所述初始源域数据和所述初始目标域数据组合为模型训练样本；
14.利用所述模型训练样本训练获得自编码器模型；
15.利用所述自编码器模型分别对所述初始源域数据和所述初始目标域数据进行降维处理，获得相同特征维度下的所述源域数据和所述目标域数据。
16.可选地，所述根据所述源域数据和所述目标域数据进行迁移学习，获得所述源域
数据中的迁移数据，包括：
17.对于每一所述目标域数据，计算所述目标域数据与每一所述源域数据的欧氏距离；
18.在所有所述源域数据中，将所述欧氏距离取值低于预设阈值的预设数量个源域数据作为所述迁移数据。
19.可选地，所述利用预设检测模型对所述新目标域数据进行检测，获得检测结果，包括：
20.确定所述目标磁盘的当前运行状态；
21.当所述当前运行状态为冷启动状态时，利用正常数据分布模型对所述新目标域数据进行检测，获得所述检测结果；
22.当所述当前运行状态为常规运行状态时，利用二分类模型对所述新目标域数据进行检测，获得所述检测结果。
23.可选地，所述利用正常数据分布模型对所述新目标域数据进行检测，获得所述检测结果，包括：
24.判断所述新目标域数据是否符合所述正常数据分布模型的数据分布状态；
25.若是，则确定所述检测结果为目标磁盘正常；
26.若否，则确定所述检测结果为目标磁盘故障。
27.可选地，所述利用二分类模型对所述新目标域数据进行检测，获得所述检测结果，包括：
28.将所述新目标域数据输入至所述二分类模型进行检测处理，获得所述检测结果；所述检测结果为目标磁盘正常或目标磁盘故障。
29.可选地，所述对历史磁盘进行磁盘参数采集，获得初始源域数据之后，还包括：
30.对所述初始源域数据进行预处理操作；其中，所述预处理操作包括缺失值处理操作、归一化处理操作、数据属性重构操作中的一种或多种。
31.第二方面，本技术还公开了一种磁盘故障检测装置，包括：
32.第一采集模块，用于对历史磁盘进行磁盘参数采集，获得初始源域数据；
33.第二采集模块，用于对目标磁盘进行磁盘参数采集，获得初始目标域数据；
34.降维模块，用于分别对所述初始源域数据和所述初始目标域数据进行降维处理，获得相同特征维度下的源域数据和目标域数据；
35.迁移模块，用于根据所述源域数据和所述目标域数据进行迁移学习，获得所述源域数据中的迁移数据，并将所述迁移数据与所述目标域数据组合为新目标域数据；
36.检测模块，用于利用预设检测模型对所述新目标域数据进行检测，获得检测结果。
37.第三方面，本技术还公开了一种电子设备，包括：
38.存储器，用于存储计算机程序；
39.处理器，用于执行所述计算机程序时实现如上所述的任一种磁盘故障检测方法的步骤。
40.第四方面，本技术还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的任一种磁盘故障检测方法的步骤。
41.本技术提供了一种磁盘故障检测方法，包括：对历史磁盘进行磁盘参数采集，获得初始源域数据；对目标磁盘进行磁盘参数采集，获得初始目标域数据；分别对所述初始源域数据和所述初始目标域数据进行降维处理，获得相同特征维度下的源域数据和目标域数据；根据所述源域数据和所述目标域数据进行迁移学习，获得所述源域数据中的迁移数据，并将所述迁移数据与所述目标域数据组合为新目标域数据；利用预设检测模型对所述新目标域数据进行检测，获得检测结果。
42.应用本技术所提供的技术方案，在磁盘检测过程中，分别对历史磁盘和目标磁盘进行磁盘参数采集，得到由历史磁盘的磁盘参数组成的初始源域数据和由目标磁盘的磁盘参数组成的初始目标域数据，然后分别对二者进行降维处理得到同一特征维度下的降维数据，即上述源域数据和目标域数据，进一步，结合迁移学习算法，在源域数据中挑选与目标域数据更相似的数据作为迁移数据，进而与目标域数据组成新目标域数据，实现目标域数据的扩充，也就是实现目标磁盘的磁盘参数扩充，由此，最后再利用预设检测模型对扩充处理后得到的新目标域数据进行检测，即可大大提高磁盘故障检测结果的准确性。
43.本技术所提供的磁盘故障检测装置、电子设备以及计算机可读存储介质，同样具有上述技术效果，本技术在此不再赘述。
附图说明
44.为了更清楚地说明现有技术和本技术实施例中的技术方案，下面将对现有技术和本技术实施例描述中需要使用的附图作简要的介绍。当然，下面有关本技术实施例的附图描述的仅仅是本技术中的一部分实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图，所获得的其他附图也属于本技术的保护范围。
45.图1为本技术所提供的一种磁盘故障检测方法的流程示意图；
46.图2为本技术所提供的一种磁盘故障检测装置的结构示意图；
47.图3为本技术所提供的一种电子设备的结构示意图。
具体实施方式
48.本技术的核心是提供一种磁盘故障检测方法，该磁盘故障检测方法可以实现更为准确的磁盘故障检测；本技术的另一核心是提供一种磁盘故障检测装置、电子设备及计算机可读存储介质，均具有上述有益效果。
49.为了对本技术实施例中的技术方案进行更加清楚、完整地描述，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行介绍。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
50.本技术实施例提供了一种磁盘故障检测方法。
51.请参考图1，图1为本技术所提供的一种磁盘故障检测方法的流程示意图，该磁盘故障检测方法可以包括如下s101至s105。
52.s101：对历史磁盘进行磁盘参数采集，获得初始源域数据；
53.本步骤旨在实现初始源域数据的采集，该初始源域数据即历史磁盘的磁盘参数，
其中，历史磁盘即已经长期投入使用的磁盘。当然，历史磁盘的数量并不唯一，类型也不唯一，也就是说，可以是对任意类型的历史磁盘进行磁盘参数的采集，相对应的，由于历史磁盘的类型各不相同，所采集到的磁盘参数的类型也可能各不相同。此处，将采集到的所有类型的历史磁盘的磁盘参数组合为初始源域数据。
54.此外，由于本技术所提供的技术方案旨在实现磁盘故障检测，因此，上述所采集到的历史磁盘磁盘参数均为设置有标签的历史磁盘参数，其中，标签包括“故障”和“正常”，也就是说，上述对历史磁盘进行磁盘参数采集，可以包括对已经发生故障的历史磁盘进行磁盘参数采集，和/或对正常的历史磁盘进行磁盘参数采集。
55.s102：对目标磁盘进行磁盘参数采集，获得初始目标域数据；
56.本步骤旨在实现初始目标域数据的采集，该初始目标域数据即目标磁盘的磁盘参数，其中，目标磁盘即为需要进行故障检测的磁盘，可以为新型磁盘(如处于研发阶段仍未投入使用的磁盘)。此外，在对目标磁盘进行磁盘参数采集时，可以参照历史磁盘所采集的磁盘参数的类型进行磁盘参数采集，最终，将采集到的所有类型的磁盘参数组合为初始目标域数据。当然，为保证检测结果的准确性以及检测效率，一般是采集与磁盘故障相关性较强的磁盘参数，如磁盘的寻道错、奇偶校验错等。
57.结合上述s101和s102，磁盘参数采集操作可以响应于检测指令，例如，当需要对目标磁盘进行故障检测时，可以向检测设备(用于执行磁盘故障检测方法的电子设备)发起针对历史磁盘和目标磁盘的检测指令，当然，该检测指令中携带有关于历史磁盘和目标磁盘的相关信息，如磁盘id、磁盘序列号、磁盘位置等信息；进一步，检测设备则可以通过对检测指令进行解析获得历史磁盘和目标磁盘的相关信息，进而执行磁盘参数采集操作。
58.s103：分别对初始源域数据和初始目标域数据进行降维处理，获得相同特征维度下的源域数据和目标域数据；
59.本步骤旨在实现初始源域数据和初始目标域数据的降维处理。具体而言，在通过磁盘参数采集得到初始源域数据和初始目标域数据之后，即可对二者进行降维处理，此处，数据降维处理旨在将初始源域数据和初始目标域数据转换至相同特征维度之下，以供后续处理，因此，在对初始源域数据和初始目标域数据进行数据降维处理之后，即可得到相同特征维度下的源域数据和目标域数据。其中，数据降维处理的实现方式并不唯一，例如，可以采用pca(principal componentanalysis，主成分分析)技术、ae(autoencoder，自编码器)技术等，本技术对此不做限定。
60.s104：根据源域数据和目标域数据进行迁移学习，获得源域数据中的迁移数据，并将迁移数据与目标域数据组合为新目标域数据；
61.本步骤旨在实现源域数据和目标域数据的迁移学习，以便将源域数据中与目标域数据相似的源域数据迁移至目标域数据中。可以理解的是，迁移学习是指运用已有的知识来学习新的知识，核心是找到已有知识和新知识之间的相似性，在迁移学习中，已有的知识叫做源域，要学习的新知识叫目标域，源域和目标域不同但有一定关联，可以通过迁移学习减小源域和目标域的分布差异，进行知识迁移，从而实现数据标定。有基于此，在获得源域数据和目标域数据之后，即可对二者进行迁移学习，确定源域数据中与目标域数据相似的源域数据，并将该部分源域数据作为迁移数据迁移至目标域数据中，组合为新目标域数据。
62.s105：利用预设检测模型对新目标域数据进行检测，获得检测结果。
63.本步骤旨在实现基于预设检测模型的新目标域数据检测，获得相应的检测结果，显然，该检测结果即目标磁盘是否存在故障。具体而言，在通过迁移学习得到新目标域数据之后，即可利用预设检测模型对其进行处理，也就是将新目标域数据输入至预设检测模型，该预设检测模型的输出即关于目标磁盘的检测结果。至此，实现关于目标磁盘的故障检测。
64.其中，预设检测模型为预先创建的用于实现磁盘故障检测的机器模型，可预存于相应的存储空间，在使用时直接调用即可。当然，预设检测模型的存储位置并不影响本技术方案的实施，由技术人员根据实际情况进行设置即可，本技术对此不做限定。
65.可见，本技术实施例所提供的磁盘故障检测方法，在磁盘检测过程中，分别对历史磁盘和目标磁盘进行磁盘参数采集，得到由历史磁盘的磁盘参数组成的初始源域数据和由目标磁盘的磁盘参数组成的初始目标域数据，然后分别对二者进行降维处理得到同一特征维度下的降维数据，即上述源域数据和目标域数据，进一步，结合迁移学习算法，在源域数据中挑选与目标域数据更相似的数据作为迁移数据，进而与目标域数据组成新目标域数据，实现目标域数据的扩充，也就是实现目标磁盘的磁盘参数扩充，由此，最后再利用预设检测模型对扩充处理后得到的新目标域数据进行检测，即可大大提高磁盘故障检测结果的准确性。
66.在上述实施例的基础上：
67.在本技术的一个实施例中，上述分别对初始源域数据和初始目标域数据进行降维处理，获得相同特征维度下的源域数据和目标域数据，可以包括如下步骤：
68.将初始源域数据和初始目标域数据组合为模型训练样本；
69.利用模型训练样本训练获得自编码器模型；
70.利用自编码器模型分别对初始源域数据和初始目标域数据进行降维处理，获得相同特征维度下的源域数据和目标域数据。
71.本技术实施例提供了一种数据降维处理方法，即基于自编码器模型的数据降维处理技术，其中，自编码器模型主要包括编码函数和解码函数，其本质上是对目标数据(本技术中特指初始源域数据和初始目标域数据)进行编码再解码以降低数据维度的技术手段。在基于自编码器模型的数据处理过程中，首先利用编码函数将初始源域数据和初始目标域数据映射至特征空间下，得到映射空间下的抽象特征，然后利用解码函数将抽象特征映射回原始空间(该原始空间是指目标数据原本所在的空间)下，本质上为数据重构，由此，即可得到重构后的抽象特征，也就是上述源域数据和目标域数据。例如，对磁盘参数x，可以先通过编码函数将磁盘参数x映射至特征空间下，得到特征空间下的抽象特征z，然后通过解码函数将抽象特征z映射回原始空间，即可得到重构数据x’。
72.在模型训练过程中，为保证训练样本数量足够，进而保证模型精度，可以将初始源域数据和初始目标域数据组合为用于训练自编码器模型的样本数据，即上述模型训练样本，从而基于该模型训练样本进行模型训练得到自编码器模型，由此，即可利用该自编码器模型分别对初始源域数据和初始目标域数据进行处理，得到相同特征维度下的源域数据和目标域数据，从而实现数据降维处理。
73.在本技术的一个实施例中，自编码器模型的训练过程可以包括如下步骤：
74.利用初始编码参数构建初始编码函数；
75.利用初始解码参数构建初始解码函数；
76.构建基于均方误差的损失函数；
77.基于损失函数，利用模型训练样本对初始编码函数和初始解码函数进行参数训练，获得最优编码参数和最优解码参数；
78.根据最优编码参数确定编码函数；
79.根据最优解码参数确定解码函数；
80.根据编码函数、解码函数、预设特征空间维度构建获得编码器模型。
81.本技术实施例提供了一种训练自编码器模型的实现方法。具体而言，可以预先自定义设置初始编码参数和初始解码参数，并分别利用初始编码参数和初始解码参数构建得到初始编码函数和初始解码函数；进一步，构建基于均方误差的损失函数，以便于在训练过程中通过最小化该损失函数得到最优的编码器模型，其中，在训练过程中，可以结合模型训练样本对初始编码函数和初始解码函数进行参数训练，以获得损失函数在取值最小时对应的编码参数和解码参数，此时的编码参数即为最优编码参数，解码参数即为最优解码参数，由此，即可根据最优编码参数确定编码函数，根据最优解码参数确定解码函数；最后，利用该编码函数和解码函数以及预设特征空间维度构建获得编码器模型。其中，预设特征空间维度即特征空间下的维度值，由技术人员根据实际需求进行设定即可，本技术对此不做限定。
82.在本技术的一个实施例中，上述根据源域数据和目标域数据进行迁移学习，获得源域数据中的迁移数据，可以包括如下步骤：
83.对于每一目标域数据，计算目标域数据与每一源域数据的欧氏距离；
84.在所有源域数据中，将欧氏距离取值低于预设阈值的预设数量个源域数据作为迁移数据。
85.本技术实施例提供了一种迁移学习方法。具体而言，对于每一目标域数据，可以分别计算其与每一个源域数据之间的欧氏距离，显然，欧式距离取值越小，二者之间的相似度越高，因此，可以将完成欧氏距离计算的所有源域数据，按照欧氏距离取值由小到大的顺序进行排列，然后选择前预设数量个欧氏距离取值低于预设阈值的源域数据作为迁移数据进行数据迁移。当然，预设阈值和预设数量的取值并不影响本技术方案的实施，由技术人员根据实际需求进行设置即可，本技术对此不做限定。
86.在本技术的一个实施例中，上述利用预设检测模型对新目标域数据进行检测，获得检测结果，可以包括如下步骤：
87.确定目标磁盘的当前运行状态；
88.当当前运行状态为冷启动状态时，利用正常数据分布模型对新目标域数据进行检测，获得检测结果；
89.当当前运行状态为常规运行状态时，利用二分类模型对新目标域数据进行检测，获得检测结果。
90.本技术实施例提供了一种基于预设检测模型对新目标域数据进行检测的实现方法。具体而言，针对目标磁盘不同的运行状态，可以预先创建不用的检测模型，其中，磁盘运行状态可以分为冷启动状态和常规运行状态，冷启动状态即目标磁盘刚刚投入使用的阶段(系统内所有的磁盘均为新磁盘)，常规运行阶段即目标磁盘已经被使用过一定时间的阶段，相对应的，可以分别为这两种运行状态创建不同的预设检测模型，以便于利用相应的检
测模型实现磁盘故障检测。可以理解的是，由于预先根据不同的磁盘运行状态创建了不同类型的预设检测模型，因此，可以直接调取适应于目标磁盘当前运行状态的预设检测模型对目标磁盘进行故障检测。
91.进一步，针对上述两种不同的磁盘运行状态，所创建的预设检测模型分别为正常数据分布模型和二分类模型，其中，当目标磁盘的当前运行状态为冷启动状态时，可以选择正常数据分布模型作为目标检测模型；当标磁盘的当前运行状态为常规运行状态时，可以选择二分类模型作为目标检测模型。
92.可以理解的是，大部分机器学习算法均依赖于大量的样本数据，其中包括故障数据样本，而磁盘故障作为一种小概率事件，故障数据样本的获取极为困难，尤其在系统初始阶段，所有磁盘都是未使用过的新磁盘，所采集到的数据样本都是正常数据样本(对于训练二分类模型而言，该类数据样本属于负样本)，缺少正样本。此时，如若使用二分类模型，将会面临冷启动问题。因此，为解决系统冷启动问题，可以基于正常数据样本构建正常数据分布模型，用于实现新目标域数据的检测。进一步，随着磁盘长时间使用，开始有磁盘发生故障，将会不断的收集到故障数据样本(对于训练二分类模型而言，该类数据样本属于正样本)，由此，即可利用故障数据样本和正常数据样本训练得到而分类模型，实现磁盘在常规运行状态下的故障检测。
93.在本技术的一个实施例中，上述利用正常数据分布模型对新目标域数据进行检测，获得检测结果，可以包括如下步骤：
94.判断新目标域数据是否符合正常数据分布模型的数据分布状态；
95.若是，则确定检测结果为目标磁盘正常；
96.若否，则确定检测结果为目标磁盘故障。
97.本技术实施例提供了一种基于正常数据分布模型对新目标域数据进行检测的实现方法。如上所述，正常数据分布模型为基于磁盘正常数据样本构建获得的数据分布模型，因此，可以直接判断新目标域数据是否符合正常数据分布模型的数据分布状态，如若符合，则说明该新目标域数据为正常数据，进而确定检测结果为目标磁盘正常；反之，如若不符合，则说明新目标域数据为异常参数，进而确定检测结果为目标磁盘故障。其中，正常数据分布模型的数据分布状态可以为正态分布、高斯混合分布等，本技术对此不做限定。
98.在本技术的一个实施例中，上述利用二分类模型对新目标域数据进行检测，获得检测结果，可以包括如下步骤：
99.将新目标域数据输入至二分类模型进行检测处理，获得检测结果；检测结果为目标磁盘正常或目标磁盘故障。
100.本技术实施例提供了一种基于二分类模型对新目标域数据进行检测的实现方法。如上所述，二分类模型为基于磁盘正常数据样本和故障数据样本构建获得的分类模型，因此，可以直接将新目标域数据输入至该二分类模型进行处理，二分类模型的输出即关于目标磁盘的故障检测结果，当然，该检测结果为目标磁盘正常或目标磁盘故障。
101.在本技术的一个实施例中，上述对历史磁盘进行磁盘参数采集，获得初始源域数据之后，还可以包括如下步骤：
102.对初始源域数据进行预处理操作；其中，预处理操作包括缺失值处理操作、归一化处理操作、数据属性重构操作中的一种或多种。
103.本技术实施例所提供的磁盘故障检测方法还可以进一步实现初始源域数据的预处理操作，包括但不限于缺失值处理操作、归一化处理操作、数据属性重构操作等，以进一步提高磁盘故障检测结果的准确性。
104.在本技术的一个实施例中，该磁盘故障检测方法可以包括如下步骤：
105.当检测结果为目标磁盘故障时，记录故障信息至日志文件，并输出告警提示。
106.本技术实施例所提供的磁盘故障检测方法还可以进一步实现故障日志存储功能和故障告警功能。具体而言，当基于目标检测模型的检测结果为目标磁盘存在故障时，可以统计故障信息并记录至日志文件中，从而生成故障日志，以便于技术人员基于该故障日志进行异常溯源，其中，故障信息可以包括但不限于目标磁盘的磁盘信息、磁盘参数、异常磁盘参数等。与此同时，还可以输出告警提示，用于提醒技术人员当前目标磁盘存在故障，以便于技术人员及时对其进行故障维护。当然，告警提示的具体实现形式并不影响本技术方案的实施，由技术人员根据实际需求进行设置即可，例如指示灯提示、语音提示、警铃提示、邮件提示等，本技术对此不做限定。
107.在上述实施例的基础上，本技术实施例提供了另一种磁盘故障检测方法。
108.本技术实施例所提供的磁盘故障检测方法可以包括如下流程：
109.步骤一、数据采集与处理：
110.1、磁盘参数采集：每个磁盘都设置有“良好”或“故障”的标签，属于故障类别的磁盘标记为1，属于良好类别的磁盘标记为0。其中，可以选择将故障磁盘最后七天的磁盘参数都记为潜在故障样本，这表示着该磁盘随时可能发生故障，因此，可以将故障盘最后七天的磁盘参数重新标注为故障磁盘。
111.2、缺失值处理：磁盘参数在采集时可能会出现某些中断的现象，存在缺失值的问题，因此，对于缺失值，可以采用均值补全的方式进行填充，从而保证数据的连续性。
112.3、归一化处理处理：数据归一化可以保证机器学习算法中不同特征值之间的公平比较，数据归一化公式如下：
[0113][0114]
其中，x为某类磁盘参数的原始值，x
max
和x
min
分别是数据集中该类磁盘参数的最大值和最小值。
[0115]
4、特征构建：上述所采集到的磁盘参数一般带有明显的时间属性，如果只将磁盘参数在某一时刻的取值作为特征进行模型训练，往往会忽略掉属性随时间变化的情况，因此，在构建属性时可以将时间序列性考虑进去。有基于此，可以将各类磁盘参数的实际数据作为第一个维度，时间作为第二个维度，构建二维的时间序列数据。然后，将已经筛选出的各类别的磁盘参数作为候选特征，在时间维度上以24为滑动窗口，取第1至24行作为第一个样本，第2至25行作为第二个样本
……
以此类推。当然，如果在二维数据构建过程中，某些磁盘的样本数据量少于24，则舍弃该盘，不纳入数据集。
[0116]
5、数据降维：数据降维的目的在于将不同型号的磁盘的属性降到维度相同的特征空间，以便进行后续的样本相似度的度量。基于上述步骤1至步骤4，可以得到从各个历史磁盘中采集到的多源域数据和从待测磁盘中采集到的目标域数据，进一步，将该多源域数据和目标域数据利用降维方法对其进行降维处理，将所有的源域数据和目标域数据都降维到
同一特征空间。其中，可以设定降维后的特征空间维度为3。
[0117]
在数据降维处理过程中，可以利用多源域数据和目标域数据训练获得自编码模型，然后利用该自编码模型分别对多源域数据和目标域数据进行降维处理。
[0118]
6、数据迁移：通过结合knn算法(k-nearestneighbor，k近邻算法)，在特征空间上，找到与目标域数据相似的源域数据，用于作为目标域数据来进行模型训练。
[0119]
由此，在基于步骤5完成数据降维处理之后，在特征空间中，可以计算每一目标域数据与各个源域数据之间的欧氏距离，并根据knn算法思想，在源域数据中选择与每个目标域数据的欧氏距离最小的一定数量个愿与数据进行迁移，作为补充数据扩充到目标域数据。
[0120]
步骤二、磁盘故障检测：
[0121]
1、确定目标磁盘的当前状态：
[0122]
(1)在冷启动阶段，构建正常数据分布模型，并利用该模型对目标域数据进行监测，获得检测结果；
[0123]
(2)在常规运行阶段，利用故障数据样本构建二分类模型，并利用该模型对目标域进行监测，获得检测结果；
[0124]
2、当确定检测结果为目标磁盘故障时，统计故障样本并进行邮件通知。
[0125]
可见，本技术实施例所提供的磁盘故障检测方法，在磁盘检测过程中，分别对历史磁盘和目标磁盘进行磁盘参数采集，得到由历史磁盘的磁盘参数组成的初始源域数据和由目标磁盘的磁盘参数组成的初始目标域数据，然后分别对二者进行降维处理得到同一特征维度下的降维数据，即上述源域数据和目标域数据，进一步，结合迁移学习算法，在源域数据中挑选与目标域数据更相似的数据作为迁移数据，进而与目标域数据组成新目标域数据，实现目标域数据的扩充，也就是实现目标磁盘的磁盘参数扩充，由此，最后再利用预设检测模型对扩充处理后得到的新目标域数据进行检测，即可大大提高磁盘故障检测结果的准确性。
[0126]
本技术实施例提供了一种磁盘故障检测装置。
[0127]
请参考图2，图2为本技术所提供的一种磁盘故障检测装置的结构示意图，该磁盘故障检测装置可以包括：
[0128]
第一采集模块1，用于对历史磁盘进行磁盘参数采集，获得初始源域数据；
[0129]
第二采集模块2，用于对目标磁盘进行磁盘参数采集，获得初始目标域数据；
[0130]
降维模块3，用于分别对初始源域数据和初始目标域数据进行降维处理，获得相同特征维度下的源域数据和目标域数据；
[0131]
迁移模块4，用于根据源域数据和目标域数据进行迁移学习，获得源域数据中的迁移数据，并将迁移数据与目标域数据组合为新目标域数据；
[0132]
检测模块5，用于利用预设检测模型对新目标域数据进行检测，获得检测结果。
[0133]
可见，本技术实施例所提供的磁盘故障检测装置，在磁盘检测过程中，分别对历史磁盘和目标磁盘进行磁盘参数采集，得到由历史磁盘的磁盘参数组成的初始源域数据和由目标磁盘的磁盘参数组成的初始目标域数据，然后分别对二者进行降维处理得到同一特征维度下的降维数据，即上述源域数据和目标域数据，进一步，结合迁移学习算法，在源域数据中挑选与目标域数据更相似的数据作为迁移数据，进而与目标域数据组成新目标域数
据，实现目标域数据的扩充，也就是实现目标磁盘的磁盘参数扩充，由此，最后再利用预设检测模型对扩充处理后得到的新目标域数据进行检测，即可大大提高磁盘故障检测结果的准确性。
[0134]
在本技术的一个实施例中，上述降维模块3可具体用于将初始源域数据和初始目标域数据组合为模型训练样本；利用模型训练样本训练获得自编码器模型；利用自编码器模型分别对初始源域数据和初始目标域数据进行降维处理，获得相同特征维度下的源域数据和目标域数据。
[0135]
在本技术的一个实施例中，上述迁移模块可具体用于对于每一目标域数据，计算目标域数据与每一源域数据的欧氏距离；在所有源域数据中，将欧氏距离取值低于预设阈值的预设数量个源域数据作为迁移数据。
[0136]
在本技术的一个实施例中，上述检测模块可包括：
[0137]
确定单元，用于确定目标磁盘的当前运行状态；
[0138]
第一检测单元，用于当当前运行状态为冷启动状态时，利用正常数据分布模型对新目标域数据进行检测，获得检测结果；
[0139]
第二检测单元，用于当当前运行状态为常规运行状态时，利用二分类模型对新目标域数据进行检测，获得检测结果。
[0140]
在本技术的一个实施例中，上述第一检测单元可具体用于判断新目标域数据是否符合正常数据分布模型的数据分布状态；若是，则确定检测结果为目标磁盘正常；若否，则确定检测结果为目标磁盘故障。
[0141]
在本技术的一个实施例中，上述第二检测单元可具体用于将新目标域数据输入至二分类模型进行检测处理，获得检测结果；检测结果为目标磁盘正常或目标磁盘故障。
[0142]
在本技术的一个实施例中，该磁盘故障检测装置还可以包括：
[0143]
预处理模块，用于在上述对历史磁盘进行磁盘参数采集，获得初始源域数据之后，对初始源域数据进行预处理操作；其中，预处理操作包括缺失值处理操作、归一化处理操作、数据属性重构操作中的一种或多种。
[0144]
对于本技术实施例提供的装置的介绍请参照上述方法实施例，本技术在此不做赘述。
[0145]
本技术实施例提供了一种电子设备。
[0146]
请参考图3，图3为本技术所提供的一种电子设备的结构示意图，该电子设备可包括：
[0147]
存储器，用于存储计算机程序；
[0148]
处理器，用于执行计算机程序时可实现如上述任意一种磁盘故障检测方法的步骤。
[0149]
如图3所示，为电子设备的组成结构示意图，电子设备可以包括：处理器10、存储器11、通信接口12和通信总线13。处理器10、存储器11、通信接口12均通过通信总线13完成相互间的通信。
[0150]
在本技术实施例中，处理器10可以为中央处理器(central processing unit，cpu)、特定应用集成电路、数字信号处理器、现场可编程门阵列或者其他可编程逻辑器件等。
[0151]
处理器10可以调用存储器11中存储的程序，具体的，处理器10可以执行磁盘故障检测方法的实施例中的操作。
[0152]
存储器11中用于存放一个或者一个以上程序，程序可以包括程序代码，程序代码包括计算机操作指令，在本技术实施例中，存储器11中至少存储有用于实现以下功能的程序：
[0153]
对历史磁盘进行磁盘参数采集，获得初始源域数据；
[0154]
对目标磁盘进行磁盘参数采集，获得初始目标域数据；
[0155]
分别对初始源域数据和初始目标域数据进行降维处理，获得相同特征维度下的源域数据和目标域数据；
[0156]
根据源域数据和目标域数据进行迁移学习，获得源域数据中的迁移数据，并将迁移数据与目标域数据组合为新目标域数据；
[0157]
利用预设检测模型对新目标域数据进行检测，获得检测结果。
[0158]
在一种可能的实现方式中，存储器11可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及至少一个功能所需的应用程序等；存储数据区可存储使用过程中所创建的数据。
[0159]
此外，存储器11可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件。
[0160]
通信接口12可以为通信模块的接口，用于与其他设备或者系统连接。
[0161]
当然，需要说明的是，图3所示的结构并不构成对本技术实施例中电子设备的限定，在实际应用中电子设备可以包括比图3所示的更多或更少的部件，或者组合某些部件。
[0162]
本技术实施例提供了一种计算机可读存储介质。
[0163]
本技术实施例所提供的计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如上述任意一种磁盘故障检测方法的步骤。
[0164]
该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(randomaccess memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0165]
对于本技术实施例提供的计算机可读存储介质的介绍请参照上述方法实施例，本技术在此不做赘述。
[0166]
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0167]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0168]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执
行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom或技术领域内所公知的任意其它形式的存储介质中。
[0169]
以上对本技术所提供的技术方案进行了详细介绍。本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术的保护范围内。

技术特征：
1.一种磁盘故障检测方法，其特征在于，包括：对历史磁盘进行磁盘参数采集，获得初始源域数据；对目标磁盘进行磁盘参数采集，获得初始目标域数据；分别对所述初始源域数据和所述初始目标域数据进行降维处理，获得相同特征维度下的源域数据和目标域数据；根据所述源域数据和所述目标域数据进行迁移学习，获得所述源域数据中的迁移数据，并将所述迁移数据与所述目标域数据组合为新目标域数据；利用预设检测模型对所述新目标域数据进行检测，获得检测结果。2.根据权利要求1所述的磁盘故障检测方法，其特征在于，所述分别对所述初始源域数据和所述初始目标域数据进行降维处理，获得相同特征维度下的源域数据和目标域数据，包括：将所述初始源域数据和所述初始目标域数据组合为模型训练样本；利用所述模型训练样本训练获得自编码器模型；利用所述自编码器模型分别对所述初始源域数据和所述初始目标域数据进行降维处理，获得相同特征维度下的所述源域数据和所述目标域数据。3.根据权利要求1所述的磁盘故障检测方法，其特征在于，所述根据所述源域数据和所述目标域数据进行迁移学习，获得所述源域数据中的迁移数据，包括：对于每一所述目标域数据，计算所述目标域数据与每一所述源域数据的欧氏距离；在所有所述源域数据中，将所述欧氏距离取值低于预设阈值的预设数量个源域数据作为所述迁移数据。4.根据权利要求1所述的磁盘故障检测方法，其特征在于，所述利用预设检测模型对所述新目标域数据进行检测，获得检测结果，包括：确定所述目标磁盘的当前运行状态；当所述当前运行状态为冷启动状态时，利用正常数据分布模型对所述新目标域数据进行检测，获得所述检测结果；当所述当前运行状态为常规运行状态时，利用二分类模型对所述新目标域数据进行检测，获得所述检测结果。5.根据权利要求4所述的磁盘故障检测方法，其特征在于，所述利用正常数据分布模型对所述新目标域数据进行检测，获得所述检测结果，包括：判断所述新目标域数据是否符合所述正常数据分布模型的数据分布状态；若是，则确定所述检测结果为目标磁盘正常；若否，则确定所述检测结果为目标磁盘故障。6.根据权利要求4所述的磁盘故障检测方法，其特征在于，所述利用二分类模型对所述新目标域数据进行检测，获得所述检测结果，包括：将所述新目标域数据输入至所述二分类模型进行检测处理，获得所述检测结果；所述检测结果为目标磁盘正常或目标磁盘故障。7.根据权利要求1所述的磁盘故障检测方法，其特征在于，所述对历史磁盘进行磁盘参数采集，获得初始源域数据之后，还包括：对所述初始源域数据进行预处理操作；其中，所述预处理操作包括缺失值处理操作、归
一化处理操作、数据属性重构操作中的一种或多种。8.一种磁盘故障检测装置，其特征在于，包括：第一采集模块，用于对历史磁盘进行磁盘参数采集，获得初始源域数据；第二采集模块，用于对目标磁盘进行磁盘参数采集，获得初始目标域数据；降维模块，用于分别对所述初始源域数据和所述初始目标域数据进行降维处理，获得相同特征维度下的源域数据和目标域数据；迁移模块，用于根据所述源域数据和所述目标域数据进行迁移学习，获得所述源域数据中的迁移数据，并将所述迁移数据与所述目标域数据组合为新目标域数据；检测模块，用于利用预设检测模型对所述新目标域数据进行检测，获得检测结果。9.一种电子设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至7任一项所述的磁盘故障检测方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的磁盘故障检测方法的步骤。

技术总结
本申请公开了一种磁盘故障检测方法，包括：对历史磁盘进行磁盘参数采集，获得初始源域数据；对目标磁盘进行磁盘参数采集，获得初始目标域数据；分别对所述初始源域数据和所述初始目标域数据进行降维处理，获得相同特征维度下的源域数据和目标域数据；根据所述源域数据和所述目标域数据进行迁移学习，获得所述源域数据中的迁移数据，并将所述迁移数据与所述目标域数据组合为新目标域数据；利用预设检测模型对所述新目标域数据进行检测，获得检测结果。应用本申请所提供的技术方案，可以实现更为准确的磁盘故障检测。本申请还公开了一种磁盘故障检测装置、电子设备以及计算机可读存储介质，同样具有上述技术效果。同样具有上述技术效果。同样具有上述技术效果。


技术研发人员：陈静静 孙华锦
受保护的技术使用者：山东云海国创云计算装备产业创新中心有限公司
技术研发日：2023.06.29
技术公布日：2023/10/5