一种基于安防监控静态存储器的检测设备及检测方法与流程

1.本发明涉及半导体领域，具体来说，尤其涉及一种基于安防监控静态存储器的检测设备及检测方法。


背景技术：

2.静态存储器（static random access memory，简称sram）是一种存储数据的电子器件，它可以在不需要刷新的情况下保持数据，因此也被称为“静态”存储器。静态存储器通常用于高性能计算机、图形处理器、路由器、交换机等应用中，因为它具有快速读写速度、低功耗和易于集成等优点。
3.静态存储器是计算机中的重要组成部分，其可靠性和稳定性对计算机系统的运行至关重要。以下是几种常见的静态存储器检测方法：1、动态故障注入法：该方法通过在静态存储器的电路中注入电压脉冲或电磁辐射等外部干扰，来模拟存储器发生故障的情况，从而进行测试和评估2、等效判别诊断法：该方法通过建立一个等效的模型来代替实际的存储器电路，并针对这个模型进行故障检测和诊断。
4.3、故障模式分析法：该方法通过对存储器中可能出现的各种故障模式进行分析，从而确定存储器可能出现的所有故障类型，并根据这些故障类型来设计检测方法。
5.现有技术中，存在针对安防设备的异常检测方法及系统：公开号为cn114627079b的中国专利公开了一种基于人工智能的安防监控设备异常检测方法及系统；具体公开了：定目标监控设备，获取目标监控设备采集图像中每个像素位置的标准混合高斯模型；对于每帧图像中每个像素，将该像素的像素值输入相应的标准混合高斯模型计算概率值，基于概率值和相应的标准混合高斯模型的最大概率值得到概率偏差值；统计每帧图像的背景区域中每个像素的光照强度与概率偏差值的比值，得到标准比值；计算目标监控设备采集的实时图像背景区域中每个像素对应的光照强度与概率偏差值的实时比值，与标准比值对比，得到背景区域中每个像素对应的异常值，基于异常值进行目标监控设备的异常检测，可保障安防系统的有效运行。
6.但是，该现有技术是基于概率偏差值进行检测的，存在一定的概率误差，难以做到高精度、高准确性地完成故障检测，特别的，该现有技术仅针对光照强度进行检测，无法获知设备出现色彩时的故障情况。
7.公开号为cn112712021b的中国专利公开了一种基于感知哈希与连通域分析算法的粮面异常状态识别方法；具体公开了：通过定时和实时地采集粮仓内两面的图像进行对比，并自动存储视频流，通过感知哈希算法将当天粮面状态与原始粮面状态进行比对得到相似度，将相似度与事先设定的阈值进行比对来判断粮仓状态是否存在异常，并且在粮仓内粮面状态存在异常时通过连通域算法进行异常区域的识别计算。
8.但是，该现有技术是针对监测对象的异常检测，其检测基准是要求设备本身不会出现故障，该现有技术在发现异常图像时，无法识别出该异常图像是来源于监测对象还是
来源于监测设备。
9.公开号为cn115641538a的中国专利公开了一种设备异常检测方法、装置、计算机设备及存储介质；具体公开了：获取监控设备在至少两个历史时段拍摄的视频信息，以及获取监控设备在当前时段拍摄的视频信息；分别提取至少两个历史时段拍摄的视频信息中的背景和当前时段拍摄的视频信息中的背景，得到至少两个历史时段拍摄的视频信息对应的背景图像和当前时段拍摄的视频信息对应的背景图像；对至少两个历史时段拍摄的视频信息对应的背景图像进行图像融合处理，得到背景基准图像；根据背景基准图像和当前时段拍摄的视频信息对应的背景图像，确定监控设备是否存在异常，降低了监控设备异常检测的实施成本，减少环境干扰对监控设备异常检测的影响，避免误检。
10.但是，该现有技术同样依赖于高斯算法，其数学基础为正态分布统计，而正态分布统计在的区间外存在约1%的误差，该误差率在面对图像文件这类高比特量的数据时，误差概率会被放大，造成识别精度较低。
11.但是上述方法在使用的检测的过程中，动态故障注入法需要对存储器进行外部干扰，可能会导致存储器实际工作时不会出现的故障被模拟出来，从而误判存储器的可靠性。等效判别诊断法法建立的等效模型可能与实际存储器存在差异，从而影响诊断结果的准确性。故障模式分析法，需要对不同故障类型进行分析和识别，因此需要对存储器电路有深入的了解。此外，故障模式分析法不能检测到一些异常情况，如存储器中的单个位错误。
12.针对相关技术中的问题，目前尚未提出有效的解决方案。


技术实现要素：

13.针对现有技术的不足，本发明旨在提出一种基于安防监控静态存储器的检测设备及检测方法，具备检测效率和精度高的优点，目的在于解决现有技术中一些常见的检测方法存在缺点的问题。
14.为实现上述检测效率和精度高的优点，本发明采用的具体技术方案如下：根据本发明的一个方面，提高了一种基于安防监控静态存储器的检测设备，包括检测仪本体，所述检测仪本体的顶部设置有实时交互模块，所述检测仪本体的正面顶部且位于所述实时交互模块的一侧设置有摄像头模块，所述检测仪本体内部依次设置有三维重建模块、局部敏感哈希森林异常检测模块、异常分析模块及k-近邻搜索模块；其中，所述摄像头模块，用于使用全景摄像头多视角捕捉晶圆表面的静态存储器图像，得到多源图像数据；所述三维重建模块，用于利用多源图像数据构建三维模型，并融合为虚拟交互环境；所述局部敏感哈希森林异常检测模块，用于利用局部敏感哈希孤立森林算法对虚拟交互场景中静态存储器图像进行异常检测；所述异常分析模块，用于根据异常检测结果，分析虚拟交互场景中静态存储器图像中存在缺陷的区域；所述k-近邻搜索模块，用于采用k-近邻搜索算法查询发生数据异常的位置；所述实时交互模块，用于利用实时交互模块将异常区域高亮显示，并提供交互功能。
15.可选地，所述三维重建模块包括特征提取模块、图像匹配模块、运动回复与三维点云生产模块、全局优化模块、点云融合与表面重建模块、纹理映射模块及虚拟交互环境构建模块；所述特征提取模块，用于获取多源图像数据，并提取多源图像数据的特征描述子；所述图像匹配模块，用于根据特征描述子计算图像间的相似性，找到彼此间存在的特征点匹配对；所述运动回复与三维点云生产模块，用于根据特征点匹配对求解两个相邻图像间的本征矩阵，恢复相机之间的运动关系，并使用三角测量法计算匹配特征点在真实世界中的三维坐标，生成初始的三维点云；所述全局优化模块，用于将多源图像数据的相机姿态和三维点云整合到统一的坐标系中，并进行全局优化；所述点云融合与表面重建模块，用于将三维点云进行融合，并通过表面重建算法从点云数据中提取三维模型的表面信息；所述纹理映射模块，用于将原始图像中的颜色信息映射到三维模型的表面上，得到重建好的三维模型；所述虚拟交互环境构建模块，用于将重建好的三维模型导入虚拟现实平台，设并置光照和材质属性，并构建虚拟交互环境。
16.可选地，所述运动回复与三维点云生产模块包括特征描述子提取模块、特征点匹配模块、本质矩阵计算模块、恢复相机运动模块、三角测量模块及初始三维点云生成模块；所述特征描述子提取模块，用于在两张相邻图片中提取出一组稳定的特征点，并为每个特征点计算其特征描述子；所述特征点匹配模块，用于找到两张相邻图片中互相匹配的特征点对；所述本质矩阵计算模块，用于在相机内参已知的情况下，计算出两个相机之间的本质矩阵；所述恢复相机运动模块，用于通过本质矩阵分解得到旋转矩阵和平移向量，进而计算出相机之间的运动；所述三角测量模块，用于根据特征点对和本质矩阵，利用三角测量法计算出其在真实世界中的三维坐标；所述初始三维点云生成模块，用于将所有的三维坐标相连接，生成初始的三维点云。
17.可选地，所述点云融合与表面重建模块包括三维点云融合模块、方向场计算模块及三角网格生成模块；所述三维点云融合模块，用于将不同视角的三维点云进行融合，使得各个三维点云在同一个坐标系中对齐；所述方向场计算模块，用于计算每个三维点云在点云中的法向量，利用已知的法向量信息，将点云投影到一个规则的网格上，计算出每个网格的方向场，并在整个网格上求解泊松方程，得到每个网格单元的高度值；所述三角网格生成模块，用于根据求解出的高度值，构建一个连续的三角网格，并将三角网格输出为常见的三维模型文件格式。
18.可选地，所述局部敏感哈希森林异常检测模块包括特征向量提取模块、局部敏感哈希模块及孤立森林异常检测模块；所述特征向量提取模块，用于提取静态存储器图像数据的特征向量，并将静态存储器图像数据转换为固定长度的数值向量；所述局部敏感哈希模块，用于利用局部敏感哈希算法将数值向量中相似的数据点映射到相近的桶中，得到哈希表；所述孤立森林异常检测模块，用于将哈希表作为输入，利用孤立森林算法进行异常检测，得到异常检测结果。
19.可选地，所述局部敏感哈希模块包括局部敏感哈希函数族模块、哈希值计算模块、相似数据点查询模块；所述局部敏感哈希函数族模块，用于选择局部敏感哈希函数族，确定要使用的哈希函数数量及分配给每个哈希桶的位数；所述哈希值计算模块，用于遍历输入的数值向量，并计算每个数据点在所有哈希函数下的哈希值，将计算得到的哈希值组合成一个哈希签名；所述相似数据点查询模块，用于将哈希签名映射到对应的哈希桶中，给定的查询数据点，计算其哈希签名，并后在哈希表中找到对应的桶，遍历该桶内的所有数据点，计算与查询点的相似度，返回相似度最高的数据点作为输出结果，得到哈希表。
20.可选地，所述孤立森林异常检测模块包括哈希表转换模块、孤立森林构建模型、路径长度计算模块及异常点判断模块；所述哈希表转换模块，用于将哈希表转换为数据点的特征向量集合，对于特征向量集合的每个数据点，创建长度等于哈希桶数量的向量，并根据数据点在哈希表中的分布填充向量元素；所述孤立森林构建模型，用于根据参数设置，创建并构建孤立森林模型；所述路径长度计算模块，用于遍历孤立森林中的每棵树，计算每个数据点在树上的路径长度；所述异常点判断模块，用于将每个数据点在所有树上的平均路径长度转换为异常分数，并设定阈值来判断数据点是否异常。
21.可选地，所述k-近邻搜索模块包括异常数据点查询模块、异常点距离计算模块、k-邻近选择模块及k-邻近分析模块；所述异常数据点查询模块，用于根据异常检测结果，确定要查询的异常数据点；所述异常点距离计算模块，用于遍历数据集中的每个数据点，利用形态相似距离计算异常数据点之间的距离；所述k-邻近选择模块，用于将计算的距离排序，并选取距离最小的k个数据点作为异常数据点的k-近邻；所述k-邻近分析模块，用于根据k-近邻的搜索结果，分析异常数据点所在的位置及附近的其他数据点。
22.可选地，所述利用形态相似距离计算异常数据点之间的距离的公式为：式中，为异常点之间的欧氏距离；
为异常点之间的曼哈顿距离；为异常点之间的各维差值之和的绝对值。
23.根据本发明的一个方面，提高了一种基于安防监控静态存储器的检测方法，该检测方法包括以下步骤：s1、使用全景摄像头多视角捕捉晶圆表面的静态存储器图像，得到多源图像数据；s2、利用多源图像数据构建三维模型，并融合为虚拟交互环境；s3、利用局部敏感哈希孤立森林算法对虚拟交互场景中静态存储器图像进行异常检测；s4跟据异常检测结果，分析虚拟交互场景中静态存储器图像中存在缺陷的区域；s5、利用k-近邻搜索算法查询发生数据异常的位置；s6、利用实时交互模块将异常区域高亮显示，并提供交互功能。
24.相较于现有技术，本发明提供了基于安防监控静态存储器的检测设备及检测方法，具备以下有益效果：（1）本发明使用全景摄像头多视角捕捉晶圆表面的静态存储器图像，能够获得丰富的数据信息，提高分析准确性，通过三维模型和虚拟交互环境的构建，使得数据可视化更加直观，便于观察和分析，结合局部敏感哈希孤立森林算法、k-近邻搜索算法等多种算法进行异常检测和定位，提高了检测效率和精度。
25.（2）本发明通过整合多源图像数据，三维模型将更加真实地反映现实场景，用户在虚拟交互环境中可以获得更高质量、更真实感强烈的视觉体验，多源图像数据可以帮助提高三维模型的准确性和细节展示，这种方式可以降低因单一数据源导致的误差或缺失信息，从而提供更全面、高质量的模型，虚拟交互环境可以为用户提供多种互动方式，如点击、拖拽、旋转、缩放等，这种丰富的交互功能使得用户能够更自由地探索三维模型，增强沉浸感和参与度，利用多源图像数据构建三维模型并融合为虚拟交互环境可以广泛应用于各种行业，虚拟交互环境可以实现远程协同工作，用户在不同地域可以同时操作和参与项目。
26.（3）本发明孤立森林算法通过构建多棵树并随机选择属性进行分割来实现高效的异常检测，相较于其他基于距离或密度的异常检测算法，孤立森林在训练和检测过程中具有更快的速度，能够应对不同类型和分布的数据集，无论数据集是否均匀、分布是否平衡，该方法都能找出异常样本，由于孤立森林在构建过程中采用随机属性选择和分割策略，对异常点具有较高的检测准确性，同时，局部敏感哈希技术在降维过程中保留了数据点之间的相似性度量，从而提高了异常定位的准确性。
27.（4）本发明k-近邻搜索算法原理简单，容易理解，实现起来相对较为简洁，只需计算待查询点与其他数据点之间的距离，然后选取最近的k个邻居来进行分析，k-近邻算法对于异常值和噪声具有较强的鲁棒性，通过考虑k个最近邻居的信息，可以降低个别异常值对结果的影响，k-近邻搜索算法对于非线性和多变的数据分布有较好的适应性，它不需要假设数据服从特定的分布或具有某种结构，因此在复杂的数据环境中仍能表现良好。
附图说明
28.结合实施例的以下描述，本发明的上述特性、特征和优点及其实现方式和方法变
得更明白易懂，实施例结合附图详细阐述。在此以示意图示出：图1是根据本发明实施例的基于安防监控静态存储器的检测设备的结构示意图；图2是根据本发明实施例的基于安防监控静态存储器的检测设备的剖视图；图3是根据本发明实施例的基于安防监控静态存储器的检测设备的原理框图；图4是根据本发明实施例的基于安防监控静态存储器的检测设备的原理框图中三维重建模块的原理框图；图5是根据本发明实施例的基于安防监控静态存储器的检测设备的原理框图中局部敏感哈希森林异常检测模块的原理框图；图6是根据本发明实施例的基于安防监控静态存储器的检测设备的原理框图中k-近邻搜索模块的原理框图。
29.图中：1、检测仪本体；101、实时交互模块；102、摄像头模块；103、三维重建模块；1031、特征提取模块；1032、图像匹配模块；1033、运动回复与三维点云生产模块；1034、全局优化模块；1035、点云融合与表面重建模块；1036、纹理映射模块；1037、虚拟交互环境构建模块；104、局部敏感哈希森林异常检测模块；1041、特征向量提取模块；1042、局部敏感哈希模块；1043、孤立森林异常检测模块；105、异常分析模块；106、k-近邻搜索模块；1061、异常数据点查询模块；1062、异常点距离计算模块；1063、k-邻近选择模块；1064、k-邻近分析模块；107、光源模块；108、警报模块；109、操控按钮。
具体实施方式
30.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.根据本发明的实施例，提供了一种基于安防监控静态存储器的检测设备及检测方法。
32.现结合附图和具体实施方式对本发明进一步说明，如图1-图6所示，根据本发明实施例，提供了一种基于安防监控静态存储器的检测设备，包括检测仪本体1，所述检测仪本体1的顶部设置有实时交互模块101，所述检测仪本体1的正面顶部且位于所述实时交互模块101的一侧设置有摄像头模块102，所述检测仪本体1内部依次设置有三维重建模块103、局部敏感哈希森林异常检测模块104、异常分析模块105及k-近邻搜索模块106。
33.此外，摄像头模块102的一侧两端设置有光源模块107，检测仪本体1正面顶部且位于有实时交互模块101一侧设置有警报模块108，所述警报模块108的一侧设置有位于所述检测仪本体1表面的若干操控按钮109。
34.具体地，为了便于本领域技术人员更好的理解，本技术相关实施例，现对本技术可能涉及的技术术语或者部分名词进行解释：描述子：是指一种对于物体或图像的特征进行数学描述的方法。在计算机视觉、模式识别、图像处理等领域中，使用描述子来描述物体或图像的特征，可以用来进行分类、检索、匹配等任务。常见的描述子包括sift、surf、orb等，它们通常具有旋转不变性、尺度不变
性、光照不变性等特点，能够在多个场景下进行有效的特征提取和匹配。
35.桶：在局部敏感哈希算法（lsh算法）中，将数据点映射到相近的“桶”中意味着将具有相似特征的数据点分组存储在同一个“桶”中。这里的“桶”可以理解为一种存储结构，用于将相似的数据点聚集在一起以便更快地进行相似度匹配和查询。简单来说，“桶”就是一组数据点的容器，其中的数据点具有某些共同的特征或者相似的属性。通过使用局部敏感哈希算法分布式地将相似的数据点映射到相近的“桶”中，可以实现高效的相似度搜索和查询。
36.其中，所述摄像头模块102，用于使用全景摄像头多视角捕捉晶圆表面的静态存储器图像，得到多源图像数据。
37.具体的，由于全景摄像头可以捕捉晶圆表面的多个角度的图像，因此可以提供更全面、更详细的信息，从而提高了静态存储器测试的准确性，使用全景摄像头可以实现快速捕捉多个视角的图像，并将其合并成一个完整的图像，从而节省了时间和人力成本。
38.所述三维重建模块103，用于利用多源图像数据构建三维模型，并融合为虚拟交互环境。
39.优选地，所述三维重建模块103包括特征提取模块1031、图像匹配模块1032、运动回复与三维点云生产模块1033、全局优化模块1034、点云融合与表面重建模块1035、纹理映射模块1036及虚拟交互环境构建模块1037；所述特征提取模块1031，用于获取多源图像数据，并提取多源图像数据的特征描述子；所述图像匹配模块1032，用于根据特征描述子计算图像间的相似性，找到彼此间存在的特征点匹配对；所述运动回复与三维点云生产模块1033，用于根据特征点匹配对求解两个相邻图像间的本征矩阵，恢复相机之间的运动关系，并使用三角测量法计算匹配特征点在真实世界中的三维坐标，生成初始的三维点云；所述全局优化模块1034，用于将多源图像数据的相机姿态和三维点云整合到统一的坐标系中，并进行全局优化；所述点云融合与表面重建模块1035，用于将三维点云进行融合，并通过表面重建算法从点云数据中提取三维模型的表面信息；所述纹理映射模块1036，用于将原始图像中的颜色信息映射到三维模型的表面上，得到重建好的三维模型；所述虚拟交互环境构建模块1037，用于将重建好的三维模型导入虚拟现实平台，设并置光照和材质属性，并构建虚拟交互环境。
40.具体的，特征点匹配对是指在两张相邻图像中通过特征点检测和描述子匹配，找到一组互相匹配的特征点对。而匹配特征点之间的关系则是基于这些匹配对来计算本征矩阵、恢复相机运动关系和三角测量法计算三维坐标等步骤所需的关键信息。具体来说，在计算本征矩阵时，需要使用特征点匹配对来解算本质矩阵，从而计算出相机运动参数；在进行三角测量时，需要使用匹配特征点的像素坐标和相机内参来计算特征点在真实世界中的三维坐标。因此，特征点匹配对和匹配特征点之间的关系紧密相关，是计算相机位姿和生成三维点云的重要基础。匹配特征点、本征矩阵和特征点匹配对都是计算机视觉中用于求解相
机运动关系和三维重建的重要概念，它们之间存在密切的关系。首先，特征点匹配对是指在两张图片中找到互相匹配的特征点对，这些特征点代表了同一物体或场景在不同视角下的投影，能够提供图像间的几何信息。通过特征点匹配对，我们可以通过解算本质矩阵来估计相机姿态之间的运动关系，这个过程称为本征矩阵的计算。本征矩阵可以通过至少8个特征点匹配对进行计算，而且本质矩阵的8个自由度恰好对应着8个特征点匹配对。其次，本征矩阵是描述两个相机之间的运动关系的重要工具。本征矩阵可以将匹配特征点从一个相机坐标系变换到另一个相机坐标系，并且可以分解出旋转和平移矩阵。通过本征矩阵计算得到的相机运动参数，我们可以进一步恢复相机在三维空间中的运动轨迹。最后，匹配特征点是计算本征矩阵和恢复相机姿态所必需的信息。通过匹配好的特征点对，我们可以计算出相机之间的本质矩阵，从而得到相机姿态之间的旋转和平移矩阵，并用三角测量法计算匹配特征点在真实世界中的三维坐标，生成三维点云。因此，匹配特征点、本征矩阵和特征点匹配对是计算机视觉中密切相关的概念，它们共同构成了求解相机运动关系和三维重建的基础。
41.优选地，所述运动回复与三维点云生产模块1033包括特征描述子提取模块、特征点匹配模块、本质矩阵计算模块、恢复相机运动模块、三角测量模块及初始三维点云生成模块；所述特征描述子提取模块，用于在两张相邻图片中提取出一组稳定的特征点，并为每个特征点计算其特征描述子；所述特征点匹配模块，用于找到两张相邻图片中互相匹配的特征点对；所述本质矩阵计算模块，用于在相机内参已知的情况下，计算出两个相机之间的本质矩阵；所述恢复相机运动模块，用于通过本质矩阵分解得到旋转矩阵和平移向量，进而计算出相机之间的运动；所述三角测量模块，用于根据特征点对和本质矩阵，利用三角测量法计算出其在真实世界中的三维坐标；所述初始三维点云生成模块，用于将所有的三维坐标相连接，生成初始的三维点云。
42.具体的，利用三角测量法计算出其在真实世界中的三维坐标需要对两张图像中同一物体的特征点进行匹配。通常可以使用sift、surf等算法来进行特征点检测和匹配，同时为了获取相机内参、外参等参数，需要对相机进行标定。标定过程可以通过拍摄棋盘格或者其他已知三维模型进行，在匹配到足够多的特征点对后，可以使用ransac等算法来估计本质矩阵，根据特征点对和本质矩阵，利用三角测量法计算出其在真实世界中的三维坐标。这个过程主要是利用相似三角形原理和向量运算来进行计算，由于不同的相机可能采用不同的坐标系统，因此需要将计算得到的三维坐标进行坐标系转换，以适应不同的应用场景。
43.优选地，所述点云融合与表面重建模块1035包括三维点云融合模块、方向场计算模块及三角网格生成模块；所述三维点云融合模块，用于将不同视角的三维点云进行融合，使得各个三维点云在同一个坐标系中对齐；所述方向场计算模块，用于计算每个三维点云在点云中的法向量，利用已知的法
向量信息，将点云投影到一个规则的网格上，计算出每个网格的方向场，并在整个网格上求解泊松方程，得到每个网格单元的高度值；所述三角网格生成模块，用于根据求解出的高度值，构建一个连续的三角网格，并将三角网格输出为常见的三维模型文件格式。
44.具体的，在整个网格上求解泊松方程，得到每个网格单元的高度值的步骤包括：需要确定边界条件，即在哪些点需要固定高度。通常情况下，这些点对应于模型表面上的点，需要构建系数矩阵。该矩阵的每一行对应于一个网格单元，并且需要根据该单元与相邻单元之间的关系来设置系数，接下来，将系数矩阵和边界条件代入泊松方程中，形成一个线性方程组。可以使用迭代法（如jacobi法、gauss-seidel法）或直接法（如lu分解、cholesky分解）等方法来求解该方程组，最后，计算每个网格单元的高度值。可以通过将每个网格单元的四个顶点的高度值加权平均来求解该单元内部所有点的高度值。
45.所述局部敏感哈希森林异常检测模块104，用于利用局部敏感哈希孤立森林算法对虚拟交互场景中静态存储器图像进行异常检测。
46.优选地，所述局部敏感哈希森林异常检测模块104包括特征向量提取模块1041、局部敏感哈希模块1042及孤立森林异常检测模块1043；所述特征向量提取模块1041，用于提取静态存储器图像数据的特征向量，并将静态存储器图像数据转换为固定长度的数值向量；所述局部敏感哈希模块1042，用于利用局部敏感哈希算法将数值向量中相似的数据点映射到相近的桶中，得到哈希表；所述孤立森林异常检测模块1043，用于将哈希表作为输入，利用孤立森林算法进行异常检测，得到异常检测结果。
47.优选地，所述局部敏感哈希模块1042包括局部敏感哈希函数族模块、哈希值计算模块、相似数据点查询模块；所述局部敏感哈希函数族模块，用于选择局部敏感哈希函数族，确定要使用的哈希函数数量及分配给每个哈希桶的位数；所述哈希值计算模块，用于遍历输入的数值向量，并计算每个数据点在所有哈希函数下的哈希值，将计算得到的哈希值组合成一个哈希签名；所述相似数据点查询模块，用于将哈希签名映射到对应的哈希桶中，给定的查询数据点，计算其哈希签名，并后在哈希表中找到对应的桶，遍历该桶内的所有数据点，计算与查询点的相似度，返回相似度最高的数据点作为输出结果，得到哈希表。
48.优选地，所述孤立森林异常检测模块1043包括哈希表转换模块、孤立森林构建模型、路径长度计算模块及异常点判断模块；所述哈希表转换模块，用于将哈希表转换为数据点的特征向量集合，对于特征向量集合的每个数据点，创建长度等于哈希桶数量的向量，并根据数据点在哈希表中的分布填充向量元素；所述孤立森林构建模型，用于根据参数设置（如树的数量、树的最大深度等），创建并构建孤立森林模型；所述路径长度计算模块，用于遍历孤立森林中的每棵树，计算每个数据点在树上的路径长度；
此外，路径长度表示从根节点到一个叶子节点的距离，较短的路径表示可能是异常点；所述异常点判断模块，用于将每个数据点在所有树上的平均路径长度转换为异常分数，并设定阈值来判断数据点是否异常。
49.需要说明的是，异常分数可以通过归一化处理，使其范围在0到1之间。分数越接近1，表示该数据点越可能是异常点。
50.所述异常分析模块105，用于根据异常检测结果，分析虚拟交互场景中静态存储器图像中存在缺陷的区域。
51.需要说明的是，可是使用需要使用机器学习、深度学习等方法对静态存储器图像进行异常检测，识别出可能存在缺陷的区域，将检测到的异常区域进行分割，确定每个区域的边界和大小。可以使用基于阈值的方法（如otsu算法）、基于边缘的方法（如canny算法）或基于分水岭的方法（如watershed算法）等来进行图像分割，针对每个异常区域，需要提取一些特征信息，以便后续分析。这些特征可以包括颜色、纹理、形状等方面的信息，根据提取到的特征信息，将异常区域进行分类。可以使用支持向量机（svm）、决策树等机器学习方法来进行区域分类。
52.所述k-近邻搜索模块106，用于采用k-近邻搜索算法查询发生数据异常的位置。
53.优选地，所述k-近邻搜索模块106包括异常数据点查询模块1061、异常点距离计算模块1062、k-邻近选择模块1063及k-邻近分析模块1064；所述异常数据点查询模块1061，用于根据异常检测结果，确定要查询的异常数据点；所述异常点距离计算模块1062，用于遍历数据集中的每个数据点，利用形态相似距离计算异常数据点之间的距离；所述k-邻近选择模块1063，用于将计算的距离排序，并选取距离最小的k个数据点作为异常数据点的k-近邻；所述k-邻近分析模块1064，用于根据k-近邻的搜索结果，分析异常数据点所在的位置及附近的其他数据点。
54.优选地，所述利用形态相似距离计算异常数据点之间的距离的公式为：式中，为异常点之间的欧氏距离；为异常点之间的曼哈顿距离；为异常点之间的各维差值之和的绝对值。
55.需要说明的是，欧氏距离是指在二维或三维空间中两点之间的直线距离。曼哈顿距离又称为城市街区距离，是指在二维空间中两点之间的沿着网格线走的距离。异常点是指在数据集中与其他点差异较大的点。
56.因此，这个公式的含义是计算两个数据点在各个维度上的差值之和的绝对值，用来衡量它们在多个维度上的相似程度或差异程度。在异常点检测等领域中，这个公式可以用来判断某个点是否与其他点差异较大，从而识别出异常点。
57.所述实时交互模块101，用于利用实时交互模块将异常区域高亮显示，并提供交互
功能。
58.需要说明的是，针对利用实时交互模块将异常区域高亮显示，利用实时交互模块将异常区域高亮显示，可以使用矩形、圆形或多边形等形状来表示高亮区域，可以通过添加事件监听器或响应函数来实现。例如，当用户单击高亮区域时，可以显示有关该区域的详细信息，可以更改高亮颜色、透明度和边框宽度等属性来增强可视化效果，将实时交互模块集成到应用程序中，并确保其与数据源（例如数据库）相连接。
59.根据本发明的另一个实施例，还提供了一种基于安防监控静态存储器的检测方法，该检测方法包括以下步骤：s1、使用全景摄像头多视角捕捉晶圆表面的静态存储器图像，得到多源图像数据；s2、利用多源图像数据构建三维模型，并融合为虚拟交互环境；s3、利用局部敏感哈希孤立森林算法对虚拟交互场景中静态存储器图像进行异常检测；s4跟据异常检测结果，分析虚拟交互场景中静态存储器图像中存在缺陷的区域；s5、利用k-近邻搜索算法查询发生数据异常的位置；s6、利用实时交互模块将异常区域高亮显示，并提供交互功能。
60.综上所述，借助于本发明的上述技术方案，本发明使用全景摄像头多视角捕捉晶圆表面的静态存储器图像，能够获得丰富的数据信息，提高分析准确性，通过三维模型和虚拟交互环境的构建，使得数据可视化更加直观，便于观察和分析，结合局部敏感哈希孤立森林算法、k-近邻搜索算法等多种算法进行异常检测和定位，提高了检测效率和精度；本发明通过整合多源图像数据，三维模型将更加真实地反映现实场景，用户在虚拟交互环境中可以获得更高质量、更真实感强烈的视觉体验，多源图像数据可以帮助提高三维模型的准确性和细节展示，这种方式可以降低因单一数据源导致的误差或缺失信息，从而提供更全面、高质量的模型，虚拟交互环境可以为用户提供多种互动方式，如点击、拖拽、旋转、缩放等，这种丰富的交互功能使得用户能够更自由地探索三维模型，增强沉浸感和参与度，利用多源图像数据构建三维模型并融合为虚拟交互环境可以广泛应用于各种行业，虚拟交互环境可以实现远程协同工作，用户在不同地域可以同时操作和参与项目，本发明孤立森林算法通过构建多棵树并随机选择属性进行分割来实现高效的异常检测，相较于其他基于距离或密度的异常检测算法，孤立森林在训练和检测过程中具有更快的速度，能够应对不同类型和分布的数据集，无论数据集是否均匀、分布是否平衡，该方法都能找出异常样本，由于孤立森林在构建过程中采用随机属性选择和分割策略，对异常点具有较高的检测准确性，同时，局部敏感哈希技术在降维过程中保留了数据点之间的相似性度量，从而提高了异常定位的准确性；本发明k-近邻搜索算法原理简单，容易理解，实现起来相对较为简洁，只需计算待查询点与其他数据点之间的距离，然后选取最近的k个邻居来进行分析，k-近邻算法对于异常值和噪声具有较强的鲁棒性，通过考虑k个最近邻居的信息，可以降低个别异常值对结果的影响，k-近邻搜索算法对于非线性和多变的数据分布有较好的适应性，它不需要假设数据服从特定的分布或具有某种结构，因此在复杂的数据环境中仍能表现良好。
61.虽然本发明已以较佳实施例揭示如上，然所述实施例仅为了便于说明而举例而已，并非用以限定本发明，本领域的技术人员在不脱离本发明精神和范围的前提下可作若干的更动与润饰，本发明所主张的保护范围应以权利要求书所述为准。

技术特征：
1.一种基于安防监控静态存储器的检测设备，其特征在于，包括检测仪本体（1），所述检测仪本体（1）的顶部设置有实时交互模块（101），所述检测仪本体（1）的正面顶部且位于所述实时交互模块（101）的一侧设置有摄像头模块（102），所述检测仪本体（1）内部依次设置有三维重建模块（103）、局部敏感哈希森林异常检测模块（104）、异常分析模块（105）及k-近邻搜索模块（106）；其中，所述摄像头模块（102），用于使用全景摄像头多视角捕捉晶圆表面的静态存储器图像，得到多源图像数据；所述三维重建模块（103），用于利用多源图像数据构建三维模型，并融合为虚拟交互环境；所述局部敏感哈希森林异常检测模块（104），用于利用局部敏感哈希孤立森林算法对虚拟交互场景中静态存储器图像进行异常检测；所述异常分析模块（105），用于根据异常检测结果，分析虚拟交互场景中静态存储器图像中存在缺陷的区域；所述k-近邻搜索模块（106），用于采用k-近邻搜索算法查询发生数据异常的位置；所述实时交互模块（101），用于利用实时交互模块将异常区域高亮显示，并提供交互功能。2.根据权利要求1所述的一种基于安防监控静态存储器的检测设备，其特征在于，所述三维重建模块（103）包括特征提取模块（1031）、图像匹配模块（1032）、运动回复与三维点云生产模块（1033）、全局优化模块（1034）、点云融合与表面重建模块（1035）、纹理映射模块（1036）及虚拟交互环境构建模块（1037）；所述特征提取模块（1031），用于获取多源图像数据，并提取多源图像数据的特征描述子；所述图像匹配模块（1032），用于根据特征描述子计算图像间的相似性，找到彼此间存在的特征点匹配对；所述运动回复与三维点云生产模块（1033），用于根据特征点匹配对求解两个相邻图像间的本征矩阵，恢复相机之间的运动关系，并使用三角测量法计算匹配特征点在真实世界中的三维坐标，生成初始的三维点云；所述全局优化模块（1034），用于将多源图像数据的相机姿态和三维点云整合到统一的坐标系中，并进行全局优化；所述点云融合与表面重建模块（1035），用于将三维点云进行融合，并通过表面重建算法从点云数据中提取三维模型的表面信息；所述纹理映射模块（1036），用于将原始图像中的颜色信息映射到三维模型的表面上，得到重建好的三维模型；所述虚拟交互环境构建模块（1037），用于将重建好的三维模型导入虚拟现实平台，设并置光照和材质属性，并构建虚拟交互环境。3.根据权利要求2所述的一种基于安防监控静态存储器的检测设备，其特征在于，所述运动回复与三维点云生产模块（1033）包括特征描述子提取模块、特征点匹配模块、本质矩阵计算模块、恢复相机运动模块、三角测量模块及初始三维点云生成模块；所述特征描述子提取模块，用于在两张相邻图片中提取出一组稳定的特征点，并为每
个特征点计算其特征描述子；所述特征点匹配模块，用于找到两张相邻图片中互相匹配的特征点对；所述本质矩阵计算模块，用于在相机内参已知的情况下，计算出两个相机之间的本质矩阵；所述恢复相机运动模块，用于通过本质矩阵分解得到旋转矩阵和平移向量，进而计算出相机之间的运动；所述三角测量模块，用于根据特征点对和本质矩阵，利用三角测量法计算出其在真实世界中的三维坐标；所述初始三维点云生成模块，用于将所有的三维坐标相连接，生成初始的三维点云。4.根据权利要求3所述的一种基于安防监控静态存储器的检测设备，其特征在于，所述点云融合与表面重建模块（1035）包括三维点云融合模块、方向场计算模块及三角网格生成模块；所述三维点云融合模块，用于将不同视角的三维点云进行融合，使得各个三维点云在同一个坐标系中对齐；所述方向场计算模块，用于计算每个三维点云在点云中的法向量，利用已知的法向量信息，将点云投影到一个规则的网格上，计算出每个网格的方向场，并在整个网格上求解泊松方程，得到每个网格单元的高度值；所述三角网格生成模块，用于根据求解出的高度值，构建一个连续的三角网格，并将三角网格输出为常见的三维模型文件格式。5.根据权利要求4所述的一种基于安防监控静态存储器的检测设备，其特征在于，所述局部敏感哈希森林异常检测模块（104）包括特征向量提取模块（1041）、局部敏感哈希模块（1042）及孤立森林异常检测模块（1043）；所述特征向量提取模块（1041），用于提取静态存储器图像数据的特征向量，并将静态存储器图像数据转换为固定长度的数值向量；所述局部敏感哈希模块（1042），用于利用局部敏感哈希算法将数值向量中相似的数据点映射到相近的桶中，得到哈希表；所述孤立森林异常检测模块（1043），用于将哈希表作为输入，利用孤立森林算法进行异常检测，得到异常检测结果。6.根据权利要求5所述的一种基于安防监控静态存储器的检测设备，其特征在于，所述局部敏感哈希模块（1042）包括局部敏感哈希函数族模块、哈希值计算模块、相似数据点查询模块；所述局部敏感哈希函数族模块，用于选择局部敏感哈希函数族，确定要使用的哈希函数数量及分配给每个哈希桶的位数；所述哈希值计算模块，用于遍历输入的数值向量，并计算每个数据点在所有哈希函数下的哈希值，将计算得到的哈希值组合成一个哈希签名；所述相似数据点查询模块，用于将哈希签名映射到对应的哈希桶中，给定的查询数据点，计算其哈希签名，并后在哈希表中找到对应的桶，遍历该桶内的所有数据点，计算与查询点的相似度，返回相似度最高的数据点作为输出结果，得到哈希表。7.根据权利要求6所述的一种基于安防监控静态存储器的检测设备，其特征在于，所述
孤立森林异常检测模块（1043）包括哈希表转换模块、孤立森林构建模型、路径长度计算模块及异常点判断模块；所述哈希表转换模块，用于将哈希表转换为数据点的特征向量集合，对于特征向量集合的每个数据点，创建长度等于哈希桶数量的向量，并根据数据点在哈希表中的分布填充向量元素；所述孤立森林构建模型，用于根据参数设置，创建并构建孤立森林模型；所述路径长度计算模块，用于遍历孤立森林中的每棵树，计算每个数据点在树上的路径长度；所述异常点判断模块，用于将每个数据点在所有树上的平均路径长度转换为异常分数，并设定阈值来判断数据点是否异常。8.根据权利要求7所述的一种基于安防监控静态存储器的检测设备，其特征在于，所述k-近邻搜索模块（106）包括异常数据点查询模块（1061）、异常点距离计算模块（1062）、k-邻近选择模块（1063）及k-邻近分析模块（1064）；所述异常数据点查询模块（1061），用于根据异常检测结果，确定要查询的异常数据点；所述异常点距离计算模块（1062），用于遍历数据集中的每个数据点，利用形态相似距离计算异常数据点之间的距离；所述k-邻近选择模块（1063），用于将计算的距离排序，并选取距离最小的k个数据点作为异常数据点的k-近邻；所述k-邻近分析模块（1064），用于根据k-近邻的搜索结果，分析异常数据点所在的位置及附近的其他数据点。9.根据权利要求8所述的一种基于安防监控静态存储器的检测设备，其特征在于，所述利用形态相似距离计算异常数据点之间的距离的公式为：式中，为异常点之间的欧氏距离；为异常点之间的曼哈顿距离；为异常点之间的各维差值之和的绝对值。10.一种基于安防监控静态存储器的检测方法，用于实现权利要求1-9中任一项所述的基于安防监控静态存储器的检测设备对静态存储器的检测，其特征在于，该检测方法包括以下步骤：s1、使用全景摄像头多视角捕捉晶圆表面的静态存储器图像，得到多源图像数据；s2、利用多源图像数据构建三维模型，并融合为虚拟交互环境；s3、利用局部敏感哈希孤立森林算法对虚拟交互场景中静态存储器图像进行异常检测；s4跟据异常检测结果，分析虚拟交互场景中静态存储器图像中存在缺陷的区域；s5、利用k-近邻搜索算法查询发生数据异常的位置；s6、利用实时交互模块将异常区域高亮显示，并提供交互功能。

技术总结
本发明公开了一种基于安防监控静态存储器的检测设备及检测方法，用于半导体领域，包括检测仪本体，所述检测仪本体的顶部设置有实时交互模块，所述检测仪本体的正面顶部且位于所述实时交互模块的一侧设置有摄像头模块，所述检测仪本体内部依次设置有三维重建模块、局部敏感哈希森林异常检测模块、异常分析模块及k-近邻搜索模块。本发明通过整合多源图像数据，三维模型将更加真实地反映现实场景，用户在虚拟交互环境中可以获得更高质量、更真实感强烈的视觉体验，多源图像数据可以帮助提高三维模型的准确性和细节展示。维模型的准确性和细节展示。维模型的准确性和细节展示。


技术研发人员：蒋瑞
受保护的技术使用者：济南正邦电子科技有限公司
技术研发日：2023.08.28
技术公布日：2023/10/5