一种基于RISC-V的检测加速系统的制作方法

一种基于risc-v的检测加速系统
技术领域
1.本发明涉及深度学习卷积计算硬件加速领域，尤其涉及一种基于risc-v的检测加速系统。


背景技术：

2.人体检测是当前神经网络模型应用的主要方向之一，如智能家居中的儿童和老人行为检测，红绿灯路口、河道边沿的行人安全检测，汽车驾驶的行人检测等等，如何快速实时有效的获取人体检测结果，是关系到生命安全的重要方式。
3.risc-v作为新兴的指令集架构，采用宽松的bsd协议，有着十分浓厚的开源气息，可实现完全自主可控的系统设计。


技术实现要素：

4.为了解决以上技术问题，本发明提供了一种基于risc-v的检测加速系统。
5.本发明的技术方案是：
6.一种基于risc-v的检测加速方法，包括通过总线结构依次连接的摄像头模组、ddr缓存模块、卷积加速模块、risc-v软核e902、flash存储模块、显示单元，卷积加速模块包含输入缓存、乘加阵列和输出缓存。
7.所述ddr缓存模块存储mobilenetv1神经网络模型的权重、偏移量、量化参数和控制卷积计算的指令，用于加载到卷积加速模块，控制卷积加速模块的卷积过程；缓存摄像头采集的图片和卷积加速模块的中间计算结果，降低片上缓存的资源占用。
8.所述卷积加速模块包含输入缓存、乘加阵列、中间结果缓存、量化反量化模块和输出缓存。
9.输入缓存模块用于输入单层卷积计算的权重、偏移量、量化参数、控制指令、部分输入特征图；控制指令控制卷积加速模块从ddr中读取当前层卷积计算需要的权重、偏移量、量化参数，以及片上缓存能够存放的特征图数据，并按序传递给乘加阵列；单层卷积结束后，控制指令控制卷积加速模块从ddr读取下一层的控制指令并更新；
10.乘加阵列是8
×
8的乘法器阵列，每个乘法器都附带一个加法器，根据控制信号，控制是否进行乘法操作和加法操作；
11.中间结果缓存模块用于缓存单层卷积的中间结果，累加后续卷积数据后，发送到量化/反量化模块；
12.量化反量化模块根据控制指令，实现偏移量的累加、relu计算和下一层卷积数据的量化/反量化计算处理；
13.所述flash存储模块缓存两部分内容，分别为risc-v软核e902的指令信息，以及卷积加速模块的参数信息；系统启动后，首先将risc-v软核e902的指令信息加载到软核e902的指令ram中，并启动软核；软核启动后，将卷积加速模块的参数信息加载到ddr缓存模块中；
14.所述risc-v软核e902用于读取卷积加速模块中mobilenetv1神经网络模型的卷积结果，并通过后处理算法，排序输出检测出的人体，打框显示在显示单元上；
15.所述摄像头数据采集和卷积加速模块的卷积计算是并行且流水线式的，卷积计算模块得卷积计算和e902软核的后处理计算也是流水线式的。
16.本发明的有益效果是
17.本发明采用了开源risc-v核e902，功耗低，且指令集架构自主可控；卷积加速计算和e902软核的后处理为流水线结构，检测时延低。
附图说明
18.图1是本发明的工作框图；
19.图2是卷积加速模块结构示意图。
具体实施方式
20.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.本发明提供了一种基于risc-v的检测加速方法，包括通过总线结构依次连接的摄像头模组、ddr缓存模块、卷积加速模块、risc-v软核e902、flash存储模块、显示单元；
22.s1、上电后，软核e902从flash加载指令数据到指令ram，启动摄像头配置；软核e902从flash加载mobilenetv1神经网络模型的权重、偏移量、量化参数和制卷积计算的指令到ddr缓存模块；
23.s2、摄像头采集第一帧rgb图像数据，缓存到ddr缓存模块；
24.s3、卷积加速模块从ddr缓存模块中读取第一层卷积计算所需的权重、偏移量、量化参数和控制卷积计算指令，分批读取rgb图像的部分数据，完成第一层卷积计算，并将卷积结果分批存储到ddr缓存模块中；
25.权重、偏移量、量化参数和控制卷积指令采用乒乓缓存方式，进行第一层卷积计算的同时，从ddr缓存模块中读取第二次卷积的同类参数并缓存；依此类推；
26.s4、分批读取上一层的卷积结果，完成第二层卷积计算，并将卷积结果分批存储到ddr缓存模块中；依此类推，完成mobilenetv1神经网络模型的全部卷积计算，并将后处理需要的中间卷积结果传递给软核e902；
27.卷积加速模块在进行mobilenetv1神经网络模型的卷积计算时，摄像头模块采集第二帧rgb图像数据，并通过分时复用的方式，将数据写入ddr缓存模块中，实现卷积加速模块计算和摄像头数据采集的并行性，降低总体检测时延；
28.s5、软核e902接收到所需的中间结果以后，采用后处理算法，排序找出超过识别阈值的数据，生成打框坐标，在显示器上打框，定位出检测到的人体；
29.软核e902在进行后处理计算时，卷积加速模块开始读取第二帧rgb图像，进行第二帧rgb图像的卷积计算，实现卷积加速模块计算和软核e902后处理的流水线处理，降低总体检测时延；
30.优化的，可将摄像头扩展到多个，每个摄像头按照顺序将采集到rgb图像数据存放到ddr缓存模块中；卷积加速模块卷积计算完成第一个摄像头的rgb图像换后，通过摄像头写入下一帧图像，然后继续卷积计算第二个摄像头的rgb图像，依此类推；此时显示单元采用单屏分块显示的方式，同时显示所有摄像头采集的rgb数据和对应的软核e902后处理识别结果。
31.以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。


技术特征：
1.一种基于risc-v的检测加速方法，其特征在于，包括通过总线结构依次连接的摄像头模组、ddr缓存模块、卷积加速模块、risc-v软核e902、flash存储模块、显示单元；所述摄像头模组用于采集图像数据；所述ddr缓存模块存储mobilenetv1神经网络模型的权重、偏移量、量化参数和控制卷积计算的指令，用于加载到卷积加速模块，控制卷积加速模块的卷积过程；缓存摄像头采集的图片和卷积加速模块的中间计算结果，降低片上缓存的资源占用；所述flash存储模块缓存两部分内容，分别为risc-v软核e902的指令信息，以及卷积加速模块的参数信息；系统启动后，首先将risc-v软核e902的指令信息加载到软核e902的指令ram中，并启动软核；软核启动后，将卷积加速模块的参数信息加载到ddr缓存模块中；所述risc-v软核e902用于读取卷积加速模块中mobilenetv1神经网络模型的卷积结果，并通过后处理算法，排序输出检测出的人体，打框显示在显示单元上。2.根据权利要求1所述的系统，其特征在于，所述卷积加速模块包含输入缓存模块、乘加阵列、中间结果缓存模块、量化反量化模块和输出缓存模块。3.根据权利要求2所述的系统，其特征在于，输入缓存模块用于输入单层卷积计算的权重、偏移量、量化参数、控制指令、部分输入特征图；控制指令控制卷积加速模块从ddr中读取当前层卷积计算需要的权重、偏移量、量化参数，以及片上缓存能够存放的特征图数据，并按序传递给乘加阵列；单层卷积结束后，控制指令控制卷积加速模块从ddr读取下一层的控制指令并更新。4.根据权利要求2所述的系统，其特征在于，乘加阵列是8
×
8的乘法器阵列，每个乘法器都附带一个加法器，根据控制信号，控制是否进行乘法操作和加法操作。5.根据权利要求2所述的系统，其特征在于，中间结果缓存模块用于缓存单层卷积的中间结果，累加后续卷积数据后，发送到量化/反量化模块。6.根据权利要求2所述的系统，其特征在于，量化反量化模块根据控制指令，实现偏移量的累加、relu计算和下一层卷积数据的量化/反量化计算处理。7.根据权利要求2所述的系统，其特征在于，输出缓存模块用于缓存单层卷积的部分结果。8.根据权利要求2所述的系统，其特征在于，所述摄像头数据采集和卷积加速模块的卷积计算是并行且流水线式的，卷积计算模块得卷积计算和e902软核的后处理计算也是流水线式的。

技术总结
本发明提供一种基于RISC-V的检测加速系统，属于深度学习卷积计算硬件加速领域，本发明包括通过总线结构依次连接的摄像头模组、DDR缓存模块、卷积加速模块、RISC-V软核E902、flash存储模块、显示单元，卷积加速模块包含输入缓存、乘加阵列、中间结果缓存、量化反量化模块和输出缓存。本发明主要由硬件卷积加速单元实现，可极大的提高目标检测速度，RISC-V软核E902单元为开源结构，主要用于后处理浮点数计算，可实现架构的自主可控。可实现架构的自主可控。可实现架构的自主可控。


技术研发人员：王帅 姜凯 赵鑫鑫
受保护的技术使用者：山东浪潮科学研究院有限公司
技术研发日：2023.01.10
技术公布日：2023/7/31