一种基于ZYNQ的四目视觉成像平台

一种基于zynq的四目视觉成像平台
技术领域
1.本发明涉及超高清视频技术领域的采集、缓存、处理和显示，以及3d成像领域中的四目视觉成像，尤其是一种基于zynq的四目视觉成像平台。


背景技术：

2.目前3d成像技术在航空航天、石油天然气、海洋、汽车、制造工具、医疗领域等工业领域检测及户外巡检、户外测量、非物质文化遗产数字化采集等领域有着广泛的应用。然而目前市面上的3d成像平台还存在采集弱、处理能力低、延时高、训练成本高等问题。


技术实现要素：

3.本发明的目的是针对所需要应用3d成像技术的行业，提供一种基于zynq的四目视觉成像平台，该平台具有体积小、延迟小、性能优异、可开发性强等特点。
4.zynq系列是赛灵思公司（xilinx）推出的一个全可编程片上系统（allprogrammablesystem-on-chip,以下简称all programmable soc）。它在单芯片内部集成了基于arm公司的armcotex-a53多核处理器的处理系统（processingsystem，以下简称ps）和基于xilinx可编程逻辑资源的可编程逻辑（programmablelogic，以下简称pl）。
5.实现本发明目的的具体技术方案是：一种基于zynq的四目视觉成像平台，它包括电源模块、时钟模块、视频输入模块、视频输出模块、视频编码模块、视频解码模块、视频处理模块、视频缓存模块、四目图像采集模块、控制模块；所述电源模块与时钟模块、视频输入模块、视频输出模块、视频编码模块、视频解码模块、视频处理模块、视频缓存模块、四目图像采集模块、控制模块连接，提供工作电源；所述时钟模块与视频输入模块、视频输出模块、视频编码模块、视频解码模块、视频处理模块、视频缓存模块、四目图像采集模块、控制模块连接，提供工作时钟；所述视频输入模块与视频解码模块连接，视频输入模块可提供各种分辨率的视频数据输入；所述四目图像采集模块与视频缓存模块连接，四目图像采集模块用于采集环境中的原始图像，产生原始视频数据；所述视频缓存模块与四目图像采集模块、视频编码模块、视频解码模块、视频处理模块连接，视频缓存模块用于缓存四目图像采集模块产生的原始视频数据、视频解码模块解码后的视频数据、视频处理模块处理后的视频数据；所述控制模块与视频编码模块、视频解码模块、视频处理模块连接，控制模块用于控制视频编码模块、视频解码模块、视频处理模块工作中所需要的参数设置；所述视频编码模块与视频缓存模块、视频输出模块连接，所述视频编码模块用于接收视频缓存模块中已处理后的视频数据，并且进行编码后输出给视频输出模块。
6.其中：
所述四目图像采集模块包含4路mipi接口和4个4k分辨率摄像头；其中mipi接口用于连接4k分辨率摄像头和视频缓存模块，4k分辨率摄像头用于实时采集周围的环境图像，产生4k@30hz的视频数据。
7.所述视频解码模块包括解码数据时序对齐模块及视频解码芯片；其中解码数据时序对齐模块将视频解码芯片解码后的视频数据中各个颜色通道的像素数据进行对齐，防止时序错乱，对齐后的数据传输到视频缓存模块；视频解码芯片识别视频输入模块中视频数据的分辨率，采取对应的解码方式，解码后的数据输出到解码数据时序对齐模块。
8.所述视频编码模块包括编码像素时序调整模块及视频编码芯片；其中视频编码芯片用于识别从视频缓存模块输入的视频数据的分辨率，并将其编码为视频输出模块所需要的视频输出格式；编码像素时序调整模块将视频编码芯片编码后的视频数据根据视频的行场同步信号进行对齐，防止像素数据的错位。
9.所述视频缓存模块包括ddr4缓存模块、ddr4数据预处理模块、ddr4数据后处理模块、ddr4数据控制模块；其中ddr4数据预处理模块用于接收视频解码模块和四目图像采集模块产生的视频数据，将数据进行预处理成ddr4缓存模块可接受的视频数据格式；ddr4缓存模块用于缓存数种ddr4可接受的数据格式的视频数据；ddr4数据后处理模块用于将ddr4缓存模块中缓存的视频数据处理为视频编码模块可识别的视频数据格式；ddr4数据控制模块用于控制ddr4缓存模块与视频处理模块之间的视频数据的传输方向和视频数据传输的时机，以及控制ddr4数据预处理模块和ddr4数据后处理模块是否工作。
10.所述视频处理模块包括zynq fpga芯片pl侧和zynq fpga芯片ps侧；其中zynq fpga芯片pl侧用于视频处理，将来自ddr4缓存模块的视频数据处理成为所需要的3d视频数据；zynq fpga芯片ps侧用于实时监测zynq fpga芯片pl侧视频处理的状态。
11.所述控制模块为视频解码模块、视频编码模块和视频处理模块提供基础的参数设置；其中参数包括视频解码模块工作所需的视频格式参数和视频帧率参数、视频编码模块所需的视频格式参数和视频帧率参数、视频处理模块所需的四目视觉成像参数。
12.与现有的技术相比，本发明的有益效果是：（1）本发明使用zynq内部的pl纯硬件电路处理视频数据，利用其高速、多并发、流水线的特性来处理高带宽、高速的视频数据，极大了降低了处理视频数据、完成3d视频的延时，保证整个四目视觉成像平台采集、处理和显示的实时性。
13.（2）本发明使用zynq内部的ps侧实时监测zynq fpga芯片pl侧视频处理的状态，对视频处理的异常状态进行预警。
14.（3）本发明实现四目视觉成像所需要的数据集训练成本远远低于现今市面产品。
附图说明
15.图1为本发明结构框图；图2为本发明四目图像采集模块结构图；图3为本发明视频解码模块结构图；图4为本发明视频编码模块结构图；图5为本发明视频缓存模块结构图；图6为本发明视频处理模块结构图；
图7为本发明实施例的工作流程框图。
实施方式
16.以下结合附图及实施例对本发明进行详细描述。
17.参阅图1，本发明包括电源模块1、时钟模块2、视频输入模块3、视频输出模块4、视频编码模块5、视频解码模块6、视频处理模块7、视频缓存模块8、四目图像采集模块9、控制模块10；所述电源模块1与时钟模块2、视频输入模块3、视频输出模块4、视频编码模块5、视频解码模块6、视频处理模块7、视频缓存模块8、四目图像采集模块9、控制模块10连接，提供工作电源；所述时钟模块2与视频输入模块3、视频输出模块4、视频编码模块5、视频解码模块6、视频处理模块7、视频缓存模块8、四目图像采集模块9、控制模块10连接，提供工作时钟；所述视频输入模块3与视频解码模块6连接，视频输入模块3可提供各种分辨率的视频数据输入；所述四目图像采集模块9与视频缓存模块8连接，四目图像采集模块9用于采集环境中的原始图像，产生原始视频数据；所述视频缓存模块8与四目图像采集模块9、视频编码模块5、视频解码模块6、视频处理模块7连接，视频缓存模块8用于缓存四目图像采集模块9产生的原始视频数据、视频解码模块6解码后的视频数据、视频处理模块7处理后的视频数据；所述控制模块10与视频编码模块5、视频解码模块6、视频处理模块7连接，控制模块10用于控制视频编码模块5、视频解码模块6、视频处理模块7工作中所需要的参数设置，其中参数包括视频解码模块6工作所需的视频格式参数和视频帧率参数、视频编码模块5所需的视频格式参数和视频帧率参数、视频处理模块7所需的四目视觉成像参数；所述视频编码模块5与视频缓存模块8、视频输出模块4连接，所述视频编码模块5用于接收视频缓存模块8中已处理后的视频数据，并且进行编码后输出给视频输出模块4。
18.参阅图2，本发明的四目图像采集模块9包含4路mipi接口91和4个4k分辨率摄像头92；其中mipi接口91用于连接4k分辨率摄像头92和视频缓存模块8，4k分辨率摄像头92用于实时采集周围的环境图像，产生4k@30hz的视频数据。
19.参阅图3，本发明的视频解码模块6包括解码数据时序对齐模块61及视频解码芯片62；其中解码数据时序对齐模块61将视频解码芯片62解码后的视频数据中各个颜色通道的像素数据进行对齐，防止时序错乱，对齐后的数据传输到视频缓存模块8；视频解码芯片62识别视频输入模块3中视频数据的分辨率，采取对应的解码方式，解码后的数据输出到解码数据时序对齐模块61。
20.参阅图4， 本发明的视频编码模块5包括编码像素时序调整模块51及视频编码芯片52；其中视频编码芯片52用于识别从视频缓存模块8输入的视频数据的分辨率，并将其编码为视频输出模块4所需要的视频输出格式；编码像素时序调整模块51将视频编码芯片52编码后的视频数据根据视频的行场同步信号进行对齐，防止像素数据的错位。
21.参阅图5，本发明的视频缓存模块8包括ddr4缓存模块81、ddr4数据预处理模块82、ddr4数据后处理模块83、ddr4数据控制模块84；其中ddr4数据预处理模块82用于接收视频解码模块6和四目图像采集模块9产生的视频数据，将数据进行预处理成ddr4缓存模块81可接受的视频数据格式；ddr4缓存模块81用于缓存数种ddr4可接受的数据格式的视频数据；ddr4数据后处理模块83用于将ddr4缓存模块81中缓存的视频数据处理为视频编码模块5可识别的视频数据格式；ddr4数据控制模块84用于控制ddr4缓存模块81与视频处理模块7之
间的视频数据的传输方向和视频数据传输的时机，以及控制ddr4数据预处理模块82和ddr4数据后处理模块83是否工作。
22.参阅图6，本发明的视频处理模块7包括zynq fpga芯片pl侧71和zynq fpga芯片ps侧72；其中zynq fpga芯片pl侧71用于视频处理，将来自ddr4缓存模块81的视频数据处理成为所需要的3d视频数据；zynq fpga芯片ps侧72用于实时监测zynq fpga芯片pl侧71视频处理的状态。
实施例
23.参阅图7，本实施例的工作流程如下：平台上电后，电源模块1为时钟模块2、视频输入模块3、视频输出模块4、视频编码模块5、视频解码模块6、视频处理模块7、视频缓存模块8、四目图像采集模块9及控制模块10提供工作电源；时钟模块2为视频输入模块3、视频输出模块4、视频编码模块5、视频解码模块6、视频处理模块7、视频缓存模块8、四目图像采集模块9及控制模块10提供工作时钟；控制模块10为视频解码模块6、视频编码模块5、视频处理模块7提供基础的参数设置，其中参数包括视频解码模块6工作所需的视频格式参数和视频帧率参数、视频编码模块5所需的视频格式参数和视频帧率参数、视频处理模块7所需的四目视觉成像参数；之后，4路4k分辨率摄像头92开始采集环境视频数据，环境视频数据通过4路mipi接口91将环境视频数据传入ddr4数据预处理模块82；视频输入模块3开始接收外部背景视频数据，该视频数据用于最终显示的3d视频数据的背景视频数据；视频解码芯片62识别视频输入模块3中的背景视频数据的分辨率，采取对应的解码方式，解码后的数据输出到解码数据时序对齐模块61，解码数据时序对齐模块61将视频解码芯片62解码后的视频数据中各个颜色通道的像素数据进行对齐，防止时序错乱，对齐后的数据传输到ddr4数据预处理模块82；ddr4数据控制模块84控制ddr4数据预处理模块82开始工作，对环境视频数据和解码后的背景视频数据开始预处理，将数据进行预处理成ddr4缓存模块81可接受的视频数据格式并将预处理后的环境视频数据和解码后的背景视频数据存入ddr4缓存模块81；ddr4数据控制模块84控制已存入ddr4缓存模块81的预处理后的环境视频数据和解码后的背景视频数据传入zynq fpga芯片pl侧71，zynq fpga芯片pl侧71开始将预处理后的环境视频数据进行处理，将其处理为3d模型视频数据并与解码后的背景视频数据进行融合处理，称为融合视频数据；ddr4数据控制模块84控制zynq fpga芯片pl侧71中的融合视频数据进入ddr4缓存模块81；ddr4数据控制模块84控制ddr4缓存模块81中的融合视频数据传入ddr4数据后处理模块83，并控制其开始工作，将融合视频数据后处理为视频编码芯片52可识别的视频数据格式；视频编码芯片52将后处理后的融合视频数据编码为最终输出所需要的视频格式并将其传入编码像素时序调整模块51，编码像素时序调整模块51将视频编码芯片52编码后的视频数据根据视频的行场同步信号进行对齐，防止像素数据的错位，将编码像素时序调整模块51调整后的视频数据称为最终3d视频数据；视频输出模块4接收最终3d视频数据并将其输出到外部显示器。

技术特征：
1.一种基于zynq的四目视觉成像平台，其特征在于，它包括电源模块（1）、时钟模块（2）、视频输入模块（3）、视频输出模块（4）、视频编码模块（5）、视频解码模块（6）、视频处理模块（7）、视频缓存模块（8）、四目图像采集模块（9）及控制模块（10）；所述电源模块（1）与时钟模块（2）、视频输入模块（3）、视频输出模块（4）、视频编码模块（5）、视频解码模块（6）、视频处理模块（7）、视频缓存模块（8）、四目图像采集模块（9）及控制模块（10）连接，提供工作电源；所述时钟模块（2）与视频输入模块（3）、视频输出模块（4）、视频编码模块（5）、视频解码模块（6）、视频处理模块（7）、视频缓存模块（8）、四目图像采集模块（9）及控制模块（10）连接，提供工作时钟；所述视频输入模块（3）与视频解码模块（6）连接，视频输入模块（3）提供数种分辨率的视频数据输入；所述四目图像采集模块（9）与视频缓存模块（8）连接，四目图像采集模块（9）用于采集环境中的原始图像，产生原始视频数据；所述视频缓存模块（8）与四目图像采集模块（9）、视频编码模块（5）、视频解码模块（6）及视频处理模块（7）连接，视频缓存模块（8）用于缓存四目图像采集模块（9）产生的原始视频数据、视频解码模块（6）解码后的视频数据及视频处理模块（7）处理后的视频数据；所述控制模块（10）与视频编码模块（5）、视频解码模块（6）及视频处理模块（7）连接，控制模块（10）用于控制视频编码模块（5）、视频解码模块（6）及视频处理模块（7）工作中所需要的参数设置；所述视频编码模块（5）与视频缓存模块（8）及视频输出模块（4）连接，所述视频编码模块（5）用于接收视频缓存模块（8）中已处理后的视频数据，并且进行编码后输出给视频输出模块（4）。2.根据权利要求1所述的一种基于zynq的四目视觉成像平台，其特征在于，所述四目图像采集模块（9）包含4路mipi接口（91）和4个4k分辨率摄像头（92）；其中mipi接口（91）用于连接4k分辨率摄像头（92）和视频缓存模块（8），4k分辨率摄像头（92）用于实时采集周围的环境图像，产生4k@30hz的视频数据。3.根据权利要求1所述的一种基于zynq的四目视觉成像平台，其特征在于，所述视频解码模块（6）包括解码数据时序对齐模块（61）及视频解码芯片（62）；其中解码数据时序对齐模块（61）将视频解码芯片（62）解码后的视频数据中各个颜色通道的像素数据进行对齐，防止时序错乱，对齐后的数据传输到视频缓存模块（8）；视频解码芯片（62）识别视频输入模块（3）中视频数据的分辨率，采取对应的解码方式，解码后的数据输出到解码数据时序对齐模块（61）。4.根据权利要求1所述的一种基于zynq的四目视觉成像平台，其特征在于，所述视频编码模块（5）包括编码像素时序调整模块（51）及视频编码芯片（52）；其中视频编码芯片（52）用于识别从视频缓存模块（8）输入的视频数据的分辨率，并将其编码为视频输出模块（4）所需要的视频输出格式；编码像素时序调整模块（51）将视频编码芯片（52）编码后的视频数据根据视频的行场同步信号进行对齐，防止像素数据的错位。5.根据权利要求1所述的一种基于zynq的四目视觉成像平台，其特征在于，所述视频缓存模块（8）包括ddr4缓存模块（81）、ddr4数据预处理模块（82）、ddr4数据后处理模块（83）及
ddr4数据控制模块（84）；其中ddr4数据预处理模块（82）用于接收视频解码模块（6）和四目图像采集模块（9）产生的视频数据，将数据进行预处理成ddr4缓存模块（81）可接受的视频数据格式；ddr4缓存模块（81）用于缓存数种ddr4可接受的数据格式的视频数据；ddr4数据后处理模块（83）用于将ddr4缓存模块（81）中缓存的视频数据处理为视频编码模块（5）可识别的视频数据格式；ddr4数据控制模块（84）用于控制ddr4缓存模块（81）与视频处理模块（7）之间的视频数据的传输方向和视频数据传输的时机，以及控制ddr4数据预处理模块（82）和ddr4数据后处理模块（83）的工作状态。6. 根据权利要求1所述的一种基于zynq的四目视觉成像平台，其特征在于，所述视频处理模块（7）包括zynq fpga芯片pl侧（71）和zynq fpga芯片ps侧（72）；其中zynq fpga芯片pl侧（71）用于视频处理，将来自ddr4缓存模块（81）的视频数据处理成为所需要的3d视频数据；zynq fpga芯片ps侧（72）用于实时监测zynq fpga芯片pl侧（71）视频处理的状态。7.根据权利要求1所述的一种基于zynq的四目视觉成像平台，其特征在于，所述所需要的参数，包括：视频解码模块（6）工作所需的视频格式参数和视频帧率参数、视频编码模块（5）所需的视频格式参数和视频帧率参数及视频处理模块（7）所需的四目视觉成像参数。

技术总结
本发明公开了一种基于ZYNQ的四目视觉成像平台。包括电源模块、时钟模块、视频输入模块、视频输出模块、视频编码模块、视频解码模块、视频处理模块、视频缓存模块、四目图像采集模块、控制模块。本发明可支持多种分辨率视频输入和输出，四路4K@30Hz分辨率环境图像实时采集，在视频处理模块内构建实时3D图像并输出。本发明可用于航空航天、石油天然气、海洋、汽车、制造工具、医疗领域等工业领域检测及3D图像采集、户外巡检、户外测量、非物质文化遗产数字化采集。本发明具有体积小、延迟小、性能优异、可开发性强等特点。可开发性强等特点。可开发性强等特点。


技术研发人员：曾文龙 刘玉华 洪展鹏 胡沂婷 刘一清
受保护的技术使用者：华东师范大学
技术研发日：2023.05.15
技术公布日：2023/8/1