图像处理方法、装置、设备、存储介质和程序产品与流程

1.本技术涉及终端技术领域，特别涉及一种图像处理方法、装置、设备、存储介质和程序产品。


背景技术：

2.随着终端技术的飞速发展，诸如手机、平板电脑等终端的功能日益强大，逐渐成为人们工作和生活中不可或缺的工具。终端中通常设置有摄像头来实现拍摄功能，且为了提高拍摄的图像的显示效果，终端往往会对拍摄的图像进行处理，以提高图像质量，达到用户期望的视觉体验。


技术实现要素：

3.本技术提供了一种图像处理方法、装置、设备、存储介质和程序产品，可以提升图像的整体质量，为用户带来的更好的视觉体验。所述技术方案如下：
4.第一方面，提供了一种图像处理方法。在该方法中，获取待处理的第一图像，然后对第一图像进行显著性目标检测，得到第一图像中的显著性区域。之后，对该显著性区域进行目标识别，得到该显著性区域包含的n个目标中每个目标的类型，n为正整数。根据n个目标中每个目标的类型获取每个目标的图像处理策略。最后，根据n个目标中每个目标的图像处理策略对第一图像进行处理，得到第二图像。
5.第一图像是需要进行处理，以提升其显示效果的图像。第一图像可以是拍摄得到的图像。
6.显著性目标检测是基于视觉显著性进行的目标检测，即模拟人的视觉特点进行的目标检测，其目的是为了识别图像的主体，突出图像中最显著的目标(可称为显著性目标)，显著性目标是用户在图像中最容易感兴趣、最容易注意到的目标。
7.目标的图像处理策略是能够提升目标的显示效果的图像处理策略。也即，对于某个目标来说，根据这个目标的图像处理策略对这个目标进行处理后，用户在观看这个目标时，将获得更好的视觉体验。
8.该图像处理策略可以包括去噪、锐化、色彩等中的一个或多个图像处理操作，且还可以包括每个图像处理操作的强度。示例地，按照去噪强度由高到低的顺序可以包括强去噪、普通去噪、弱去噪。按照锐化强度由高到低的顺序可以包括强锐化、普通锐化、弱锐化。按照色彩强度由高到低的顺序可以包括强色彩、普通色彩、弱色彩。
9.在本技术中，可以根据目标的类型来获取其图像处理策略，继而根据该图像处理策略实现对第一图像的显著性区域中的目标的差异化处理，如此可以实现对图像主体部分的显示效果的提升，从而可以提升图像整体质量，进而可以有效提升用户的视觉体验。
10.可选地，由于该显著性区域可能会包含多个目标，所以对第一图像中的显著性区域进行目标识别时，可以先对该显著性区域进行图像分割，得到该显著性区域中的n个目标区域，n个目标区域中的每个目标区域均包含有一个目标，然后再对n个目标区域中每个目
标区域进行目标识别，得到每个目标区域包含的目标的类型。如此，可以准确得到该显著性区域中的n个目标中每个目标的类型。
11.值得注意的是，本技术中目标的类型不仅可以包括人像、动物、植物、建筑等这种大类，还可以包括每一个大类下面的小类，比如，对于人像，可以包括黄种人、白种人、黑种人等小类，对于动物，可以包括猫、狗等小类。如此，可以实现对该显著性区域中的n个目标的更为精准的区分。
12.在一种可能的方式中，根据n个目标中每个目标的类型获取每个目标的图像处理策略的操作可以为：对于n个目标中的每一个目标，根据这个目标的类型，从目标类型与图像处理策略之间的对应关系中，获取对应的图像处理策略作为这个目标的图像处理策略。
13.可以预先存储目标类型与图像处理策略之间的对应关系，该对应关系中包括多个目标类型以及与该多个目标类型一一对应的多个图像处理策略，每个目标类型对应的图像处理策略是属于这个目标类型的目标的图像处理策略。该对应关系可以由技术人员根据视觉体验需求设置得到，比如，在用户的视觉体验中，对人像可能需要清晰度更高，去噪更弱，从而据此可以设置人像这一目标类型对应的图像处理策略，而在用户的视觉体验中，对建筑物可能希望其线条突出，锐化更强，从而据此可以设置建筑物这一目标类型对应的图像处理策略。
14.在本技术中，可以根据技术人员预先根据视觉体验需求设置的目标类型与图像处理策略之间的对应关系来获取目标的图像处理策略，从而使得获取到的图像处理策略更为符合用户的视觉体验需求。
15.在另一种可能的方式中，还可以获取n个目标中每个目标在第一图像中所占的比例。这种情况下，根据n个目标中每个目标的类型获取每个目标的图像处理策略的操作可以为：根据n个目标中每个目标的类型和所占的比例获取每个目标的图像处理策略。
16.不同大小的目标所需的能够提升显示效果的图像处理策略可能有所不同。因而可以根据目标的类型和其在图像中所占的比例来获取其图像处理策略，从而使得获取到的图像处理策略可以更为精准地提升目标的显示效果。
17.其中，根据n个目标中每个目标的类型和所占的比例获取每个目标的图像处理策略的操作可以为：对于n个目标中的每一个目标，根据这个目标的类型和所占的比例，从目标类型、目标比例范围与图像处理策略之间的对应关系中，获取对应的图像处理策略作为这个目标的图像处理策略。
18.可以预先存储目标类型、目标比例范围与图像处理策略之间的对应关系，该对应关系中包括一一对应的多个目标类型、多个目标比例范围以及多个图像处理策略，每个目标类型和目标比例范围对应的图像处理策略是属于这个目标类型的目标所占的比例在该目标比例范围内时的图像处理策略。该对应关系可以由技术人员根据视觉体验需求设置得到。
19.可选地，根据n个目标中每个目标的图像处理策略对第一图像进行处理，得到第二图像，的操作可以为：对于n个目标中的每一个目标，根据这个目标的图像处理策略对这个目标进行处理，得到处理后的这个目标；将处理后的n个目标与第一图像的背景区域进行图像融合，得到第二图像，该背景区域是第一图像中除显著性区域之外的其他区域。
20.在本技术中，是保持第一图像的背景区域不变，对第一图像的显著性区域进行处
理，来得到第二图像。也即，第二图像的背景区域与第一图像的背景区域相同，第二图像的显著性区域是对第一图像的显著性区域中的n个目标处理后得到的。如此，可以保证第二图像的主体部分的显示效果较好，从而保证第二图像的整体质量较高，可以给用户带来较好的视觉体验。
21.第二方面，提供了一种图像处理装置，所述图像处理装置具有实现上述第一方面中图像处理方法行为的功能。所述图像处理装置包括至少一个模块，所述至少一个模块用于实现上述第一方面所提供的图像处理方法。
22.第三方面，提供了一种图像处理装置，所述图像处理装置的结构中包括处理器和存储器，所述存储器用于存储支持图像处理装置执行上述第一方面所提供的图像处理方法的程序，以及存储用于实现上述第一方面所述的图像处理方法所涉及的数据。所述处理器被配置为用于执行所述存储器中存储的程序。所述图像处理装置还可以包括通信总线，所述通信总线用于在所述处理器与所述存储器之间建立连接。
23.第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的图像处理方法。
24.第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的图像处理方法。
25.上述第二方面、第三方面、第四方面和第五方面所获得的技术效果与上述第一方面中对应的技术手段获得的技术效果近似，在这里不再赘述。
附图说明
26.图1是本技术实施例提供的一种终端的结构示意图；
27.图2是本技术实施例提供的一种终端的软件系统的框图；
28.图3是本技术实施例提供的一种图像处理方法的流程图；
29.图4是本技术实施例提供的一种第一图像的示意图；
30.图5是本技术实施例提供的一种显著性区域的示意图；
31.图6是本技术实施例提供的另一种显著性区域的示意图；
32.图7是本技术实施例提供的又一种显著性区域的示意图；
33.图8是本技术实施例提供的一种图像处理装置的结构示意图。
具体实施方式
34.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术的实施方式作进一步地详细描述。
35.应当理解的是，本技术提及的“多个”是指两个或两个以上。在本技术的描述中，除非另有说明，“/”表示或的意思，比如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，比如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，为了便于清楚描述本技术的技术方案，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
36.在本技术中描述的“一个实施例”或“一些实施例”等语句意味着在本技术的一个或多个实施例中包括该实施例描述的特定特征、结构或特点。由此，在本技术中的不同之处出现的“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等语句不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。此外，术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
37.在对本技术实施例提供的图像处理方法进行详细地解释说明之前，先对本技术实施例涉及的终端予以说明。
38.图1是本技术实施例提供的一种终端的结构示意图。参见图1，终端100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户识别模块(subscriber identity module，sim)卡接口195等。其中，传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
39.可以理解的是，本技术实施例示意的结构并不构成对终端100的具体限定。在本技术另一些实施例中，终端100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
40.处理器110可以包括一个或多个处理单元，比如：处理器110可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
41.其中，控制器可以是终端100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
42.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从该存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
43.充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是终端100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
44.终端100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
45.终端100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
46.外部存储器接口120可以用于连接外部存储卡，比如micro sd卡，实现扩展终端100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。比如将音乐，视频等文件保存在外部存储卡中。
47.内部存储器121可以用于存储计算机可执行程序代码，计算机可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，来执行终端100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储终端100在使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，比如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。
48.终端100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d以及应用处理器等实现音频功能，比如音乐播放，录音等。
49.音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
50.接下来对终端100的软件系统予以说明。
51.终端100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本技术实施例以分层架构的安卓(android)系统为例，对终端100的软件系统进行示例性说明。
52.图2是本技术实施例提供的一种终端100的软件系统的框图。参见图2，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统从上至下分为应用程序层，应用程序框架层，安卓运行时(android runtime)和系统层，以及内核层。
53.应用程序层可以包括一系列应用程序包。如图2所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用程序。
54.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，api)和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问，这些数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。视图系统包括可视控件，比如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序的显示界面，显示界面可以由一个或多个视图组成，比如，包括显示短信通知图标的视图，包括显示文字的视图，以及包括显示图片的视图。电话管理器用于提供终端100的通信功能，比如通话状态的管理(包括接通，挂断等)。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等。通知管理器使应
用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如，通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或滚动条文本形式出现在系统顶部状态栏的通知，比如后台运行的应用程序的通知。通知管理器还可以是以对话窗口形式出现在屏幕上的通知，比如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
55.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
56.系统层可以包括多个功能模块，比如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(比如：opengl es)，2d图形引擎(比如：sgl)等。表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，比如：mpeg4，h.264，mp3，aac，amr，jpg，png等。三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。2d图形引擎是2d绘图的绘图引擎。
57.内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
58.下面结合捕获拍照场景，示例性说明终端100的软件以及硬件的工作流程。
59.当触摸传感器180k接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别原始输入事件所对应的控件。以该触摸操作是单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用程序框架层的接口，启动相机应用，再调用内核层启动摄像头驱动，通过摄像头193捕获静态图像或视频。
60.下面对本技术实施例提供的图像处理方法涉及的应用场景予以说明。
61.随着终端技术的飞速发展，诸如手机、平板电脑等终端的功能日益强大，逐渐成为人们工作和生活中不可或缺的工具。终端中通常设置有摄像头来实现拍摄功能，且为了提高拍摄的图像的显示效果，终端往往会对拍摄的图像进行处理，以提高图像质量，达到用户期望的视觉体验。
62.用户在使用终端拍摄时，拍摄的主体可能是多种不同类型的目标，如人像、建筑等。对于不同类型的目标，其视觉的侧重点有所不同，比如，人像可能需要更高的清晰度，建筑物则希望其线条突出。为此，本技术实施例提供了一种图像处理方法，可以对拍摄的图像中主体部分的各种类型的目标进行差异化处理，从而提升图像的整体质量，为用户带来的更好的视觉体验。
63.下面对本技术实施例提供的图像处理方法进行详细地解释说明。
64.图3是本技术实施例提供的一种图像处理方法的流程图。参见图3，该方法包括以下步骤。
65.步骤301：终端获取待处理的第一图像。
66.第一图像是需要进行处理，以提升其显示效果的图像。第一图像可以是终端拍摄的图像，如第一图像可以是图4所示的图像。
67.示例地，终端在通过自身的摄像头拍摄到一张图像后，就可以将这张图像作为需要处理的第一图像，然后执行后续步骤来对这张图像进行处理。
68.步骤302：终端对第一图像进行显著性目标检测，得到第一图像中的显著性区域。
69.显著性目标检测是基于视觉显著性进行的目标检测，即模拟人的视觉特点进行的目标检测，其目的是为了识别图像的主体，突出图像中最显著的目标(可称为显著性目标)，显著性目标是用户在图像中最容易感兴趣、最容易注意到的目标。
70.终端对第一图像进行显著性目标检测后，就可以得到第一图像中的显著性区域。该显著性区域是第一图像的主体部分，该显著性区域内包含的目标即是用户最容易感兴趣、最容易注意到的目标。在本技术实施例中，该显著性区域内可以包含n个目标，n为正整数。
71.比如，第一图像是图4所示的图像，终端对第一图像进行显著性目标检测后，就可以得到如图5中的(a)图所示的显著性目标检测结果，该显著性目标检测结果可以是一张掩膜图。该掩膜图中的白色部分用于指示第一图像中的显著性区域所在的位置，该掩膜图中的黑色部分用于指示第一图像中除显著性区域之外的背景区域所在的位置，使用该掩膜图可以遮挡掉第一图像中的背景区域，保留第一图像中的显著性区域，即得到如图5中的(b)图所示的图像。
72.具体来讲，该掩膜图可以是一张像素值包括0和255的图像，如图5中的(a)图所示，该掩膜图中的白色部分是像素值为255的部分，该掩膜图中的黑色部分是像素值为0的部分。这种情况下，将该掩膜图中的每个像素值与第一图像中对应位置的像素值进行与运算，该与运算是指在该掩膜图中的一个像素值为0时，将对应位置的像素值设为0，在该掩膜图中的一个像素值不为0(即为255)时，保留第一图像中对应位置的像素值。如此，在将该掩膜图中的每个像素值与第一图像中对应位置的像素值进行与运算后，第一图像的显著性区域的像素值不变，第一图像的背景区域的像素值均为0，即得到图5中的(b)图所示的图像，该图像是从第一图像中分割出的遮挡了背景区域(即背景区域为黑色)、保留了显著性区域的图像。
73.其中，终端对第一图像进行显著性目标检测的操作与相关技术中某个终端对某个图像进行显著性目标检测的操作类似，本技术实施例对此不进行详细阐述。
74.比如，终端可以使用基于空间域的显著性目标检测算法(包括但不限于ltti算法、ca(context-aware)算法等)、基于频率域的显著性目标检测算法(包括但不限于残差谱(spectral residual，sr)算法、ft(frequency-tuned)算法等)等显著性目标检测算法来对第一图像进行显著性目标检测。
75.步骤303：终端对第一图像中的显著性区域进行目标识别，得到该显著性区域包含的n个目标中每个目标的类型。
76.目标识别用于识别目标的类型。该显著性区域可以包含一个目标，即n为1，此时是识别这一个目标的类型。或者，该显著性区域可以包含多个目标，即n为大于或等于2的整数，此时是识别这多个目标中每个目标的类型。
77.由于该显著性区域可能会包含多个目标，所以终端对第一图像中的显著性区域进
行目标识别时，可以先对该显著性区域进行图像分割，得到该显著性区域中的n个目标区域，n个目标区域中的每个目标区域均包含有一个目标，然后再对n个目标区域中每个目标区域进行目标识别，得到每个目标区域包含的目标的类型。如此，可以准确得到该显著性区域中的n个目标中每个目标的类型。
78.比如，该显著性区域可以如图5中的(b)图所示，该显著性区域包含有一个目标，则终端可以直接对该显著性区域中的这一个目标进行识别，得到这一个目标的类型为人像。
79.又比如，该显著性区域可以如图6所示，该显著性区域包含有两个目标，则终端可以对该显著性区域进行图像分割，得到两个目标区域，然后再对这两个目标区域中每个目标区域进行目标识别，得到一个目标区域的类型为动物，另一个目标区域的类型为人像。
80.值得注意的是，本技术实施例中目标的类型不仅可以包括人像、动物、植物、建筑等这种大类，还可以包括每一个大类下面的小类，比如，对于人像，可以包括黄种人、白种人、黑种人等小类，对于动物，可以包括猫、狗等小类。如此，可以实现对该显著性区域中的n个目标的更为精准的区分。
81.其中，终端对第一图像中的显著性区域进行目标识别的操作与相关技术中某个终端对某个图像进行目标识别的操作类似，本技术实施例对此不进行详细阐述。
82.比如，终端可以将第一图像中的显著性区域输入分类模型，由该分类模型输出该显著性区域中的n个目标区域中每个目标区域的位置以及每个目标区域包含的目标的类型。每个目标区域的位置即是每个目标区域包含的目标的位置。
83.该分类模型用于识别图像包含的目标的类型。也即，将一张图像输入该分类模型后，该分类模型就可以识别出这张图像包含的目标的所在位置和类型并输出。这种情况下，若输入的图像包含有多个目标，则该分类模型可以直接实现图像分割和目标识别，即该分类模型可以从输入的图像中直接分割出多个目标区域并对每个目标区域进行目标识别，然后输出每个目标区域的位置和所包含的目标的类型。
84.该分类模型可以由终端训练得到，或者可以由服务器训练得到后发送至终端，本技术实施例对此不作限定。可选地，终端或服务器在训练得到该分类模型时，可以获取多个训练样本，使用该多个训练样本对神经网络模型进行训练，得到该分类模型。
85.该多个训练样本可以是预先设置的。该多个训练样本中的每个训练样本包括样本图像和样本标记，样本图像中包含指定目标，样本标记为样本图像中包含的指定目标的类型。也即，该多个训练样本中的每个训练样本中的输入数据为包含有指定目标的样本图像、样本标记为指定目标的类型。
86.该神经网络模型可以包括多个网络层，该多个网络层中包括输入层、多个隐含层和输出层。输入层负责接收输入数据；输出层负责输出处理后的数据；多个隐含层位于输入层与输出层之间，负责处理数据，多个隐含层对于外部是不可见的。比如，该神经网络模型可以为深度神经网络等，且可以是深度神经网络中的卷积神经网络等。
87.其中，使用多个训练样本对神经网络模型进行训练时，对于该多个训练样本中的每个训练样本，可以将这个训练样本中的输入数据输入神经网络模型，获得输出数据；通过损失函数确定该输出数据与这个训练样本中的样本标记之间的损失值；根据该损失值调整该神经网络模型中的参数。在基于该多个训练样本中的每个训练样本对该神经网络模型中的参数进行调整后，参数调整完成的该神经网络模型即为该分类模型。
88.其中，根据该损失值调整该神经网络模型中的参数的操作可以参考相关技术，本技术实施例对此不进行详细阐述。比如，可以通过公式来对该神经网络模型中的任意一个参数进行调整。是调整后的参数。w是调整前的参数。α是学习率，α可以预先设置，如α可以为0.001、0.000001等，本技术实施例对此不作唯一限定。dw是该损失函数关于w的偏导数，可以根据该损失值求得。
89.在一些实施例中，终端得到该显著性区域包含的n个目标中每个目标的类型之后，还可以获取n个目标中每个目标在第一图像中所占的比例，即n个目标中每个目标的大小(即每个目标的像素个数)占第一图像的整体大小(即第一图像的总像素个数)的比例。以便后续可以参考每个目标所占的比例来确定其图像处理策略。
90.步骤304：终端根据n个目标中每个目标的类型获取每个目标的图像处理策略。
91.目标的图像处理策略是能够提升目标的显示效果的图像处理策略。也即，对于某个目标来说，根据这个目标的图像处理策略对这个目标进行处理后，用户在观看这个目标时，将获得更好的视觉体验。
92.该图像处理策略可以包括去噪、锐化、色彩等中的一个或多个图像处理操作，且还可以包括每个图像处理操作的强度。
93.去噪是指减少图像中噪声的过程。可以使用去噪算法或神经网络模型来对图像进行去噪处理。去噪算法中的滤波算子不同，其去噪强度不同，也即，可以使用不同的滤波算子调整去噪强度。或者，可以使用不同的神经网络模型来实现不同的去噪强度。示例地，按照去噪强度由高到低的顺序可以包括强去噪、普通去噪、弱去噪。
94.锐化(也可称为边缘增强)是指补偿图像的轮廓，增强图像的边缘及灰度跳变的部分，使图像变得清晰的过程。可以使用锐化算法来对图像进行锐化处理，锐化算法中的滤波算子不同，其锐化强度也不同，也即，可以使用不同的滤波算子调整锐化强度。示例地，按照锐化强度由高到低的顺序可以包括强锐化、普通锐化、弱锐化。
95.色彩是指对图像进行色彩校正和色彩增强的过程。可以使用神经网络模型来对图像进行色彩处理，且可以使用不同的神经网络模型来实现不同的色彩强度。示例地，按照色彩强度由高到低的顺序可以包括强色彩、普通色彩、弱色彩。
96.可选地，终端根据n个目标中每个目标的类型获取每个目标的图像处理策略的操作可以包括如下两种可能的方式：
97.第一种可能的方式：对于n个目标中的每一个目标，终端根据这个目标的类型，从目标类型与图像处理策略之间的对应关系中，获取对应的图像处理策略作为这个目标的图像处理策略。
98.终端中可以预先存储目标类型与图像处理策略之间的对应关系，该对应关系中包括多个目标类型以及与该多个目标类型一一对应的多个图像处理策略，每个目标类型对应的图像处理策略是属于这个目标类型的目标的图像处理策略。该对应关系可以由技术人员根据视觉体验需求设置得到，比如，在用户的视觉体验中，对人像可能需要清晰度更高，去噪更弱，从而据此可以设置人像这一目标类型对应的图像处理策略，而在用户的视觉体验中，对建筑物可能希望其线条突出，锐化更强，从而据此可以设置建筑物这一目标类型对应的图像处理策略。如此，根据该对应关系获取到的图像处理策略更为符合用户的视觉体验需求。
99.比如，n个目标中的一个目标的类型为人像，则终端据此可以从下表1所示的目标类型与图像处理策略之间的对应关系中，获取对应的图像处理策略为：弱去噪、弱锐化、普通色彩，将该图像处理策略作为这个目标的图像处理策略。
100.表1
[0101][0102]
在本技术实施例中仅以上表1为例对目标类型与图像处理策略之间的对应关系进行举例说明，上表1并不对本技术实施例构成限定。
[0103]
第二种可能的方式：终端根据n个目标中每个目标的类型和所占的比例获取每个目标的图像处理策略。
[0104]
不同大小的目标所需的能够提升显示效果的图像处理策略可能有所不同。比如，不同大小的人像可能就需要不同的图像处理策略，如图7中的(a)图所示，对于比较大的人像可以在清晰度、色彩上均进行精细化处理，如图7中的(b)图所示，对于比较小的人像只需要提升其清晰度即可。因而，可以根据目标的类型和其在图像中所占的比例来获取其图像处理策略，从而使得获取到的图像处理策略可以更为精准地提升目标的显示效果。
[0105]
可选地，对于n个目标中的每一个目标，终端可以根据这个目标的类型和所占的比例，从目标类型、目标比例范围与图像处理策略之间的对应关系中，获取对应的图像处理策略作为这个目标的图像处理策略。
[0106]
终端中可以预先存储目标类型、目标比例范围与图像处理策略之间的对应关系，该对应关系中包括一一对应的多个目标类型、多个目标比例范围以及多个图像处理策略，每个目标类型和目标比例范围对应的图像处理策略是属于这个目标类型的目标所占的比例在该目标比例范围内时的图像处理策略。该对应关系可以由技术人员根据视觉体验需求设置得到。
[0107]
比如，n个目标中的一个目标的类型为人像，且这个目标所占的比例为50％，则终端据此可以从下表2所示的目标类型、目标比例范围与图像处理策略之间的对应关系中，获取对应的图像处理策略为：弱去噪、弱锐化、普通色彩，将该图像处理策略作为这个目标的图像处理策略。
[0108]
表2
[0109][0110]
在本技术实施例中仅以上表2为例对目标类型、目标比例范围与图像处理策略之
间的对应关系进行举例说明，上表2并不对本技术实施例构成限定。
[0111]
步骤305：终端根据n个目标中每个目标的图像处理策略对第一图像进行处理，得到第二图像。
[0112]
对于n个目标中的每一个目标，终端都根据这个目标的图像处理策略对第一图像中的这个目标进行处理。如此，就完成了对第一图像中的显著性区域中的n个目标的处理，也即完成了对第一图像的主体部分的处理。由于用户对第一图像一般最关注显著性区域，所以对第一图像中的显著性区域中的n个目标处理后，对第一图像的整体质量的提升将会非常明显，从而可以有效提升用户的视觉体验。
[0113]
可选地，对于n个目标中的每一个目标，终端根据这个目标的图像处理策略对这个目标进行处理，得到处理后的这个目标。然后将处理后的n个目标与第一图像的背景区域进行图像融合，得到第二图像。
[0114]
这种情况下，第二图像的背景区域与第一图像的背景区域相同，第二图像的显著性区域是对第一图像的显著性区域中的n个目标处理后得到的。
[0115]
其中，终端根据这个目标的图像处理策略对这个目标进行处理时，可以是根据这个目标的图像处理策略对第一图像中的全部像素值进行处理，在处理完成后，再从处理后的第一图像中分割出这个目标，将分割出的这个目标与未处理的第一图像的背景区域进行图像融合。比如，对于如图4所示的第一图像，其显著性区域如图5中的(b)图所示，包含有一个目标，则终端可以根据这个目标的图像处理策略对图4所示的第一图像中的全部像素值进行处理，在处理完成后，再从处理后的第一图像中分割出这个目标，将分割出的这个目标与未处理的第一图像的背景区域进行图像融合。
[0116]
或者，终端根据这个目标的图像处理策略对这个目标进行处理时，可以是根据这个目标的图像处理策略对在显著性目标检测时分割出的这个目标所在的目标区域中的全部像素值进行处理，在处理完成后，将处理后的这个目标区域与第一图像的背景区域进行图像融合。比如，对于如图4所示的第一图像，其显著性区域如图5中的(b)图所示，包含有一个目标，此时该显著性区域即是在显著性目标检测时分割出的这个目标所在的目标区域，则终端可以根据这个目标的图像处理策略对图5中的(b)图所示的目标区域中的全部像素值进行处理，在处理完成后，再将处理后的该目标区域与第一图像的背景区域进行图像融合。
[0117]
其中，终端将处理后的n个目标与第一图像的背景区域进行图像融合时，可以根据该n个目标的位置，将处理后的n个目标与第一图像的背景区域进行图像融合。此图像融合过程与相关技术中某个终端根据某个前景图像的位置将这个前景图像与某个背景图像进行图像融合的操作类似，本技术实施例对此不进行详细描述。
[0118]
例如，对于第一图像中的每一个位置，若这个位置属于第一图像的背景区域，则将该背景区域中这个位置的像素值作为第二图像中对应位置的像素值；若这个位置属于第一图像的显著性区域，则将该显著性区域中这个位置的目标的经处理后的像素值作为第二图像中对应位置的像素值。如此，即是保持第一图像的背景区域不变，对第一图像的显著性区域进行处理，来得到第二图像。
[0119]
在本技术实施例中，终端获取到待处理的第一图像后，对第一图像进行显著性目标检测，得到第一图像中的显著性区域。之后，对该显著性区域进行目标识别，得到该显著
性区域包含的n个目标中每个目标的类型，然后根据n个目标中每个目标的类型获取每个目标的图像处理策略。最后，根据n个目标中每个目标的图像处理策略对第一图像进行处理，得到第二图像。在此图像处理过程中，可以根据目标的类型来获取其图像处理策略，继而根据该图像处理策略实现对第一图像的显著性区域中的目标的差异化处理，如此可以实现对图像主体部分的显示效果的提升，从而可以提升图像整体质量，进而可以有效提升用户的视觉体验。
[0120]
图8是本技术实施例提供的一种图像处理装置的结构示意图，该装置可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部，该计算机设备可以为图1-图2实施例所述的终端。参见图8，该装置包括第一获取模块801、检测模块802、识别模块803、第二获取模块804和处理模块805。
[0121]
第一获取模块801，用于获取待处理的第一图像；
[0122]
检测模块802，用于对第一图像进行显著性目标检测，得到第一图像中的显著性区域；
[0123]
识别模块803，用于对显著性区域进行目标识别，得到显著性区域包含的n个目标中每个目标的类型，n为正整数；
[0124]
第二获取模块804，用于根据n个目标中每个目标的类型获取每个目标的图像处理策略；
[0125]
处理模块805，用于根据n个目标中每个目标的图像处理策略对第一图像进行处理，得到第二图像。
[0126]
可选地，识别模块803用于：
[0127]
对显著性区域进行图像分割，得到显著性区域中的n个目标区域；
[0128]
对n个目标区域中每个目标区域进行目标识别，得到每个目标区域包含的目标的类型。
[0129]
可选地，第二获取模块804用于：
[0130]
对于n个目标中的每一个目标，根据一个目标的类型，从目标类型与图像处理策略之间的对应关系中，获取对应的图像处理策略作为一个目标的图像处理策略。
[0131]
可选地，该装置还包括：
[0132]
第三获取模块，获取n个目标中每个目标在第一图像中所占的比例；
[0133]
第二获取模块804用于：
[0134]
根据n个目标中每个目标的类型和所占的比例获取每个目标的图像处理策略。
[0135]
可选地，第二获取模块804用于：
[0136]
对于n个目标中的每一个目标，根据一个目标的类型和所占的比例，从目标类型、目标比例范围与图像处理策略之间的对应关系中，获取对应的图像处理策略作为一个目标的图像处理策略。
[0137]
可选地，处理模块805用于：
[0138]
对于n个目标中的每一个目标，根据一个目标的图像处理策略对一个目标进行处理，得到处理后的一个目标；
[0139]
将处理后的n个目标与第一图像的背景区域进行图像融合，得到第二图像，背景区域是第一图像中除显著性区域之外的其他区域。
[0140]
可选地，图像处理策略包括至少一个图像处理操作和至少一个图像处理操作中每个图像处理操作的强度，至少一个图像处理操作包括去噪、锐化、色彩中的一个或多个。
[0141]
在本技术实施例中，获取到待处理的第一图像后，对第一图像进行显著性目标检测，得到第一图像中的显著性区域。之后，对该显著性区域进行目标识别，得到该显著性区域包含的n个目标中每个目标的类型，然后根据n个目标中每个目标的类型获取每个目标的图像处理策略。最后，根据n个目标中每个目标的图像处理策略对第一图像进行处理，得到第二图像。在此图像处理过程中，可以根据目标的类型来获取其图像处理策略，继而根据该图像处理策略实现对第一图像的显著性区域中的目标的差异化处理，如此可以实现对图像主体部分的显示效果的提升，从而可以提升图像整体质量，进而可以有效提升用户的视觉体验。
[0142]
需要说明的是：上述实施例提供的图像处理装置在图像处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0143]
上述实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术实施例的保护范围。
[0144]
上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，上述实施例中单元、模块的具体工作过程及带来的技术效果，可参见方法实施例部分，此处不再赘述。
[0145]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，比如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(比如：同轴电缆、光纤、数据用户线(digital subscriber line，dsl))或无线(比如：红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(比如：软盘、硬盘、磁带)、光介质(比如：数字通用光盘(digital versatile disc，dvd))或半导体介质(比如：固态硬盘(solid state disk，ssd))等。
[0146]
以上所述为本技术提供的可选实施例，并不用以限制本技术，凡在本技术的揭露的技术范围之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理的第一图像；对所述第一图像进行显著性目标检测，得到所述第一图像中的显著性区域；对所述显著性区域进行目标识别，得到所述显著性区域包含的n个目标中每个目标的类型，所述n为正整数；根据所述n个目标中每个目标的类型获取所述每个目标的图像处理策略；根据所述n个目标中每个目标的图像处理策略对所述第一图像进行处理，得到第二图像。2.如权利要求1所述的方法，其特征在于，所述对所述显著性区域进行目标识别，得到所述显著性区域包含的n个目标中每个目标的类型，包括：对所述显著性区域进行图像分割，得到所述显著性区域中的n个目标区域；对所述n个目标区域中每个目标区域进行目标识别，得到所述每个目标区域包含的目标的类型。3.如权利要求1或2所述的方法，其特征在于，所述根据所述n个目标中每个目标的类型获取所述每个目标的图像处理策略，包括：对于所述n个目标中的每一个目标，根据所述一个目标的类型，从目标类型与图像处理策略之间的对应关系中，获取对应的图像处理策略作为所述一个目标的图像处理策略。4.如权利要求1或2所述的方法，其特征在于，所述对所述显著性区域进行目标识别，得到所述显著性区域包含的n个目标中每个目标的类型之后，还包括：获取所述n个目标中每个目标在所述第一图像中所占的比例；所述根据所述n个目标中每个目标的类型获取所述每个目标的图像处理策略，包括：根据所述n个目标中每个目标的类型和所占的比例获取所述每个目标的图像处理策略。5.如权利要求4所述的方法，其特征在于，所述根据所述n个目标中每个目标的类型和所占的比例获取所述每个目标的图像处理策略，包括：对于所述n个目标中的每一个目标，根据所述一个目标的类型和所占的比例，从目标类型、目标比例范围与图像处理策略之间的对应关系中，获取对应的图像处理策略作为所述一个目标的图像处理策略。6.如权利要求1-5任一所述的方法，其特征在于，所述根据所述n个目标中每个目标的图像处理策略对所述第一图像进行处理，得到第二图像，包括：对于所述n个目标中的每一个目标，根据所述一个目标的图像处理策略对所述一个目标进行处理，得到处理后的所述一个目标；将处理后的所述n个目标与所述第一图像的背景区域进行图像融合，得到所述第二图像，所述背景区域是所述第一图像中除所述显著性区域之外的其他区域。7.如权利要求1-6任一所述的方法，其特征在于，所述图像处理策略包括至少一个图像处理操作和所述至少一个图像处理操作中每个图像处理操作的强度，所述至少一个图像处理操作包括去噪、锐化、色彩中的一个或多个。8.一种图像处理装置，其特征在于，所述装置包括：第一获取模块，用于获取待处理的第一图像；
检测模块，用于对所述第一图像进行显著性目标检测，得到所述第一图像中的显著性区域；识别模块，用于对所述显著性区域进行目标识别，得到所述显著性区域包含的n个目标中每个目标的类型，所述n为正整数；第二获取模块，用于根据所述n个目标中每个目标的类型获取所述每个目标的图像处理策略；处理模块，用于根据所述n个目标中每个目标的图像处理策略对所述第一图像进行处理，得到第二图像。9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7任意一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-7任意一项所述的方法。11.一种包含指令的计算机程序产品，其特征在于，当其在计算机上运行时，使得计算机执行如权利要求1-7任意一项所述的方法。

技术总结
本申请公开了一种图像处理方法、装置、设备、存储介质和程序产品，属于终端技术领域。包括：获取待处理的第一图像；对第一图像进行显著性目标检测，得到第一图像中的显著性区域；对显著性区域进行目标识别，得到显著性区域包含的n个目标中每个目标的类型，n为正整数；根据n个目标中每个目标的类型获取每个目标的图像处理策略；根据n个目标中每个目标的图像处理策略对第一图像进行处理，得到第二图像。本申请可以根据目标的类型来获取其图像处理策略，继而根据该图像处理策略实现对第一图像的显著性区域中的目标的差异化处理，如此可以实现对图像主体部分的显示效果的提升，从而可以提升图像整体质量，进而可以有效提升用户的视觉体验。觉体验。觉体验。


技术研发人员：丁大钧 肖斌 王宇 朱聪超
受保护的技术使用者：荣耀终端有限公司
技术研发日：2022.01.07
技术公布日：2023/7/25