一种基于情感的调色板优化方法及系统

1.本发明涉及人机交互技术领域，特别涉及一种基于情感的调色板优化方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。
3.调色板是信息可视化中重要的视觉编码元素，常被用于呈现分类数据，如：在生物领域基因数据分析中，对不同的基因组进行测序编码及图谱绘制，也可以使用红蓝调色板应用于热图中比较不同组织或条件下基因表达的差异；在海洋湍流数据分析中，可以对海洋湍流中的湍流形式和结构进行编码；在流行疾病数据可视化中，对每个地区的不同类别人群进行编码。调色板通常由一系列离散的色彩组成，色彩的设计影响着人们对于数据理解的感知认知。现有研究表明，调色板能够引起人们的情感共鸣，具有情感一致性的调色板对于类别数据的理解与分析有直接影响。为了设计符合已知情感的调色板，设计师通常不断地调整调色板中的颜色，并凭借个人经验和对色彩与情感关联的主观认知进行调节，该过程耗时耗力。
4.为了提高调色设计效率，研究人员探索了情感与色彩之间的关联关系。有研究人员探索了八种离散情感与调色板属性之间的定性关联关系，并在此基础上利用色彩频率指标，评价与调色盘关联的累积效应；更进一步地，也有研究人员探索了调色板与包含情感的词云的关联关系，基于该关系自动推荐包含特定情感的词云调色板的计算模型；还有研究人员设计了基于情感的色彩迁移系统，通过提取图像、语音、生物信号等的特征对情感进行分析，并通过情感对色彩等内容进行转换。
5.然而，发明人发现，大多数研究都集中在探索单个色彩或者多个色彩组合与离散情感的关联关系，无法基于连续情感实现更优的调色板生生。


技术实现要素：

6.为了解决现有技术的不足，本发明提供了一种基于情感的调色板优化方法及系统，建立了情感和调色板的关联关系，通过输入目标情感坐标来设计调色板，提高了生成的调色板与情感的匹配程度。
7.为了实现上述目的，本发明采用如下技术方案：
8.本发明第一方面提供了一种基于情感的调色板优化方法。
9.一种基于情感的调色板优化方法，包括以下过程：
10.获取初始调色板以及目标情感坐标值；
11.提取初始调色板的色彩特征，利用情感和调色板关联计算模型，得到调色板在二维空间中的情感坐标预测值；
12.以情感坐标预测值和目标值的差异最小为目标，得到优化后的调色板中的色彩。
13.本发明第二方面提供了一种基于情感的调色板优化系统。
14.一种基于情感的调色板优化系统，包括：
15.数据获取模块，被配置为：获取初始调色板以及目标情感坐标值；
16.情感坐标预测模块，被配置为：提取初始调色板的色彩特征，利用情感和调色板关联计算模型，得到调色板在二维空间中的情感坐标预测值；
17.调色板优化生成模块，被配置为：以情感坐标预测值和目标值的差异最小为目标，得到优化后的调色板中的色彩。
18.本发明第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于情感的调色板优化方法中的步骤。
19.本发明第四方面一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于情感的调色板优化方法中的步骤。
20.与现有技术相比，本发明的有益效果是：
21.1、本发明创新性的提出了一种基于情感的调色板优化方法及系统，建立了情感和调色板的关联计算模型，通过输入目标情感坐标来设计调色板，提高了生成的调色板与情感的匹配程度。
22.2、本发明创新性的提出了一个根据调色板预测情感坐标的计算模型，该模型通过学习情感坐标和调色板的用户标注结果，预测给定调色板的情感坐标，从而建立了情感坐标和调色板的更准确的关联关系。
23.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
24.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
25.图1为本实施例1提供的基于情感的调色板优化方法的流程示意图；
26.图2为本实施例1提供的界面分布图；
27.图2中的a为输入面板，用户可以在此选择颜色表；
28.图2中的b为情感控制面板，用户可以在此选择目标情感点；
29.图2中的c为参数控制面板，用于选择调整调色板的各项参数；
30.图2中的d为输出面板，用于展示调整后的调色板以及相应可视化表达；
31.图2中的e为历史面板，用户可以在此查看并下载历史调色板；
32.图3为本实施例1提供的长度为7的调色板构造的计算模型在不同正则化参数下的均方误差值曲线；
33.图4为本实施例1提供的四个模型的在不同正则化参数下的mse曲线；
34.图5为本实施例1提供的不同情感点下的不同长度的调色板调整结果；
35.图6为本实施例1提供的选择出的重要矩阵，绿色框为选择的6个有效特征。
具体实施方式
36.下面结合附图与实施例对本发明作进一步说明。
37.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
38.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
39.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
40.实施例1：
41.如图1所示，本发明实施例1提供了一种基于情感的调色板优化方法，首先，本发明构建了一个由艺术绘画组成的数据集，邀请用户对数据集进行情感标注得到其在二维情感空间中的情感坐标，将每幅艺术绘画对应的情感坐标传递到其提取不同长度调色板中；然后，基于情感坐标和每一组相同长度的调色板分别利用多任务套索回归方法构建情感与调色板的关联计算模型；之后，基于该计算模型可进一步计算调色板的重要特征矩阵，以求解对于情感坐标影响较强的调色板特征；
42.对于给定调色板，首先计算该调色板的重要特征，将其输入情感与色彩定量映射模型以计算该调色板对应的情感坐标，用户可通过交互界面调节情感坐标的目标位置，系统将自动优化调色板中的颜色以使得其情感逐渐接近目标位置。
43.更具体的，包括以下内容：
44.根据给定的调色板c，需要构建其情感坐标e的计算模型情感坐标e由二维情感空间中的愉悦度和激活度两个维度构成，表示为e＝(e 0
,e 1
)，调色板c由k种色彩组成，表示为c＝(c 1
,c 2
,
…
,c k
)；
45.对于给定的调色板c，本发明提取了该调色板的色彩特征向量，表示为f＝(f 1
,f 2
,
…
,f m
)；色彩特征向量由一系列调色板中的色彩特征组成，如调色板中第一个颜色分量的数值(如r分类数值)、调色板中色彩分量的统计数值(如亮度分量平均值或最大值)等；
46.对于给定的调色板c，本发明基于该调色板的色彩特征向量以及本发明采集的用户标注色彩与情感配对数据集，利用多任务套索模型构建色彩特征与情感坐标e的计算模型其中，情感坐标e由二维情感空间中的愉悦度和激活度两个维度构成，表示为e＝(e0,e1)，调色板c由k种色彩组成，表示为c＝(c1,c2,
…
,ck)；
47.对于给定的调色板c，本发明利用计算模型可计算该调色板所对应的情感坐标；基于给定目标情感坐标e
*
，本发明利用优化方法调节给定的调色板c，获得符合目标情感坐标e
*
的调色板
48.具体来说，本发明首先通过用户实验对艺术绘画的情感坐标e进行标注，且基于艺术绘画提取的调色板c能够继承其情感坐标e；然后，可以将计算模型的训练过程表述为从调色板c中提取的色彩特征f和情感坐标e的线性回归问题，从而该计算模型能够预测给定调色板c的情感坐标e
*
。
49.其中，情感空间使用了二维情感模型，横轴和纵轴表示为愉悦度e0和激活度e1，情感空间坐标e定义为：e＝(e0,e1)。
50.其中，本发明选取网络图像中的艺术绘画作为数据集，将图片像素化后用户进行标注，将艺术绘画与情感坐标关联起来。
51.在本实施例中，从艺术绘画中提取了4种长度不同的调色板，其中调色板c由k种颜色构成，表示为c＝(c1,c2,
…
,ck)；
52.提取数据集中绘画的颜色特征，共构建了m＝9k+58个特征，其中k是调色板中色彩的数量，每种色彩在rgb色彩空间表示为(rk,gk,bk)，在lab色彩空间表示为(lk,ak,bk)，在hsv色彩空间表示为(hk,sk,vk)，为了统一计算尺度，所有的特征都归一化到[0,1]区间，色彩通道表示为μ，其中色彩特征包括：
[0053]
(a)三个色彩空间中的三个色彩通道的基本数值以及统计值，其中统计值包括：每个色彩通道μ的最小值μ
min
＝min(μ1,μ2,
…
,μk)、最大值μ
max
＝max(μ1,μ2,
…
,μk)、平均值)、平均值中值μ
median
＝median(μ1,μ2,
…
,μk)、和方差)、和方差
[0054]
(b)在lab色彩空间中每两种色彩之间的色彩距离d以及统计值，其中统计值包括：每两种色彩之间的色彩距离d的最小值d
min
＝min(d1,d2,
…
,dk)、最大值d
max
＝max(d1,d2,
…
,dk)和平均值d
mean
＝mean(d1,d2,
…
,dk)。
[0055]
(c)在lab色彩空间中每两种色彩之间的色彩名称距离以及统计值，其中统计值包括：每两种色彩之间的色彩名称距离的最小值的最小值最大值和平均值
[0056]
(d)在hsv色彩空间中计算的色调熵h
p
，它将图像的色调空间划分成若干个小区域，然后计算每个小区域内每种色彩出现的概率的负对数的平均值,计算公式为：h
p
＝-∑p(i)*log2(p(i))，其中p(i)为图像中第i个小区域内每种色彩出现的概率。
[0057]
在本实施例中，采用多任务套索回归模型构建情感与调色板的关联计算模型该模型基于本发明所采集的用户标注数据训练，该模型能够选择出最能够表达情感坐标的调色板色彩特征，模型构造过程详见公式(1)。
[0058]
对于含有不同颜色数量的色板(即调色板长度不同)，模型中所选择的色彩特征及其权重存在差异。以长度为3的调色板为例，根据本发明中提到的提取方法分别提取每幅艺术绘画的调色板和色彩特征，之后基于用户标注结果和色彩特征使用多任务套索回归方法训练计算模型并使用十折交叉验证评估模型的性能。其中，计算模型愉悦度和激活度的有效特征由正则化l1\l2混合范数控制，计算公式如公式(1)所示：
[0059][0060]
其中，j是多任务套索回归模型的损失函数，该公式度量了多任务套索回归模型估
计的情感坐标与用户标注的情感坐标之间的相似程度，计算过程详见公式(2)；n是需要标注的调色板的数量，l表示愉悦度或唤醒度两个维度，是第l个情感维度下第i个调色板的对应情感坐标值，w是调色板色彩特征向量相关的权重矩阵；λ是正则化常数||w||
21
的系数，用于约束选择的特征数量，通过在[0，0.1]区间内均匀取值并比较均方误差值(mse)，最终选定λ＝0.0058作为最终参数，该参数下不同长度调色板模型和中选定的特征矩阵作为重要矩阵。
[0061]
w是不同维度情感所对应的调色板色彩特征向量权重矩阵，其中的每一行为描述了愉悦度或激活度对应的调色板特征权重向量，表示为w
l
，j和常数||w||
21
的计算公式如公式(2)和公式(3)所示：
[0062][0063][0064]
其中，||
·
||是欧式距离，是权重矩阵w的(l,p)位置处的权重值，权重特征的值反映了相应调色板色彩特征分量对模型的影响，即特征的绝对值数值越大表示该特征对模型的影响越大；而0值(或接近0)权重的特征表示对模型影响可忽略，因此，在本说明计算的重要矩阵中，数值为0(或接近0)的特征将被舍弃。
[0065]
为了筛选有效特征，本发明在[7.02
×
10-4
,5.88
×
10-3
]的范围内对正则化参数λ均匀采样，并生成了几个重要矩阵，最终选择了具有最多有效特征的重要矩阵，并从中选择在不同计算模型中皆有效的特征作为有效特征。最终，本发明选择了对模型影响最大的6个有效特征，所选特征表示为有效特征，所选特征表示为其中q是所选特征的数量。
[0066]
在本实施例中，根据选择出的6个有效特征训练和四个模型。最终选择在不同长度调色板上性能最好一个模型作为最终调色板的情感模型，其中在不同调色板上的均方误差值(mse)最低，因此选择为最终模型。且通过用户实验证明模型在不同长度的调色板上具有很好的泛化性。
[0067]
在本实施例中，提出了一种情感驱动的调色板优化方法，该方法支持调色板设计的情感控制，首先，给定一个输入调色板，将其映射到二维空间中的情感坐标，然后指定一个目标情感坐标，将输入调色板中的色彩进行优化，使其情感坐标尽可能的接近目标情感的情感坐标，最终生成一个包含有目标情感的调色板。
[0068]
对输入的调色板，计算其色彩特征并通过线性方程预测其愉悦度和激活度在二维空间中的情感坐标e＝(e0,e1)，计算公式如公式(4)所示：
[0069]
[0070]
对用户输入的调色板c，同时给定一个目标情感坐标本发明将优化后的调色板中的色彩记为优化目标为：使预测的情感坐标尽可能接近新的坐标e
*
，情感驱动调色板优化的过程如计算公式(5)所示：
[0071][0072]
其中，e
*
是有计算模型预测出的经过调整的调色板的坐标，并引入色彩的可辨别性约束f，由参数β控制，β值越大，对情感的约束就越小，色彩的可辨别性是指最大化每两种色彩之间的最小色彩距离，其中f可使用公式(6)表示：
[0073][0074]
其中，δφ是用来调整调色板的每两种色彩在lab色彩空间中的欧式距离。在实际计算中，本发明将β设置为常数0.3，使用经典模拟退火算法求解公式(6)。在优化过程中，避免使用过于明亮和黑暗的色彩，本发明过滤掉了色调值在85
°‑
114
°
范围内的色彩。
[0075]
实施例2：
[0076]
本发明实施例2提供了一种基于情感的调色板优化系统，包括：
[0077]
数据获取模块，被配置为：获取初始调色板以及目标情感坐标值；
[0078]
情感坐标预测模块，被配置为：提取初始调色板的色彩特征，利用情感和调色板关联计算模型，得到调色板在二维空间中的情感坐标预测值；
[0079]
调色板优化生成模块，被配置为：以情感坐标预测值和目标值的差异最小为目标，得到优化后的调色板中的色彩。
[0080]
实施例3：
[0081]
本发明实施例3提供了一种基于情感的调色板优化系统，该系统主要是用户通过输入目标情感来设计调色板，并通过计算给出符合目标情感优化后的调色板，整个系统包括：
[0082]
输入单元，被配置为：用户选择不同类别的可视化表达以及初始调色板，用户可以使用任意不同长度的调色板映射到可视化表达；
[0083]
情感控制单元，被配置为：二维情感空间的可视化表达，包含了一张带有部分情感点标注的二维情感空间，该情感空间由愉悦度和激活度两个情感维度构成。用户选择初始调色板后系统会自动展示其在二维情感空间中的位置，通过拖动该情感控制点选择目标情感；
[0084]
参数控制单元，被配置为：情感模型选择、固定特定色彩、更改模拟退火算法参数模块三部分；其中，情感模型选择模块可以更改当前使用的情感模型；固定特定色彩是用于将某个特定的色彩固定在调色板中，确保在生成新的调色板时该色彩不会被改变；更改模拟退火算法参数是用于调整模拟退火算法的参数，以便生成更优的调色板；
[0085]
输出单元，被配置为：初始调色板映射和输出调色板映射两个模块。其中，初始调色板映射模块是将用户选择的初始调色板映射到可视化数据中，系统提供了柱状图、旭日图、美国地形图、词云四种初始可视化数据，用户可以根据需求进行挑选。输出调色板映射
模块与上一模块功能类似，将优化后的调色板映射到用户选择的可视化数据中，以便于用户对优化后的色彩进行观察选择，在该模块中，系统添加了保存功能，用户可以点击可视化图像保存到本地；
[0086]
调色板历史回溯单元，被配置为：由用户生成的包含情感信息的调色板。该模块用于记录用户在探索过程中生成的调色板，系统提供下载功能，以帮助用户保存和管理历史调色板，从而更好地理解和管理设计过程。
[0087]
实施例4：
[0088]
本发明实施例4提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明实施例1所述的基于情感的调色板优化方法中的步骤。
[0089]
实施例5：
[0090]
本发明实施例5提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明实施例1所述的基于情感的调色板优化方法中的步骤。
[0091]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于情感的调色板优化方法，其特征在于，包括以下过程：获取初始调色板以及目标情感坐标值；提取初始调色板的色彩特征，利用情感和调色板关联计算模型，得到调色板在二维空间中的情感坐标预测值；以情感坐标预测值和目标值的差异最小为目标，得到优化后的调色板中的色彩。2.如权利要求1所述的基于情感的调色板优化方法，其特征在于，以情感坐标预测值和目标值的差异最小为目标，包括：其中，e
*
代表目标情感坐标值，f为可辨别约束，代表情感坐标预测值，β为控制参数，代表优化后的调色板中的色彩。3.如权利要求1所述的基于情感的调色板优化方法，其特征在于，根据色彩特征，通过线性方程预测愉悦度和激活度在二维空间中的情感坐标，包括：其中，为色彩特征，为第j个色彩特征对应的愉悦度和激活度的权重向量，q为所选特征的数量，l为0时代表愉悦度，l为1时代表激活度。4.如权利要求1所述的基于情感的调色板优化方法，其特征在于，愉悦度和激活度的有效特征由正则化l1\l2混合范数控制，包括：其中，n是需要标注的调色板的数量，l表示愉悦度或唤醒度，是第i个调色板的对应坐标，w是愉悦度和激活度相关的色彩特征权重矩阵，λ是正则化常数||w||
21
的系数，f
i
为第i个调色板的色彩特征向量，w
l
为调色板特征对应的愉悦度和激活度的权重向量。5.一种基于情感的调色板优化系统，其特征在于，包括：数据获取模块，被配置为：获取初始调色板以及目标情感坐标值；情感坐标预测模块，被配置为：提取初始调色板的色彩特征，利用情感和调色板关联计算模型，得到调色板在二维空间中的情感坐标预测值；调色板优化生成模块，被配置为：以情感坐标预测值和目标值的差异最小为目标，得到优化后的调色板中的色彩。6.如权利要求5所述的基于情感的调色板优化系统，其特征在于，情感坐标预测模块中，调色板优化生成模块中，以情感坐标预测值和目标值的差异最小为目标，包括：
其中，e
*
代表目标情感坐标值，f为可辨别约束，代表情感坐标预测值，β为控制参数，代表优化后的调色板中的色彩。7.如权利要求5所述的基于情感的调色板优化系统，其特征在于，情感坐标预测模块中，根据色彩特征，通过线性方程预测愉悦度和激活度在二维空间中的情感坐标，包括：其中，为色彩特征，为第j个色彩特征对应的愉悦度和激活度的权重向量，q为所选特征的数量，l为0时代表愉悦度，l为1时代表激活度。8.如权利要求5所述的基于情感的调色板优化系统，其特征在于，情感坐标预测模块中，愉悦度和激活度的有效特征由正则化l1\l2混合范数控制，包括：其中，n是需要标注的调色板的数量，l表示愉悦度或唤醒度，是第i个调色板的对应坐标，w是愉悦度和激活度特征相关的权重矩阵，λ是正则化常数||w||
21
的系数，f
i
为第i个调色板的相关特征向量，w
l
为调色板特征对应的愉悦度和激活度的权重向量。9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-4任一项所述的基于情感的调色板优化方法中的步骤。10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4任一项所述的基于情感的调色板优化方法中的步骤。

技术总结
本发明提供了一种基于情感的调色板优化方法及系统，获取初始调色板以及目标情感坐标值；提取初始调色板的色彩特征，利用情感和调色板关联计算模型，得到调色板在二维空间中的情感坐标预测值；以情感坐标预测值和目标值的差异最小为目标，得到优化后的调色板中的色彩；本发明建立了情感和调色板的关联计算模型，通过输入目标情感坐标来设计调色板，提高了生成的调色板与情感匹配程度。了生成的调色板与情感匹配程度。了生成的调色板与情感匹配程度。


技术研发人员：曾琼 陈翔宇 许文松 屠长河 汪云海
受保护的技术使用者：山东大学
技术研发日：2023.05.23
技术公布日：2023/8/24