一种基于AI的创作辅助方法及系统与流程

一种基于ai的创作辅助方法及系统
技术领域
1.本发明涉及ai辅助相关技术领域，具体是一种基于ai的创作辅助方法及系统。


背景技术：

2.随着ai技术的快速发展，在部分领域中，ai已经达到了可以在一定程度上来代替人们进行工作的水平，且其得益于算力所带来的高效率内容产出模式及工作模式，又进一步的提升了其在生产工作中的地位。
3.但在实际执行中，ai对于更加主观化的需求转化依然是存在较多问题的，其通过关键词描述进行理解和内容转发的方式，对于主观性想法难以高效的进行理解和转化，因此将ai作为辅助性的工具，与人工进行相互辅助，是ai发展的一个重要分支。


技术实现要素：

4.本发明的目的在于提供一种基于ai的创作辅助方法及系统，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于ai的创作辅助系统，包含：文本描述模块，用于获取并识别区域的文本描述数据，并基于所述文本描述数据进行分割检索，获取相对应的需求目标特征，并生成相匹配的预测图像的集合，所述预测图像表征与所述需求目标特征相匹配的初始色彩特征分布；特征获取模块，用于获取用户的草图绘制记录，并对所述草图绘制记录进行结构及特征分析，获取用户绘制特征，所述草图绘制记录包括线条绘制记录、色彩绘制记录以及文字标记记录；辅助检索模块，用于基于所述用户绘制特征对所述预测图像的集合进行过滤检索，以获取与用户绘制特征匹配度达到预设值的多个预测图像的匹配集合，所述过滤检索包括对所述文字标记记录进行识别匹配的过程；辅助输出模块，用于对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并依次输出所述预测图像，获取用户反馈指令并执行，所述用户反馈指令表征对对应预测图像的执行操作。
6.作为本发明的进一步方案：所述辅助输出模块包括：列表输出单元，用于对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并基于排列次序依次输出所述预测图像；输出响应单元，用于获取用户对所述预测图像的反馈指令，若所述反馈指令表征为不满足，则将所述预测图像从匹配集合中删除并次第输出下一所述预测图像，若所述反馈指令表征为满足，则将所述预测图像设置为比对素材；辅助叠加单元，用于当所述反馈指令表征为叠加辅助时，建立辅助绘画图层，并基于所述草图绘制记录生成缩放目标尺寸，将所述预测图像在所述辅助绘画图层中缩放并与
用户草图进行区域对齐。
7.作为本发明的再进一步方案：还包括辅助工具模块，所述辅助工具模块包括：类型判断单元，用于基于工具库对所述预测图像的元素构成进行匹配，以获取数个相匹配的工具指令，所述工具库为用户所使用绘制程序中的图像绘制工具的集合；辅助执行单元，用于建立相匹配的所述工具指令的辅助调用链接，并生成辅助工具列表，输出所述辅助工具列表。
8.作为本发明的再进一步方案：还包括附加检索模块，具体包括：附加特征单元，用于当所述用户反馈指令表征为满足或叠加辅助时，获取相对应的一个或多个预测图像，并获取所述预测图像的特征组成信息；附加重置单元，用于基于所述特征组成信息对所述匹配集合进行重新匹配，并基于匹配结果进行重新降序排列；附加检索单元，用于基于所述特征组成信息检索以获取新的预测图像合集，并基于用户绘制特征对所述预测图像合集进行筛选以生成附加匹配合集。
9.作为本发明的再进一步方案：所述文本描述数据包括区域分布数据、对象主体数据以及对象特征数据；所述区域分布数据用于表征文本描述数据的适用图像范围，所述对象主体数据表征该适用图像范围内的图像主体内容，所述对象特征数据表征对于该图像主体内容的细节执行内容。
10.本发明实施例旨在提供一种基于ai的创作辅助方法，包含步骤：获取并识别区域的文本描述数据，并基于所述文本描述数据进行分割检索，获取相对应的需求目标特征，并生成相匹配的预测图像的集合，所述预测图像表征与所述需求目标特征相匹配的初始色彩特征分布；获取用户的草图绘制记录，并对所述草图绘制记录进行结构及特征分析，获取用户绘制特征，所述草图绘制记录包括线条绘制记录、色彩绘制记录以及文字标记记录；基于所述用户绘制特征对所述预测图像的集合进行过滤检索，以获取与用户绘制特征匹配度达到预设值的多个预测图像的匹配集合，所述过滤检索包括对所述文字标记记录进行识别匹配的过程；对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并依次输出所述预测图像，获取用户反馈指令并执行，所述用户反馈指令表征对对应预测图像的执行操作。
11.作为本发明的进一步方案：所述对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并依次输出所述预测图像，获取用户反馈指令并执行的步骤包括：对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并基于排列次序依次输出所述预测图像；获取用户对所述预测图像的反馈指令，若所述反馈指令表征为不满足，则将所述预测图像从匹配集合中删除并次第输出下一所述预测图像，若所述反馈指令表征为满足，则将所述预测图像设置为比对素材；当所述反馈指令表征为叠加辅助时，建立辅助绘画图层，并基于所述草图绘制记
录生成缩放目标尺寸，将所述预测图像在所述辅助绘画图层中缩放并与用户草图进行区域对齐。
12.作为本发明的再进一步方案：还包括步骤：基于工具库对所述预测图像的元素构成进行匹配，以获取数个相匹配的工具指令，所述工具库为用户所使用绘制程序中的图像绘制工具的集合；建立相匹配的所述工具指令的辅助调用链接，并生成辅助工具列表，输出所述辅助工具列表。
13.作为本发明的再进一步方案：还包括步骤：当所述用户反馈指令表征为满足或叠加辅助时，获取相对应的一个或多个预测图像，并获取所述预测图像的特征组成信息；基于所述特征组成信息对所述匹配集合进行重新匹配，并基于匹配结果进行重新降序排列；基于所述特征组成信息检索以获取新的预测图像合集，并基于用户绘制特征对所述预测图像合集进行筛选以生成附加匹配合集。
14.作为本发明的再进一步方案：所述文本描述数据包括区域分布数据、对象主体数据以及对象特征数据；所述区域分布数据用于表征文本描述数据的适用图像范围，所述对象主体数据表征该适用图像范围内的图像主体内容，所述对象特征数据表征对于该图像主体内容的细节执行内容。
15.与现有技术相比，本发明的有益效果是：作用在于辅助用户进行绘画工作，以提升用户的创作作业效率，通过文本描述模块对用户的绘画需求进行了解，并通过用户在草图绘制过程中的草图对基于需求匹配生成的ai内容进行进一步的筛选过滤，依次来进行用户需求的追溯和展现，以此来辅助用户对自身想法的引导实现，以及对相符内容的快速确定。
附图说明
16.图1为一种基于ai的创作辅助系统组成框图。
17.图2为一种基于ai的创作辅助系统中辅助输出模块的组成框图。
18.图3为一种基于ai的创作辅助系统中辅助工具模块的组成框图。
19.图4为一种基于ai的创作辅助方法的流程框图。
实施方式
20.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
21.以下结合具体实施例对本发明的具体实现方式进行详细描述。
22.如图1所述，为本发明一个实施例提供的一种基于ai的创作辅助系统，包括以下步骤：文本描述模块100，用于获取并识别区域的文本描述数据，并基于所述文本描述数据进行分割检索，获取相对应的需求目标特征，并生成相匹配的预测图像的集合，所述预测
图像表征与所述需求目标特征相匹配的初始色彩特征分布；特征获取模块300，用于获取用户的草图绘制记录，并对所述草图绘制记录进行结构及特征分析，获取用户绘制特征，所述草图绘制记录包括线条绘制记录、色彩绘制记录以及文字标记记录。
23.辅助检索模块500，用于基于所述用户绘制特征对所述预测图像的集合进行过滤检索，以获取与用户绘制特征匹配度达到预设值的多个预测图像的匹配集合，所述过滤检索包括对所述文字标记记录进行识别匹配的过程。
24.辅助输出模块700，用于对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并依次输出所述预测图像，获取用户反馈指令并执行，所述用户反馈指令表征对对应预测图像的执行操作。
25.本实施例中，给出了一种基于ai的创作辅助系统，其作用在于辅助用户进行绘画工作，以提升用户的创作作业效率，通过文本描述模块对用户的绘画需求进行了解，并通过用户在草图绘制过程中的草图对基于需求匹配生成的ai内容进行进一步的筛选过滤，依次来进行用户需求的追溯和展现，以此来辅助用户对自身想法的引导实现，以及对相符内容的快速确定；在具体的实现过程中，使用者通过绘制标定区域并在选取内写入相对应的创意的内容对象以及对于对象的各种细节信息等，区域可以是一个较大范围的主区域以及在主区域内框选的较多的相邻或部分重叠的子区域，从而可以基于用户的分区描绘建议一个符合用户需求的大致内容，而后用户进行草图的绘制，通过对其绘制草图的图形和线条分布对ai所描绘的图像进行进一步的筛选，从而更加贴近用户需求的内容，并在用户自身的进一步筛选中获取满足使用者需求的内容，以辅助使用者进行快速的创作，可以加快用户通过自身将想法转化为实际内容的创意转变过程，且能够通过更多的方案引导使用者进一步优化内容，从而缩短使用者将想法转变为实际内容过程中的思考时间，通过ai弥补人的缺陷，同时基于人来获得更好的创作内容。
26.如图2所示，作为本发明另一个优选的实施例，所述辅助输出模块700包括：列表输出单元701，用于对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并基于排列次序依次输出所述预测图像。
27.输出响应单元702，用于获取用户对所述预测图像的反馈指令，若所述反馈指令表征为不满足，则将所述预测图像从匹配集合中删除并次第输出下一所述预测图像，若所述反馈指令表征为满足，则将所述预测图像设置为比对素材。
28.辅助叠加单元703，用于当所述反馈指令表征为叠加辅助时，建立辅助绘画图层，并基于所述草图绘制记录生成缩放目标尺寸，将所述预测图像在所述辅助绘画图层中缩放并与用户草图进行区域对齐。
29.本实施例中，对辅助输出模块700进行了说明，在输出的过程中，用户进行主观筛选，选中的将作为用户的创作辅助素材进行展示，同时用户也可以通过将选中的ai素材作为叠底进行更加高效快速的工作方式，也就是将ai素材作为创作草图使用，以进行二次修改作业。
30.如图3所示，作为本发明另一个优选的实施例，还包括辅助工具模块900，所述辅助工具模块900包括：类型判断单元901，用于基于工具库对所述预测图像的元素构成进行匹配，以获取
数个相匹配的工具指令，所述工具库为用户所使用绘制程序中的图像绘制工具的集合。
31.辅助执行单元902，用于建立相匹配的所述工具指令的辅助调用链接，并生成辅助工具列表，输出所述辅助工具列表。
32.本实施例中，补充了辅助工具模块900，其在使用时的作用在于基于用户所选择的ai素材，判断在创作过程中所需要使用到的工具指令，例如色彩工具、笔刷工具等，将这些对应的工具建立快捷使用链接用于生成单独的指令工具栏，可以有效降低使用者在进行工作时在工具调用中所花费的时间。
33.作为本发明另一个优选的实施例，还包括附加检索模块，具体包括：附加特征单元，用于当所述用户反馈指令表征为满足或叠加辅助时，获取相对应的一个或多个预测图像，并获取所述预测图像的特征组成信息。
34.附加重置单元，用于基于所述特征组成信息对所述匹配集合进行重新匹配，并基于匹配结果进行重新降序排列。
35.附加检索单元，用于基于所述特征组成信息检索以获取新的预测图像合集，并基于用户绘制特征对所述预测图像合集进行筛选以生成附加匹配合集。
36.本实施例中，补充了附加检索模块，其作用在于，进一步的优化输出内容，因初始的匹配集合是基于ai对于用户的输入所理解的，会存在一定程度上的偏差产生，包括用户对风格等的不满足，因此在用户进行对输出内容的选择反馈中，进一步的基于反馈表现为良好的内容进行共性特征的获取，从而进一步的缩小ai的理解范围，实现更加精准的内容输出。
37.作为本发明另一个优选的实施例，所述文本描述数据包括区域分布数据、对象主体数据以及对象特征数据；所述区域分布数据用于表征文本描述数据的适用图像范围，所述对象主体数据表征该适用图像范围内的图像主体内容，所述对象特征数据表征对于该图像主体内容的细节执行内容。
38.本实施例中，对于文本描述数据进行了说明，其区别于现有技术中的用于ai的表达方式，而是通过区域性特征内容的表达，更加契合用户的辅助创作，而非ai的独立创作，通过用户将模糊的构图方案进行表达以进行针对性的ai辅助，更多的保留了使用者自身对于内容的表达。
39.如图4所示，本发明还提供了一种基于ai的创作辅助方法，其包含步骤：s200，获取并识别区域的文本描述数据，并基于所述文本描述数据进行分割检索，获取相对应的需求目标特征，并生成相匹配的预测图像的集合，所述预测图像表征与所述需求目标特征相匹配的初始色彩特征分布。
40.s400，获取用户的草图绘制记录，并对所述草图绘制记录进行结构及特征分析，获取用户绘制特征，所述草图绘制记录包括线条绘制记录、色彩绘制记录以及文字标记记录。
41.s600，基于所述用户绘制特征对所述预测图像的集合进行过滤检索，以获取与用户绘制特征匹配度达到预设值的多个预测图像的匹配集合，所述过滤检索包括对所述文字标记记录进行识别匹配的过程。
42.s800，对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并依次输出所述预测图像，获取用户反馈指令并执行，所述用户反馈指令表征对对应预
测图像的执行操作。
43.作为本发明另一个优选的实施例，所述对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并依次输出所述预测图像，获取用户反馈指令并执行的步骤包括：对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并基于排列次序依次输出所述预测图像。
44.获取用户对所述预测图像的反馈指令，若所述反馈指令表征为不满足，则将所述预测图像从匹配集合中删除并次第输出下一所述预测图像，若所述反馈指令表征为满足，则将所述预测图像设置为比对素材。
45.当所述反馈指令表征为叠加辅助时，建立辅助绘画图层，并基于所述草图绘制记录生成缩放目标尺寸，将所述预测图像在所述辅助绘画图层中缩放并与用户草图进行区域对齐。
46.作为本发明另一个优选的实施例，还包括步骤：基于工具库对所述预测图像的元素构成进行匹配，以获取数个相匹配的工具指令，所述工具库为用户所使用绘制程序中的图像绘制工具的集合。
47.建立相匹配的所述工具指令的辅助调用链接，并生成辅助工具列表，输出所述辅助工具列表。
48.作为本发明另一个优选的实施例，还包括步骤：当所述用户反馈指令表征为满足或叠加辅助时，获取相对应的一个或多个预测图像，并获取所述预测图像的特征组成信息。
49.基于所述特征组成信息对所述匹配集合进行重新匹配，并基于匹配结果进行重新降序排列。
50.基于所述特征组成信息检索以获取新的预测图像合集，并基于用户绘制特征对所述预测图像合集进行筛选以生成附加匹配合集。
51.作为本发明另一个优选的实施例，所述文本描述数据包括区域分布数据、对象主体数据以及对象特征数据；所述区域分布数据用于表征文本描述数据的适用图像范围，所述对象主体数据表征该适用图像范围内的图像主体内容，所述对象特征数据表征对于该图像主体内容的细节执行内容。
52.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（rom）、可编程rom（prom）、电可编程rom（eprom）、电可擦除可编程rom（eeprom）或闪存。易失性存储器可包括随机存取存储器（ram）或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram（sram）、动态ram（dram）、同步dram（sdram）、双数据率sdram（ddrsdram）、增强型sdram（esdram）、同步链路（synchlink） dram（sldram）、存储器总线（rambus）直接ram（rdram）、直接存储器总线动态ram（drdram）、以及存储器总线动态ram（rdram）等。
53.本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
54.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

技术特征：
1.一种基于ai的创作辅助系统，其特征在于，包含：文本描述模块，用于获取并识别区域的文本描述数据，并基于所述文本描述数据进行分割检索，获取相对应的需求目标特征，并生成相匹配的预测图像的集合，所述预测图像表征与所述需求目标特征相匹配的初始色彩特征分布；特征获取模块，用于获取用户的草图绘制记录，并对所述草图绘制记录进行结构及特征分析，获取用户绘制特征，所述草图绘制记录包括线条绘制记录、色彩绘制记录以及文字标记记录；辅助检索模块，用于基于所述用户绘制特征对所述预测图像的集合进行过滤检索，以获取与用户绘制特征匹配度达到预设值的多个预测图像的匹配集合，所述过滤检索包括对所述文字标记记录进行识别匹配的过程；辅助输出模块，用于对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并依次输出所述预测图像，获取用户反馈指令并执行，所述用户反馈指令表征对对应预测图像的执行操作。2.根据权利要求1所述的一种基于ai的创作辅助系统，其特征在于，所述辅助输出模块包括：列表输出单元，用于对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并基于排列次序依次输出所述预测图像；输出响应单元，用于获取用户对所述预测图像的反馈指令，若所述反馈指令表征为不满足，则将所述预测图像从匹配集合中删除并次第输出下一所述预测图像，若所述反馈指令表征为满足，则将所述预测图像设置为比对素材；辅助叠加单元，用于当所述反馈指令表征为叠加辅助时，建立辅助绘画图层，并基于所述草图绘制记录生成缩放目标尺寸，将所述预测图像在所述辅助绘画图层中缩放并与用户草图进行区域对齐。3.根据权利要求2所述的一种基于ai的创作辅助系统，其特征在于，还包括辅助工具模块，所述辅助工具模块包括：类型判断单元，用于基于工具库对所述预测图像的元素构成进行匹配，以获取数个相匹配的工具指令，所述工具库为用户所使用绘制程序中的图像绘制工具的集合；辅助执行单元，用于建立相匹配的所述工具指令的辅助调用链接，并生成辅助工具列表，输出所述辅助工具列表。4.根据权利要求3所述的一种基于ai的创作辅助系统，其特征在于，还包括附加检索模块，具体包括：附加特征单元，用于当所述用户反馈指令表征为满足或叠加辅助时，获取相对应的一个或多个预测图像，并获取所述预测图像的特征组成信息；附加重置单元，用于基于所述特征组成信息对所述匹配集合进行重新匹配，并基于匹配结果进行重新降序排列；附加检索单元，用于基于所述特征组成信息检索以获取新的预测图像合集，并基于用户绘制特征对所述预测图像合集进行筛选以生成附加匹配合集。5.根据权利要求1所述的一种基于ai的创作辅助系统，其特征在于，所述文本描述数据包括区域分布数据、对象主体数据以及对象特征数据；
所述区域分布数据用于表征文本描述数据的适用图像范围，所述对象主体数据表征该适用图像范围内的图像主体内容，所述对象特征数据表征对于该图像主体内容的细节执行内容。6.一种基于ai的创作辅助方法，其特征在于，包含步骤：获取并识别区域的文本描述数据，并基于所述文本描述数据进行分割检索，获取相对应的需求目标特征，并生成相匹配的预测图像的集合，所述预测图像表征与所述需求目标特征相匹配的初始色彩特征分布；获取用户的草图绘制记录，并对所述草图绘制记录进行结构及特征分析，获取用户绘制特征，所述草图绘制记录包括线条绘制记录、色彩绘制记录以及文字标记记录；基于所述用户绘制特征对所述预测图像的集合进行过滤检索，以获取与用户绘制特征匹配度达到预设值的多个预测图像的匹配集合，所述过滤检索包括对所述文字标记记录进行识别匹配的过程；对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并依次输出所述预测图像，获取用户反馈指令并执行，所述用户反馈指令表征对对应预测图像的执行操作。7.根据权利要求6所述的一种基于ai的创作辅助方法，其特征在于，所述对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并依次输出所述预测图像，获取用户反馈指令并执行的步骤包括：对所述匹配集合内所述预测图像基于过滤检索结果的匹配度进行降序排列，并基于排列次序依次输出所述预测图像；获取用户对所述预测图像的反馈指令，若所述反馈指令表征为不满足，则将所述预测图像从匹配集合中删除并次第输出下一所述预测图像，若所述反馈指令表征为满足，则将所述预测图像设置为比对素材；当所述反馈指令表征为叠加辅助时，建立辅助绘画图层，并基于所述草图绘制记录生成缩放目标尺寸，将所述预测图像在所述辅助绘画图层中缩放并与用户草图进行区域对齐。8.根据权利要求7所述的一种基于ai的创作辅助方法，其特征在于，还包括步骤：基于工具库对所述预测图像的元素构成进行匹配，以获取数个相匹配的工具指令，所述工具库为用户所使用绘制程序中的图像绘制工具的集合；建立相匹配的所述工具指令的辅助调用链接，并生成辅助工具列表，输出所述辅助工具列表。9.根据权利要求8所述的一种基于ai的创作辅助方法，其特征在于，还包括步骤：当所述用户反馈指令表征为满足或叠加辅助时，获取相对应的一个或多个预测图像，并获取所述预测图像的特征组成信息；基于所述特征组成信息对所述匹配集合进行重新匹配，并基于匹配结果进行重新降序排列；基于所述特征组成信息检索以获取新的预测图像合集，并基于用户绘制特征对所述预测图像合集进行筛选以生成附加匹配合集。10.根据权利要求6所述的一种基于ai的创作辅助方法，其特征在于，所述文本描述数
据包括区域分布数据、对象主体数据以及对象特征数据；所述区域分布数据用于表征文本描述数据的适用图像范围，所述对象主体数据表征该适用图像范围内的图像主体内容，所述对象特征数据表征对于该图像主体内容的细节执行内容。

技术总结
本发明涉及AI辅助相关技术领域，公开了一种基于AI的创作辅助方法及系统，包括文本描述模块、特征获取模块、辅助检索模块以及辅助输出模块；作用在于辅助用户进行绘画工作，以提升用户的创作作业效率，通过文本描述模块对用户的绘画需求进行了解，并通过用户在草图绘制过程中的草图对基于需求匹配生成的AI内容进行进一步的筛选过滤，依次来进行用户需求的追溯和展现，以此来辅助用户对自身想法的引导实现，以及对相符内容的快速确定。以及对相符内容的快速确定。以及对相符内容的快速确定。


技术研发人员：陆晓霞
受保护的技术使用者：上海洛意信息科技有限公司
技术研发日：2023.07.05
技术公布日：2023/10/6