用于使图像稳定化的电子装置及其操作方法与流程

用于使图像稳定化的电子装置及其操作方法
1.本技术是申请日为2020年02月19日，申请号为“202080015565.0”，标题为“用于使图像稳定化的电子装置及其操作方法”的发明专利申请的分案申请。
技术领域
2.本公开总体上涉及一种用于提供图像捕获功能的电子装置，并且更具体地涉及一种用于使用防手抖技术来使图像稳定化的电子装置及其操作方法。


背景技术：

3.随着信息通信和半导体技术的发展，各种类型的电子装置已发展成提供各种多媒体服务的多媒体装置。例如，电子装置提供各种多媒体服务，诸如信使服务、广播服务、无线互联网服务、相机服务和音乐播放服务。电子装置包括高像素相机模块，因此可拍摄静止图像和运动图像，并且可提供应用各种摄影效果的独特图片。
4.最近，已提供了手抖校正功能，以防止与在用户使用电子装置拍摄照片的情况下由于用户手抖或无意运动而在捕获的图像上出现的余像相关的问题。视频数字图像稳定化或数字图像稳定化可用作手抖校正方案。
5.通常，这样的视频数字图像稳定化方案可基于输入图像的运动(例如，对象或背景的运动)和电子装置的运动来校正多个图像(或图像帧)的抖动。例如，电子装置可通过数字图像稳定化来校正图像的抖动，其中，该数字图像稳定化基于边缘区域(例如，校正范围)将输入图像的一部分(例如，输入图像的区域的90％)确定为输出区域并且在与电子装置的运动相反的方向上移动输入图像内的输出区域。
6.另外，稳定化方案的性能可通过输出图像与输入图像的尺寸比来确定。尺寸比可以是通过从输入图像减去输出图像而获得的边缘区域的尺寸。例如，边缘区域越宽，输出区域的运动范围越宽，这意味着对大运动的校正是可能的。
7.然而，可由需要考虑便携性的电子装置获得的图像的尺寸是有限的。因此，电子装置的数字图像稳定化方案可适合于小运动的校正，但是如果对大运动执行校正，则可能导致输出不自然图像的问题。


技术实现要素：

8.已做出本公开以解决上述问题和缺点，并且至少提供下面描述的优点。
9.根据本公开的一方面，提供了一种电子装置，包括：相机；运动传感器；存储器；以及至少一个处理器。所述至少一个处理器可被配置为：根据执行图像获取模式，从运动传感器获取电子装置的运动信息；基于运动信息的至少一部分确定图像稳定化方案；以及基于所确定的图像稳定化方案，对通过相机获取的至少一个图像执行稳定化操作。图像稳定化方案可包括：第一稳定化方案，用于基于第一边缘区域校正所述至少一个图像的抖动；以及第二稳定化方案，用于基于大于第一边缘区域的第二边缘区域校正所述至少一个图像的抖动。
10.根据本公开的另一方面，提供了一种电子装置，包括：相机；显示器；存储器；以及至少一个处理器。所述至少一个处理器可被配置为：根据执行图像获取模式，输出用于选择第一稳定化方案或第二稳定化方案中的一个的用户界面；基于输入来选择第一稳定化方案或第二稳定化方案中的一个；以及基于所选择的图像稳定化方案，对通过相机获取的至少一个图像执行稳定化操作。
11.根据本公开的另一方面，一种用于操作电子装置的方法包括：根据执行图像获取模式，获取电子装置的运动信息；基于运动信息的至少一部分确定图像稳定化方案；以及基于所确定的图像稳定化方案，对通过相机获取的至少一个图像执行稳定化操作。图像稳定化方案可包括：第一稳定化方案，用于基于第一边缘区域校正所述至少一个图像的抖动；以及第二稳定化方案，用于基于大于第一边缘区域的第二边缘区域校正所述至少一个图像的抖动。
附图说明
12.通过以下结合附图的描述，本公开的某些实施例的上述和其他方面、特征和优点将更加明显，其中：
13.图1是根据实施例的网络环境中的电子装置的框图；
14.图2是示出根据实施例的相机模块的框图；
15.图3a是示出根据实施例的电子装置的配置的框图；
16.图3b是示出根据实施例的抖动校正单元的配置的框图；
17.图4是根据实施例的由电子装置执行的图像稳定化操作的流程图；
18.图5a示出了根据实施例的电子装置的稳定化方案；
19.图5b示出了根据实施例的电子装置的稳定化方案；
20.图6a是根据实施例的图像稳定化方案的流程图；
21.图6b示出了根据实施例的由电子装置引导图像稳定化方案的情况；
22.图6c是描述根据实施例的由电子装置确定图像稳定化方案的操作的流程图；
23.图7是描述根据实施例的由电子装置进行的图像稳定化操作的流程图；
24.图8是描述根据实施例的由电子装置校正滚动快门失真的操作的流程图；
25.图9a示出了根据实施例的处理由电子装置检测到的运动信息的操作；
26.图9b示出了根据实施例的处理由电子装置检测到的运动信息的操作；
27.图10是描述根据实施例的由电子装置确定稳定化路径的操作的流程图；
28.图11a示出了根据实施例的用于由电子装置确定稳定化路径的参数；
29.图11b示出了根据实施例的用于由电子装置确定稳定化路径的参数；
30.图12是描述根据实施例的由电子装置校正至少一个图像的操作的流程图；
31.图13a示出了根据实施例的由电子装置输出与稳定化水平相应的通知信息的情况；
32.图13b示出了根据实施例的由电子装置输出与稳定化水平相应的通知信息的情况；
33.图14是根据实施例的用于由电子装置执行图像稳定化操作的流程图；以及
34.图15示出了根据实施例的由电子装置提供稳定化方案选择指南的情况。
具体实施方式
35.参照附图描述了本公开的各种实施例。然而，本公开的各种实施例不限于特定实施例，并且应当理解，可以以各种方式进行本文描述的实施例的修改、等同和/或替代。关于附图的描述，类似的组件可用类似的附图标号来标记。
36.本公开的各种实施例用于提供一种通过电子装置校正大运动的抖动以及小运动的抖动的方法和设备。
37.图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1，网络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置102进行通信，或者经由第二网络199(例如，长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例，电子装置101可经由服务器108与电子装置104进行通信。根据实施例，电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(sim)196或天线模块197。在一些实施例中，可从电子装置101中省略所述组件中的至少一个(例如，显示装置160或相机模块180)，或者可将一个或更多个其它组件添加到电子装置101中。在一些实施例中，可将所述组件中的一些组件实现为单个集成电路。例如，可将传感器模块176(例如，指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如，显示器)中。
38.处理器120可运行例如软件(例如，程序140)来控制电子装置101的与处理器120连接的至少一个其它组件(例如，硬件组件或软件组件)，并可执行各种数据处理或计算。根据一个实施例，作为所述数据处理或计算的至少部分，处理器120可将从另一组件(例如，传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中，对存储在易失性存储器132中的命令或数据进行处理，并将结果数据存储在非易失性存储器134中。根据实施例，处理器120可包括主处理器121(例如，中央处理器(cpu)或应用处理器(ap))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如，图形处理单元(gpu)、图像信号处理器(isp)、传感器中枢处理器或通信处理器(cp))。另外地或者可选择地，辅助处理器123可被适配为比主处理器121耗电更少，或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离，或者实现为主处理器121的部分。
39.在主处理器121处于未激活(例如，睡眠)状态时，辅助处理器123(而非主处理器121)可控制与电子装置101的组件之中的至少一个组件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例如，运行应用)时，辅助处理器123可与主处理器121一起来控制与电子装置101的组件之中的至少一个组件(例如，显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例，可将辅助处理器123(例如，图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一组件(例如，相机模块180或通信模块190)的部分。
40.存储器130可存储由电子装置101的至少一个组件(例如，处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如，程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
41.可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统
(os)142、中间件144或应用146。
42.输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它组件(例如，处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如，手写笔)。
43.声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的，接收器可用于呼入呼叫。根据实施例，可将接收器实现为与扬声器分离，或实现为扬声器的部分。
44.显示装置160可向电子装置101的外部(例如，用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例，显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如，压力传感器)。
45.音频模块170可将声音转换为电信号，反之亦可。根据实施例，音频模块170可经由输入装置150获得声音，或者经由声音输出装置155或与电子装置101直接(例如，有线地)连接或无线连接的外部电子装置(例如，电子装置102)的耳机输出声音。
46.传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据值。根据实施例，传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(ir)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
47.接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接(例如，有线地)或无线连接的一个或更多个特定协议。根据实施例，接口177可包括例如高清晰度多媒体接口(hdmi)、通用串行总线(usb)接口、安全数字(sd)卡接口或音频接口。
48.连接端178可包括连接器，其中，电子装置101可经由所述连接器与外部电子装置(例如，电子装置102)物理连接。根据实施例，连接端178可包括例如hdmi连接器、usb连接器、sd卡连接器或音频连接器(例如，耳机连接器)。
49.触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如，振动或运动)或电刺激。根据实施例，触觉模块179可包括例如电机、压电元件或电刺激器。
50.相机模块180可捕获静止图像或运动图像。根据实施例，相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
51.电力管理模块188可管理对电子装置101的供电。根据实施例，可将电力管理模块188实现为例如电力管理集成电路(pmic)的至少部分。
52.电池189可对电子装置101的至少一个组件供电。根据实施例，电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
53.通信模块190可支持在电子装置101与外部电子装置(例如，电子装置102、电子装置104或服务器108)之间建立直接(例如，有线)通信信道或无线通信信道，并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如，应用处理器(ap))独立操作的一个或更多个通信处理器，并支持直接(例如，有线)通信或无线通信。根据实施例，通信模块190可包括无线通信模块192(例如，蜂窝通信模块、短距离无线通信模块或全球导航卫
星系统(gnss)通信模块)或有线通信模块194(例如，局域网(lan)通信模块或电力线通信(plc)模块)。这些通信模块中的相应一个可经由第一网络198(例如，短距离通信网络，诸如蓝牙、无线保真(wi-fi)直连或红外数据协会(irda))或第二网络199(例如，长距离通信网络，诸如蜂窝网络、互联网、或计算机网络(例如，lan或广域网(wan)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个组件(例如，单个芯片)，或可将这些各种类型的通信模块实现为彼此分离的多个组件(例如，多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如，国际移动用户识别码(imsi))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
54.天线模块197可将信号或电力发送到电子装置101的外部(例如，外部电子装置)或者从电子装置101的外部(例如，外部电子装置)接收信号或电力。根据实施例，天线模块197可包括天线，所述天线包括辐射元件，所述辐射元件由形成在基底(例如，pcb)中或形成在基底上的导电材料或导电图案构成。根据实施例，天线模块197可包括多个天线。在这种情况下，可由例如通信模块190(例如，无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例，除了辐射元件之外的另外的组件(例如，射频集成电路(rfic))可附加地形成为天线模块197的一部分。
55.上述组件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出(gpio)、串行外设接口(spi)或移动工业处理器接口(mipi))相互连接并在它们之间通信地传送信号(例如，命令或数据)。
56.根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置，或者是与电子装置101不同类型的装置。根据实施例，将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如，如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分，而不是运行所述功能或服务，或者电子装置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服务，并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此，可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
57.图2是示出根据各种实施例的相机模块180的框图200。参照图2，相机模块180可包括镜头组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如，缓冲存储器)或isp 260。镜头组件210可采集从将被拍摄图像的物体发出或反射的光。镜头组件210可包括一个或更多个透镜。根据实施例，相机模块180可包括多个镜头组件210。在这种情况下，相机模块180可形成例如双相机、360度相机或球形相机。多个镜头组件210中的一些镜头组件210可具有相同的镜头属性(例如，视角、焦距、自动对焦、f数或光学变焦)，或者至少
一个镜头组件可具有与另外的镜头组件的镜头属性不同的一个或更多个镜头属性。镜头组件210可包括例如广角镜头或长焦镜头。
58.闪光灯220可发光，其中，发出的光用于增强从物体反射的光。根据实施例，闪光灯220可包括一个或更多个发光二极管(led)(例如，红绿蓝色(rgb)led、白色led、红外(ir)led或紫外(uv)led)或氙灯。图像传感器230可通过将从物体发出或反射并经由镜头组件210透射的光转换为电信号来获取与物体相应的图像。根据实施例，图像传感器230可包括从具有不同属性的多个图像传感器中选择的一个图像传感器(例如，rgb传感器、黑白(bw)传感器、ir传感器或uv传感器)、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。可使用例如电荷耦合器件(ccd)传感器或互补金属氧化物半导体(cmos)传感器来实现包括在图像传感器230中的每个图像传感器。
59.图像稳定器240可沿特定方向移动图像传感器230或包括在镜头组件210中的至少一个透镜，或者响应于相机模块180或包括相机模块180的电子装置101的移动来控制图像传感器230的可操作属性(例如，调整读出时序)。这样，允许补偿由于正被捕捉的图像的移动而产生的负面效果(例如，图像模糊)的至少一部分。根据实施例，图像稳定器240可使用布置在相机模块180之内或之外的陀螺仪传感器(未示出)或加速度传感器(未示出)来感测相机模块180或电子装置101的这样的移动。根据实施例，可将图像稳定器240实现为例如光学图像稳定器。
60.存储器250可至少暂时地存储经由图像传感器230获取的图像的至少一部分以用于后续的图像处理任务。例如，如果快速捕捉了多个图像或者由于快门时滞而导致图像捕捉延迟，则可将获取的原始图像(例如，拜耳图案图像、高分辨率图像)存储在存储器250中，并且可经由显示装置160来预览其相应的副本图像(例如，低分辨率图像)。然后，如果满足了指定的条件(例如，通过用户的输入或系统命令)，则可由例如图像信号处理器260来获取和处理存储在存储器250中的原始图像的至少一部分。根据实施例，可将存储器250配置为存储器130的至少一部分，或者可将存储器250配置为独立于存储器130进行操作的分离的存储器。
61.isp 260可对经由图像传感器230获取的图像或存储在存储器250中的图像执行一个或更多个图像处理。所述一个或更多个图像处理可包括例如深度图生成、三维(3d)建模、全景图生成、特征点提取、图像合成或图像补偿(例如，降噪、分辨率调整、亮度调整、模糊、锐化或柔化)。另外或可选地，图像信号处理器260可对包括在相机模块180中的组件中的至少一个组件(例如，图像传感器230)执行控制(例如，曝光时间控制或读出时序控制)。可将由图像信号处理器260处理的图像存储回存储器250以用于进一步处理，或者可将该图像提供给在相机模块180之外的外部组件(例如，存储器130、显示装置160、电子装置102、电子装置104或服务器108)。根据实施例，可将图像信号处理器260配置为处理器120的至少一部分，或者可将图像信号处理器260配置为独立于处理器120进行操作的分离的处理器。如果将图像信号处理器260配置为与处理器120分离的处理器，则可由处理器120经由显示装置160将由图像信号处理器260处理的至少一个图像按照其原样显示，或者可将所述至少一个图像在被进一步处理后进行显示。
62.根据实施例，电子装置101可包括具有不同属性或功能的多个相机模块180。在这种情况下，所述多个相机模块180中的至少一个相机模块180可形成例如广角相机，并且所
述多个相机模块180中的至少另一个相机模块180可形成长焦相机。类似地，所述多个相机模块180中的至少一个相机模块180可形成例如前置相机，并且所述多个相机模块180中的至少另一个相机模块180可形成后置相机。
63.图3a是示出根据实施例的电子装置的配置的框图300。
64.参照图3a，电子装置包括第一相机310、第二相机320、运动传感器330、处理器340、显示器350和存储器360。
65.第一相机310和第二相机320可以是相机模块180，并且可捕获(或获得)通过镜头观看的图像(例如，照片或视频)。例如，第一相机310和第二相机320可分别或同时捕获图像。第一相机310和第二相机320可具有不同的视角。例如，第一相机310或第二相机320中的一个可具有比另一相机的视角宽的视角。如果第二相机320具有比第一相机310的视角宽的视角，则第二相机320可捕获宽视角的、包括由第一相机310捕获的图像的图像。由第一相机310和第二相机320捕获的图像的至少一部分可作为预览图像通过显示器350(例如，显示装置160)输出，或者可存储在存储器130中。
66.运动传感器330(例如，传感器模块176)可检测电子装置的运动。运动传感器330可在通过第一相机310或第二相机320中的至少一个获取图像时检测电子装置的运动。例如，如果第一相机310或第二相机320中的至少一个被操作，则可激活运动传感器330。运动传感器330可包括陀螺仪传感器(或陀螺仪)。附加地或可选地，运动传感器330可配置有能够检测电子装置的运动的各种传感器，诸如加速度传感器。
67.处理器340可控制电子装置的全部操作。处理器340可包括isp 342及抖动校正单元344。附加地或可选地，isp 342及抖动校正单元344可被配置为独立于处理器340被操作的单独处理器。
68.处理器340可确定用于执行图像稳定化操作的稳定化方案。如稍后参照图5a和图5b所述，稳定化方案可包括用于基于第一边缘区域(例如，校正范围)校正图像的抖动的第一稳定化方案334以及用于基于大于第一边缘区域的第二边缘区域校正图像的抖动的第二稳定化方案。边缘区域是抖动可被校正的区域，并且可通过从输入图像减去输出区域来获得。
69.处理器340可响应于检测到图像获取事件(例如，视频捕获模式运行)将第一稳定化方案或第二稳定化方案中的一个确定为用于执行图像稳定化操作的方案。处理器340可进行操作使得在正使用第一稳定化方案或第二稳定化方案中的一个执行图像稳定化操作时将用于执行图像稳定化操作的方案改变为另一个方案(例如，第二稳定化方案)。可基于电子装置(或图像)的运动信息来确定稳定化方案。附加地或可选地，如参照图14和图15所描述的，可基于用户输入来选择稳定化方案。例如，处理器340可通过提供稳定化方案选择指南并感测对稳定化方案选择指南的输入来确定稳定化方案。
70.处理器340可基于所确定的稳定化方案使通过第一相机310或第二相机320获取的至少一个图像稳定化，以校正图像的抖动。处理器340可通过控制isp 342和抖动校正单元344来执行稳定化操作。
71.isp 342可对使用第一相机310和第二相机320获取的多个图像执行稳定化操作的至少一部分。例如，isp 342可从使用第一相机310和第二相机320获取的多个图像(或多个输入图像)中裁剪区域。裁剪后的图像(例如，输入图像的输出区域)可作为预览图像通过显
示器350输出或存储在存储器360中。例如，可预先指定输出区域的尺寸。isp 342可通过在通过第一相机310获取的第一尺寸的图像中裁剪指定输出区域来确保第一边缘区域。可基于指定数量的像素、指定的视场或指定的视角中的至少一个来确定输出区域。另外，isp 342可通过在通过第二相机320获取的第二尺寸的图像中裁剪具有指定尺寸的输出区域来确保大于第一边缘区域的第二边缘区域。边缘区域是抖动可被校正的区域，并且可以是通过从输入图像减去输出区域而获得的区域。
72.抖动校正单元344可基于第一稳定化方案对多个图像执行稳定化操作。第一稳定化方案可以是用于校正通过第一相机310获取的多个第一尺寸的图像的抖动的方案。第一尺寸的图像可包括如上所述的第一边缘区域。在实施例中，抖动校正单元344可基于关于所获取的图像的运动信息来调整通过第一相机310获取的输入图像中的输出区域的位置。运动信息可包括关于图像内的对象或背景的运动的第一运动信息以及关于电子装置的运动的第二运动信息。可基于比较多个图像(例如，比较特征点)的结果获取第一运动信息，并且可基于电子装置的运动传感器330获取第二运动信息。另外，第一运动信息和第二运动信息可包括平移分量信息和旋转分量信息。平移分量信息可以是与平移坐标相关联的信息，并且旋转分量信息可以是与旋转角或倾斜角相关联的信息。例如，抖动校正单元344可基于通过第一相机310获取的先前输入图像(例如，第n-1输入图像)的输出区域，在对象在通过第一相机310获取的当前输入图像(例如，第n输入图像)的输出区域中移动的方向上(或在与电子装置移动的方向相反的方向上)来调整当前输入图像的输出区域的位置。例如，抖动校正单元344可通过调整输出区域在具有第一尺寸的输入图像的第一边缘区域中的位置来执行抖动校正，即，图像稳定化操作。
73.抖动校正单元344可基于第二稳定化方案对多个图像执行稳定化操作。第二稳定化方案可以是用于校正通过第二相机320获取的多个第二尺寸的图像的抖动的方案。如上所述，第二尺寸的图像可包括大于第一边缘区域的第二边缘区域。
74.抖动校正单元344可基于关于所获取的图像的运动信息来调整通过第二相机320获取的输入图像中的输出区域的位置。例如，抖动校正单元344可基于通过第二相机320获取的先前输入图像(例如，第n-1输入图像)的输出区域，在对象在通过第二相机320获取的当前输入图像(例如，第n输入图像)的输出区域中移动的方向上(或在与电子装置移动的方向相反的方向上)来调整当前输入图像的输出区域的位置。抖动校正单元344可通过调整输出区域在第二边缘区域中的位置来执行抖动校正，即，图像稳定化操作，其中，第二边缘区域的尺寸大于第一边缘区域的尺寸。
75.处理器340可在校正多个图像的抖动时基于电子装置(或图像)的运动信息来校正至少一个图像的滚动快门失真。
76.图3b是示出根据实施例的抖动校正单元的配置的框图380。
77.参照图3b，抖动校正单元344可包括频率调整单元382、稳定化路径确定单元384和稳定化处理单元386。
78.频率调整单元382可确定运动信息的检测频率。检测频率可包括由运动传感器330进行的检测的频率。如果电子装置(或图像)的运动包括在指定的频率确定范围中(例如，如果运动小)，则频率调整单元382可基于第一指定频率(例如，大约100赫兹(hz))来检测运动信息，并且如果运动在指定的频率确定范围之外(例如，如果运动大)，则频率调整单元382
可将运动检测频率增加到第二频率(例如，大约400hz至500hz)，从而改善图像稳定化操作的性能并实现有效的电池消耗。
79.频率调整单元382可基于所获取的图像的数量(例如，帧率)来确定检测频率。例如，如果帧率包括在指定的频率确定范围中(例如，如果帧率不超过60帧每秒(fps))，则频率调整单元382可基于第一指定频率(例如，大约100hz)来检测运动信息，并且如果帧率在指定的频率确定范围之外(例如，如果超过60fps)，则频率调整单元382可将运动检测频率增加到第二频率(例如，大约400hz至500hz)，从而改善抖动和滚动快门失真校正的性能。关于运动检测频率的上述数值是为了更好地理解的示例，并且本公开不限于此。例如，运动检测频率的数值或数值范围可由设计者和/或电子装置的性能改变。
80.稳定化路径确定单元384可确定稳定化路径，使得抖动校正区域(例如，输入图像的输出区域)不位于原始图像之外。确定稳定化路径也可被称为相机路径规划。如果稳定化路径确定单元384确定稳定化路径，则可考虑电子装置或图像的运动。如上所述，可基于通过电子装置的运动传感器330获取的传感器信息或多个图像的比较结果来确定运动信息。例如，如下文参照图10所描述，如果运动信息包括在第一确定范围中，则稳定化路径确定单元384可基于第一参数确定稳定化路径。附加地或可选地，如果电子装置的运动信息包括在第二确定范围中，则稳定化路径确定单元384可基于第二参数确定稳定化路径。
81.稳定化处理单元386可动态地控制稳定化操作，即，抖动校正的强度。稳定化处理单元386可通过基于电子装置的运动来调整校正强度以减少由于电子装置的运动而发生的图像抖动现象。例如，如果电子装置(或图像)的运动包括在指定的强度调整范围内(例如，如果运动足够小以避免图像抖动)，则稳定化处理单元386可通过将快门速度降低到第一速度来防止图像抖动的发生，并且如果运动超出指定的强度调整范围(例如，如果运动足够大以引起图像抖动)，则稳定化处理单元386可通过将快门速度增加到第二速度来防止图像抖动的发生。稳定化处理单元386可通过基于运动信息和环境亮度信息中的至少一个来调整校正强度以减少由于电子装置的运动而发生的图像抖动现象。例如，如果环境亮度和运动包括在指定的强度调整范围中(例如，如果位于房间中的电子装置的运动小)，则稳定化处理单元386可将抖动校正性能降低到第一水平并将图像抖动改善性能增加到第二水平。这里，降低校正性能可意味着降低校正强度。
82.抖动校正可基于在稳定化路径确定之前的相机的位置(或轨迹)及在稳定化路径确定之后的相机的位置(或轨迹)。例如，抖动校正量可以是在稳定化路径确定之前的相机的位置(或轨迹)与在稳定化路径确定之后的相机的位置(或轨迹)之间的差。例如，稳定化处理单元386可将校正性能降低到第一水平以仅校正一部分校正量。另外，如果环境亮度和运动在指定的强度调整范围之外(例如，如果位于房间中的电子装置的运动大)，则稳定化处理单元386还可将抖动校正性能提高到第二水平并将图像抖动改善性能降低到第一水平。例如，稳定化处理单元386可将校正性能提高到第二水平以校正全部校正量。
83.根据实施例，电子装置可包括相机、运动传感器、存储器和至少一个处理器。至少一个处理器可被配置为根据图像获取模式(即，在执行图像获取模式时)从运动传感器获取电子装置的运动信息，基于运动信息的至少一部分确定图像稳定化方案，并且基于所确定的图像稳定化方案对通过相机获取的至少一个图像执行稳定化操作。例如，图像稳定化方案可包括：第一稳定化方案，用于基于第一边缘区域校正至少一个图像的抖动；以及第二稳
定化方案，用于基于大于第一边缘区域的第二边缘区域校正至少一个图像的抖动。
84.相机可包括具有第一视角的第一相机和具有比第一视角宽的第二视角的第二相机。处理器可被配置为响应于第一稳定化方案的确定来操作第一相机，并且响应于第二稳定化方案的确定来操作第二相机。
85.处理器可被配置为确定用于获取多个图像的图像获取速度，并且基于图像获取速度和运动大小中的至少一个来确定运动传感器的检测频率。
86.处理器可被配置为如果不能改变所确定的检测频率，则处理所获取的运动信息。
87.处理器可被配置为基于电子装置的运动信息确定用于确定稳定化路径的参数，其中，稳定化路径用于校正至少一个图像。
88.处理器可被配置为确定电子装置的环境亮度，并且基于电子装置的环境亮度或运动大小信息中的至少一个来确定稳定化操作的强度。
89.电子装置还可包括显示器。处理器可被配置为通过显示器输出与所确定的稳定化操作的强度相应的通知信息。
90.处理器可被配置为在第一图像稳定化方案和第二图像稳定化方案中的一个被选择的状态下检测电子装置的运动，并且如果检测到的运动满足稳定化方案改变条件，则将所选择的图像稳定化方案改变为另一图像稳定化方案。
91.电子装置还可包括显示器。处理器可被配置为通过显示器输出通知改变后的图像稳定化方案的信息。
92.根据实施例，电子装置可包括相机、显示器、存储器和至少一个处理器。该至少一个处理器可被配置为根据在图像获取模式下执行来输出用户界面，其中，该用户界面被指定为选择第一稳定化方案或第二稳定化方案中的一个，基于输入来选择第一稳定化方案或第二稳定化方案中的一个，并且基于所选择的图像稳定化方案对通过相机获取的至少一个图像执行稳定化操作。
93.处理器可被配置为响应于对第一稳定化方案的选择来获取包括第一校正区域的第一尺寸的图像，并且响应于对第二稳定化方案的选择来获取包括大于第一校正区域的第二校正区域的第二尺寸的图像。
94.图4是根据实施例的用于由电子装置执行图像稳定化操作的流程图400。图5a是示出根据实施例的电子装置的稳定化方案的示图500。图5b是示出根据实施例的电子装置的稳定化方案的示图510。图4中的步骤可顺序地执行，但非必须顺序地执行。例如，可改变每个步骤的顺序，或者可并行执行至少两个步骤。
95.参照图4，在步骤410，电子装置(例如，处理器340)执行图像获取模式。图像获取模式可包括通过第一相机310(或第一图像获取装置)或第二相机320(或第二图像获取装置)中的至少一个获取至少一个图像的模式。第一相机310可获取具有第一视角的图像，并且第二相机320可获取具有大于第一视角的第二视角的图像。
96.在步骤420，电子装置基于电子装置的运动信息来确定图像稳定化方案。处理器340可将第一稳定化方案和第二稳定化方案中的一个确定为用于执行图像稳定化操作的方案。第一稳定化方案可以是如图5a所示的用于通过从通过第一相机310获取的多个第一尺寸图像502裁剪指定的输出区域504来确保第一边缘区域(例如，d1和d2)的方案。例如，如上所述，可基于指定数量的像素、指定的视场或指定的视角中的至少一个来确定输出区域。另
外，第一稳定化方案可通过在对象移动的方向(或与电子装置移动的方向相反的方向)上调整506输出区域在第一边缘区域中的位置来校正508图像的抖动。第二稳定化方案可以是如图5b所示的用于通过从通过第二相机320获取的多个第二尺寸图像512裁剪指定的输出区域514来确保第二边缘区域(例如，d3和d4)的方案。第二尺寸的图像可以是大于第一尺寸的图像的尺寸。第二稳定化方案可通过在对象移动的方向(或与电子装置移动的方向相反的方向)上调整输出区域516在尺寸大于第一边缘区域的第二边缘区域中的位置来校正图像518的抖动。处理器340可基于电子装置的运动信息或用户输入中的至少一个来确定图像稳定化方案。
97.在步骤430，电子装置基于所确定的稳定化方案来获取至少一个图像。处理器可基于所确定的稳定化方案来操作第一相机或第二相机中的一个。
98.在步骤440，电子装置对至少一个获取的图像执行稳定化。处理器340可使用视频数字图像稳定化技术来校正图像的抖动。
99.图6a是根据实施例的由电子装置确定的图像稳定化方案的流程图600。图6b是示出根据实施例的在电子装置中引导图像稳定化方案的情况的示图370。下面描述的图6a至图6c的步骤可表示步骤420和430的各种实施例。这些步骤可顺序地执行，但非必须顺序地执行。例如，可改变每个步骤的顺序，或者可并行执行至少两个步骤。
100.参照图6a，在步骤610，电子装置(例如，处理器340)使用第一相机310(或第一图像获取装置)获取至少一个图像。如上所述，第一相机310可获取具有第一视角的第一尺寸的图像。第一视角可在50
°
和80
°
的近似范围内。如果感测到低于参考范围的小运动，则处理器340可通过裁剪第一尺寸的图像中的指定输出区域来确保第一边缘区域。另外，处理器340可通过调整输出区域在输入图像的第一边缘区域中的位置来执行抖动校正，即，图像稳定化操作。
101.在步骤620，电子装置获取电子装置的运动信息。运动信息可包括平移分量信息和旋转分量信息。平移分量信息可以是与平移坐标相关联的信息，并且旋转分量信息可以是与旋转角或倾斜角相关联的信息。处理器340可通过运动传感器330获取运动信息。附加地或可选地，处理器340可基于通过第一相机310获取的图像的比较(例如，特征点比较)的结果来获取运动信息。
102.在步骤630，电子装置确定运动信息是否满足图像稳定化条件。图像稳定化条件可以是用于确定输出图像是否由于电子装置的运动而发生抖动的参考值。例如，如果电子装置的运动大于或等于参考运动，则处理器340可确定满足图像稳定化条件。如果电子装置的运动小于参考运动，则处理器340可确定不满足图像稳定化条件。
103.如果确定满足图像稳定化条件，则在步骤640，电子装置通过使用第二相机320(或第二图像获取装置)获取至少一个图像。如上所述，第二相机320可获取具有比第一视角宽的第二视角的第二尺寸的图像。第二视角可在70
°
和130
°
的近似范围内。如果感测到超过参考范围的大运动，则处理器340可通过裁剪第二尺寸的图像中的指定输出区域来确保第二边缘区域。另外，处理器340可通过调整输出区域在输入图像的第二边缘区域中的位置来执行抖动校正，即，图像稳定化操作。如果确定满足图像稳定化条件，则处理器340还可输出用于改变图像稳定化方案的引导信息。
104.如图6b所示，处理器340可通过显示器672输出报告执行了根据电子装置的运动的
图像稳定化方案的引导信息674。如图所示，引导信息674可包括用于选择或取消对图像稳定化方案的改变的菜单。处理器340可基于对引导信息674的输入来改变与电子装置的运动相应的图像稳定化方案，或者可进行控制以使得保持先前的图像稳定化方案。
105.如果确定不满足图像稳定化条件，则在步骤650，电子装置保持第一图像获取装置的操作。
106.在上述实施例中，描述了基于运动信息将用于获取图像的相机从第一相机310改变为第二相机320的配置。与上述实施例相反，在通过第二相机320正获取图像时，可基于运动信息通过第一相机310获取图像。
107.图6c是描述根据实施例的由电子装置确定图像稳定化方案的另一操作的流程图680。下面描述的图6c的步骤可表示图6a的步骤640的各种实施例。在以下实施例中，步骤可顺序地执行，但非必须顺序地执行。例如，可改变每个步骤的顺序，或者可并行执行至少两个步骤。
108.参照图6c，在步骤681，电子装置使用第二相机320(或第二图像获取装置)获取至少一个图像。如上所述，第二相机320可获取具有第二视角的第二尺寸的图像。
109.在步骤683，电子装置获取电子装置的运动信息。如上文所描述，运动信息可包括平移分量信息和旋转分量信息。例如，处理器340可通过运动传感器330获取运动信息。附加地或可选地，处理器340可基于通过第二相机320获取的图像的比较(例如，特征点比较)的结果来获取运动信息。
110.在步骤685，电子装置确定运动信息是否满足图像稳定化方案改变条件。图像稳定化方案改变条件可以是用于确定由于电子装置的运动而发生的抖动量是否小于参考运动的参考值。例如，如果电子装置的运动小于参考运动，则处理器340可确定满足图像稳定化方案改变条件。另外，如果电子装置的运动大于或等于参考运动，则处理器340可确定不满足图像稳定化方案改变条件。
111.如果电子装置确定满足图像稳定化方案改变条件(例如，如果电子装置的运动减小到小于参考运动)，则在步骤687，使用第一相机310(或第一图像获取装置)获取至少一个图像。如上所述，第一相机310可获取具有比第二视角窄的第一视角的第一尺寸的图像。
112.如果电子装置确定不满足图像稳定化条件(例如，如果电子装置的运动保持在参考运动之上)，则在步骤689，保持第二图像获取装置的操作。
113.图7是根据实施例的用于描述电子装置中的图像稳定化操作的流程图700。下面描述的图7的步骤可表示图6a的步骤640的各种实施例。在以下实施例中，步骤可顺序地执行，但非必须顺序地执行。例如，可改变每个步骤的顺序，或者可并行执行至少两个步骤。
114.参照图7，根据各种实施例，在步骤710，电子装置(例如，处理器340)获取关于获取的图像的运动信息(或电子装置的运动信息)。例如，处理器340可在通过第二相机320(或第二图像获取装置)获取第二尺寸的图像时周期性地获取运动信息。
115.在步骤720，电子装置基于所获取的运动信息来确定用于所获取的第二尺寸的图像的稳定化路径。确定稳定化路径可被称为相机路径规划。处理器340可基于运动信息确定稳定化路径，其中，该稳定化路径将图像(例如，输入图像)的输出区域定位在与图像(例如，对象)的运动相应的方向上、或与电子装置的运动相反的方向上。例如，如果电子装置100向左抖动并且因此包括在输入图像中的对象向右移动，则处理器340可确定将图像的输出区
域定位在向左方向上的稳定化路径。
116.在步骤730，电子装置基于所确定的稳定化路径来校正通过第二相机320(或第二图像获取装置)获取的至少一个图像。例如，处理器340可调整输出区域在输入图像的边缘区域内的位置，使得输出区域不位于输入图像的外部。处理器340可在校正多个图像的抖动时基于电子装置(或图像)的运动信息来校正至少一个图像的滚动快门失真。
117.在步骤740，电子装置通过显示器350(或显示装置160)输出校正后的图像。处理器340可将校正后的图像存储在电子装置(例如，存储器360)内部或电子装置外部。
118.图8是根据实施例的用于描述由电子装置校正滚动快门失真的操作的流程图800。图9a和图9b是示出根据各种实施例的处理由电子装置检测到的运动信息的操作的示图900。下面描述的图8的步骤可表示步骤730的各种实施例。在以下实施例中，步骤可顺序地执行，但非必须顺序地执行。例如，可改变每个步骤的顺序，或者可并行执行至少两个步骤。
119.参照图8，在步骤810，电子装置(例如，处理器340)检测运动检测频率改变事件。运动检测频率可与抖动校正和滚动快门失真校正的性能相关联。例如，运动检测频率越高，图像的校正性能越好。处理器340可将感测到电子装置的运动超过参考运动或图像数量(例如，帧率)超过参考帧率的情况感测为运动检测频率改变事件。
120.在步骤820，电子装置响应于运动检测频率改变事件来确定运动检测频率是否可改变。处理器340可基于电子装置的状态信息来确定检测频率是否改变。例如，电子装置的状态信息可包括电子装置的加热状态、电子装置的剩余电池状态和电子装置的过程操作能力状态中的至少一个。
121.如果运动检测频率可改变，则在步骤830，电子装置基于改变后的检测频率来改变运动检测频率并获取运动信息。处理器340可响应于检测到检测频率事件将运动信息的检测频率从第一频率(例如，100hz)改变为高于第一频率的第二频率(例如，500hz)。如上所述，处理器340可通过改变检测频率来增加用于图像的抖动校正的运动信息量，从而改善图像校正性能。另外，电子装置可在步骤840基于所获取的运动信息校正图像。
122.如果运动检测频率不可改变，则在步骤850，电子装置对检测到的运动信息进行处理。运动信息的处理可包括增加用于对图像进行抖动校正的运动信息量。处理器340可通过对检测到的运动信息进行插值来生成额外运动信息。
123.图9a的曲线图示出了根据第一检测频率(例如，200hz)的频域中的运动信息的分析，并且图9b的曲线图示出了根据第二检测频率(例如，500hz)的频域中的运动信息的分析。另外，曲线图的y轴表示运动矢量，曲线图的x轴表示图像中的帧数，虚线902和912表示通过输入图像获得的第一运动信息(例如，相对于对象或背景的运动)，并且实线904和914表示通过电子装置的运动传感器获得的第二运动信息。第一运动信息902与第二运动信息904之间的差异出现在图9a的曲线图中具有许多改变的部分中。在图9b的曲线图中具有许多改变的部分中，第一运动信息912与第二运动信息914之间几乎没出现差异。例如，处理器340可处理基于第一频率检测到的运动信息，以使该运动信息与基于第二频率检测到的运动信息相同或相似。另外，电子装置可在步骤860基于处理后的运动信息来校正图像。
124.图10是描述根据实施例的由电子装置确定稳定化路径的操作的流程图1000。图11a描述了根据实施例的用于在电子装置中确定稳定化路径的参数。图11b描述了根据实施例的用于在电子装置中确定稳定化路径的参数。下面描述的图10的步骤可表示步骤720的
各种实施例。在以下实施例中，步骤可顺序地执行，但非必须顺序地执行。例如，可改变步骤操作的顺序，或者可并行执行至少两个步骤。
125.参照图10，在步骤1010，电子装置(例如，处理器340)基于图像(或电子装置)的运动信息来改变稳定化路径确定参数。
126.对于运动从指定水平逸出(escape)的情况(例如，如果在指定运动矢量处存在许多运动)和运动没有从指定水平逸出的情况，处理器340可通过使用不同的参数来确定稳定化路径。
127.图11a的曲线图1110和曲线图1120示出了与运动不超过指定水平的情况(例如，运动小的情况，诸如在电子装置被握在用户的手中的状态下)相应的参数(例如，第一参数)。另外，每个曲线图的y轴表示运动矢量，每个曲线图的x轴表示图像帧的数量，并且双点划线(c)和单点划线(d)分别表示校正范围的最大值和校正范围的最小值。此外，实线(a)表示在稳定化路径确定之后的相机的位置(或轨迹)，并且虚线(b)表示在稳定化路径确定之前的相机的位置(或轨迹)。
128.如图11a的曲线图1110所示，如果在小运动状态下使用第一参数确定稳定化路径，则在稳定化路径确定之后相机位置显示直线的倾向增加。这意味着运动校正量由实线(a)和虚线(b)之间的差异确定，因此如果在小运动状态下使用第一参数确定稳定化路径，则图像的抖动被校正。另一方面，如图11a的曲线图1120所示，如果在小运动状态下使用第二参数确定稳定化路径，则存在稳定化路径确定之后的相机位置变得类似于稳定化路径确定之前的相机位置的趋势。这意味着实线(a)和虚线(b)之间几乎没有差别，因此如果在小运动状态下使用第二参数确定稳定化路径，则图像抖动校正的性能劣化。具体地，如果比较小运动状态、大运动状态与第一参数之间的关系，则如图11a的曲线图1130所示，在小运动状态下，如果稳定化路径由第一参数确定，则如虚线(b)所示，相机位置与x轴平行而无论在稳定路径确定之前改变相机位置，这意味着图像抖动校正的性能得到改善。另一方面，在大运动状态下，如果稳定化路径由第一参数确定，则如实线(a)所示，相机位置不与x轴平行而是沿着稳定化路径确定之前的不断变化的相机位置，因此图像抖动校正的性能劣化。
129.图11b的曲线图1160和曲线图1170示出了与运动超过指定水平的情况(例如，大运动状态的情况)相应的参数(例如，第二参数)。另外，每个曲线图的y轴表示运动矢量，每个曲线图的x轴表示图像帧的数量，并且实线(a)和单点划线(d)分别表示校正范围的最大值和校正范围的最小值。此外，虚线(b)表示在稳定化路径确定之前的相机的位置(或轨迹)，并且双点划线(c)表示在稳定化路径确定之后的相机的位置(或轨迹)。如图11b的曲线图1160所示，如果在大运动状态下使用第二参数确定稳定化路径，则稳定化路径确定之后的相机位置具有高低不平的形式(例如，稳定化路径确定之前的相机位置与稳定化路径确定之后的相机位置之间的差异小的形式)。另一方面，如图11b的曲线图1170所示，如果在大运动状态下使用第一参数确定稳定化路径，则稳定化路径确定之后的相机位置具有弯曲的形式(例如，稳定化路径确定之前的相机位置与稳定化路径确定之后的相机位置之间的差异相对较大)。具体地，比较小运动状态、大运动状态与第二参数之间的关系，如图11b的曲线图1180所示，在大运动状态下，如果稳定化路径由第一参数(例如，虚线(b))确定，则图像抖动校正的性能劣化。另一方面，在大运动状态下，如果稳定化路径由第二参数(例如，实线(a))确定，则图像抖动校正的性能得到改善。
130.在步骤1020，电子装置(例如，处理器340)基于改变后的参数确定用于多个图像的稳定化路径。图像稳定化路径用于计算从输入图像到相机的最短距离，并且处理器340可基于图像的运动来调整用于确定稳定化路径的输入图像的量。例如，在运动从指定水平逸出的情况下(例如，如果运动在指定运动矢量处大)，处理器340可通过使用比运动没有从指定水平逸出的情况(例如，如果运动在指定运动矢量处小)更多数量的输入图像来确定稳定化路径。
131.图12是描述根据实施例的由电子装置校正至少一个图像的操作的流程图1200。图13a是示出根据实施例的电子装置输出与稳定化水平相应的通知信息的情况的示图1300。图13b是示出根据实施例的电子装置输出与稳定化水平相应的通知信息的情况的示图1300。下面描述的图12的操作可表示步骤730的各种实施例。在以下实施例中，步骤可顺序地执行，但非必须顺序地执行。例如，可改变每个步骤的顺序，或者可并行执行至少两个步骤。
132.参照图12，在步骤1210，电子装置(例如，处理器340)在校正至少一个图像时获取附加信息。附加信息可包括环境亮度信息。
133.在步骤1220，电子装置基于附加信息或图像的运动信息中的至少一个来确定稳定化水平(或校正强度)。例如，处理器340可调整校正强度，以便减少在图像稳定化期间可能发生的图像抖动现象。如果环境亮度和运动满足指定的第一水平(例如，如果位于房间中的电子装置的运动大)，则处理器340可将抖动校正性能降低到第一水平并将图像抖动改善性能增加到第二水平。另外，如果环境亮度和运动满足指定的第二水平(例如，如果位于房间中的电子装置的运动小)，则处理器340还可将抖动校正性能增加到第二水平并且将图像抖动改善性能降低到第一水平。如果电子装置(或图像)的运动满足指定水平(例如，如果运动足够小以避免图像抖动)，则处理器340可通过将快门速度降低到第一速度来防止图像抖动的发生，并且如果运动超出满足指定水平的范围(例如，运动足够大以引起图像抖动)，则处理器340可通过将快门速度增加到第二速度来防止图像抖动的发生。
134.在步骤1230，电子装置基于所确定的稳定化水平来校正图像。处理器340可通过显示装置输出指示所确定的稳定化水平的通知信息。例如，如图13a所示，如果对具有小运动的输入图像1310执行稳定化操作，则处理器340可输出与小运动(或低稳定化水平)相应的通知信息1312。另外，如图13b所示，如果对具有大运动的输入图像1320执行稳定化操作，则处理器340可输出与大运动(或高稳定化水平)相应的通知信息1322。
135.图14是根据实施例的由电子装置执行的图像稳定化操作的流程图1400。图15是根据实施例的用于描述在电子装置中提供稳定化方案选择指南的情况的示意图1500。在以下实施例中，步骤可顺序地执行，但非必须顺序地执行。例如，可改变每个步骤的顺序，或者可并行执行至少两个步骤。
136.参照图14，在步骤1410，电子装置(例如，处理器340)执行图像获取模式。如上所述，图像获取模式可包括通过第一相机310(或第一图像获取装置)或第二相机320(或第二图像获取装置)中的至少一个获取至少一个图像的模式。
137.在步骤1420，电子装置输出稳定化方案选择指南。稳定化方案选择指南可包括被指定为选择第一稳定化方案或第二稳定化方案中的一个的用户界面。第一稳定化方案可以是如图5a所示的用于从通过第一相机310获取的多个第一尺寸图像502中确保第一边缘区
域(例如，d1和d2)的方案。另外，第二稳定化方案可以是如图5b所示的用于从通过第二相机320获取的多个第二尺寸图像512中确保第二边缘区域(例如，d3和d4)的方案。例如，如图15所示，处理器340可在执行图像获取模式的状态1510下可视地输出1512稳定化方案选择指南。附加地或可选地，稳定化方案选择指南可以以各种方式输出，诸如声学地、触觉地或其组合。
138.在步骤1430，电子装置基于输入来确定稳定化方案。处理器340可基于通过输出的稳定化方案选择指南感测到的输入来确定第一稳定化方案和第二稳定化方案中的一个。
139.在步骤1440，电子装置基于所确定的稳定化方案获取至少一个图像。处理器340可操作与所确定的稳定化方案相应的相机。例如，处理器340可响应于对第一稳定化方案的选择来操作第一相机310。另外，处理器340可响应于对第二稳定化方案的选择来操作第二相机320。
140.在步骤1450，电子装置对至少一个获取的图像执行稳定化。处理器340可使用视频数字图像稳定化技术来校正图像的抖动。
141.根据实施例，一种用于操作电子装置的方法可包括：根据图像获取模式，获取电子装置的运动信息；基于运动信息的至少一部分确定图像稳定化方案；以及基于所确定的图像稳定化方案，对通过相机获取的至少一个图像执行稳定化操作。图像稳定化方案可包括第一稳定化方案，用于基于第一边缘区域校正所述至少一个图像的抖动；以及第二稳定化方案，用于基于大于第一边缘区域的第二边缘区域校正所述至少一个图像的抖动。
142.执行稳定化操作的步骤可包括：响应于第一稳定化方案的确定，激活具有第一视角的第一相机；以及响应于第二稳定化方案的确定，激活具有比第一视角宽的第二视角的第二相机。
143.执行稳定化操作的步骤可包括：确定获取多个图像的图像获取速度；以及基于图像获取速度和运动大小中的至少一个确定电子装置的运动信息的检测频率。
144.执行稳定化操作的步骤可包括：如果不能改变所确定的检测频率，则对所获得的运动信息进行处理。
145.执行稳定化操作的步骤可包括：基于电子装置的运动信息确定用于确定稳定化路径的参数，其中，稳定化路径用于校正所述至少一个图像。
146.执行稳定化操作的步骤可包括：确定电子装置的环境亮度；以及基于电子装置的环境亮度或运动大小中的至少一个，确定稳定化操作的强度。
147.确定稳定化操作的强度的步骤可包括：输出与所确定的强度相应的通知信息。
148.执行稳定化操作的步骤可包括：在选择第一图像稳定化方案和第二图像稳定化方案中的一个的状态下检测电子装置的运动；以及如果检测到的运动满足稳定化方案改变条件，则将所选择的图像稳定化方案改变为另一图像稳定化方案。
149.将图像稳定化方案改变为另一图像稳定化方案的步骤可包括输出提供改变后的图像稳定化方案的通知的信息。
150.根据各种实施例，电子装置能够通过基于运动信息的至少一部分选择性地使用第一图像稳定化方案或第二图像稳定化方案来改善大运动以及小运动的抖动校正性能。另外，电子装置可使用户能够在第一图像稳定化方案或第二图像稳定化方案中选择期望的方案，并且通过根据执行图像获取模式输出被指定为选择第一图像稳定化方案或第二图像稳
定化方案的用户界面来校正图像。
151.根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如，智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例，电子装置不限于以上所述的那些电子装置。
152.应该理解的是，本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例，而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述，相似的参考标号可用来指代相似或相关的元件。将理解的是，除非相关上下文另有明确指示，否则与术语相应的单数形式的名词可包括一个或更多个事物。
153.如这里所使用的，诸如“a或b”、“a和b中的至少一个”、“a或b中的至少一个”、“a、b或c”、“a、b和c中的至少一个”以及“a、b或c中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的，诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应组件与另一组件进行简单区分，并且不在其它方面(例如，重要性或顺序)限制所述组件。将理解的是，在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下，如果一元件(例如，第一元件)被称为“与另一元件(例如，第二元件)结合”、“结合到另一元件(例如，第二元件)”、“与另一元件(例如，第二元件)连接”或“连接到另一元件(例如，第二元件)”，则意味着所述一元件可与所述另一元件直接(例如，有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
154.如这里所使用的，术语“模块”可包括以硬件、软件或固件实现的单元，并可与其他术语(例如，“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成组件或者是该单个集成组件的最小单元或部分。例如，根据实施例，可以以专用集成电路(asic)的形式来实现模块。
155.可将在此阐述的各种实施例实现为包括存储在存储介质(例如，内部存储器136或外部存储器138)中的可由机器(例如，电子装置101)读取的一个或更多个指令的软件(例如，程序140)。例如，在处理器的控制下，所述机器(例如，电子装置101)的处理器(例如，处理器120)可在使用或无需使用一个或更多个其它组件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中，术语“非暂时性”仅意味着所述存储介质是有形装置，并且不包括信号(例如，电磁波)，但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
156.根据实施例，可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如，紧凑盘只读存储器(cd-rom))的形式来发布计算机程序产品，或者可经由应用商店(例如，play store
tm
)在线发布(例如，下载或上传)计算机程序产品，或者可直接在两个用户装置(例如，智能电话)之间分发(例如，下载或上传)计算机程序产品。如果是在线发布的，则计算机程序产品中的至少部分可以是临时产生的，或者可将计算机程序产品中的至
少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
157.根据各种实施例，上述组件中的每个组件(例如，模块或程序)可包括单个实体或多个实体。根据各种实施例，可省略上述组件中的一个或更多个组件，或者可添加一个或更多个其它组件。可选择地或者另外地，可将多个组件(例如，模块或程序)集成为单个组件。在这种情况下，根据各种实施例，该集成组件可仍旧按照与所述多个组件中的相应一个组件在集成之前执行一个或更多个功能相同或相似的方式，执行所述多个组件中的每一个组件的所述一个或更多个功能。根据各种实施例，由模块、程序或另一组件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行，或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略，或者可添加一个或更多个其它操作。

技术特征：
1.一种电子装置，包括：第一相机，具有第一视角；第二相机，具有比所述第一视角更宽的第二视角；运动传感器，被配置为获得所述电子装置的运动信息；显示器；存储器；以及处理器，被配置为：进入视频捕获模式，在所述视频捕获模式中，所述第一相机或所述第二相机被激活；使用经由所述第一相机或所述第二相机获得的图像来显示与所述视频捕获模式对应的实况预览；在处于所述视频捕获模式时，显示用户界面，所述用户界面包括指示第一运动稳定化程度的第一图形对象和指示第二运动稳定化程度的第二图形对象，所述第二运动稳定化程度大于所述第一运动稳定化程度；经由所述用户界面接收用于选择所述第一图形对象或所述第二图形对象之一的输入；基于所述第一图形对象被选择，通过基于所述运动信息和具有第一尺寸的第一边缘区域针对经由所述第一相机获得的第一图像集合执行第一数字图像稳定化来显示实况预览；以及基于所述第二图形对象被选择，通过基于所述运动信息和具有大于所述第一尺寸的第二尺寸的第二边缘区域针对经由所述第二相机获得的第二图像集合执行第二数字图像稳定化来显示实况预览。2.根据权利要求1所述的电子装置，其中，所述处理器还被配置为：在使用所述第一图像集合和所述第二图像集合中的相应集合来显示实况预览时，接收用于捕获视频的请求；响应于所述相应集合是所述第一图像集合，使用所述第一图像集合中根据所述第一数字图像稳定化而被稳定化处理的至少一个图像来生成所述视频；以及响应于所述相应集合是所述第二图像集合，使用所述第二图像集合中根据所述第二数字图像稳定化而被稳定化处理的至少一个图像来生成所述视频。3.根据权利要求1所述的电子装置，其中，处理器还被配置为：作为执行所述第一数字图像稳定化的操作的一部分，从一个或多个图像中裁剪至少部分地基于所述运动信息确定的第一区域；以及作为执行所述第二数字图像稳定化的操作的一部分，从一个或多个图像中裁剪至少部分地基于所述运动信息确定的第二区域。4.根据权利要求3所述的电子装置，其中，处理器还被配置为：作为裁剪所述第一区域的操作的一部分，至少部分地基于从所述第一相机的与所述第一视角对应的第一成像区域排除所述第一边缘区域来确定所述第一区域的尺寸；以及作为裁剪所述第二区域的操作的一部分，至少部分地基于从所述第二相机的与所述第二视角对应的第二成像区域排除所述第二边缘区域来确定所述第二区域的尺寸。5.根据权利要求1所述的电子装置，其中，与第一图像集合对应的第三视角比所述第一视角窄，并且与第二图像集合对应的第四视角比所述第二视角窄。
6.根据权利要求1所述的电子装置，其中，处理器还被配置为：响应于激活所述第一数字图像稳定化，经由所述显示器呈现指示所述第一运动稳定化程度的第一通知；以及响应于激活所述第二数字图像稳定化，经由所述显示器呈现指示所述第二运动稳定化程度的第二通知。7.一种电子装置，包括：第一相机，具有第一视角；第二相机，具有比所述第一视角更宽的第二视角；运动传感器，被配置为获得所述电子装置的运动信息；显示器；存储器；以及处理器，被配置为：通过基于所述运动信息和具有第一尺寸的第一边缘区域针对经由所述第一相机获得的第一图像集合执行第一数字图像稳定化来显示实况预览；在通过执行所述第一数字图像稳定化来显示实况预览时，显示第一图形对象，所述第一图形对象指示与所述第一数字图像稳定化对应的第一运动稳定化程度；响应于用于从所述第一数字图像稳定化改变为第二数字图像稳定化的用户输入，通过基于所述运动信息和具有大于所述第一尺寸的第二尺寸的第二边缘区域针对经由所述第二相机获得的第二图像集合执行所述第二数字图像稳定化来显示实况预览；以及在通过执行所述第二数字图像稳定化来显示实况预览时，显示第二图形对象，所述第二图形对象指示与所述第二数字图像稳定化对应的第二运动稳定化程度。8.根据权利要求7所述的电子设备，其中，所述处理器还被配置为：在使用所述第一图像集合和所述第二图像集合中的相应集合来显示实况预览时，接收用于捕获视频的请求；响应于所述相应集合是所述第一图像集合，使用所述第一图像集合中根据所述第一数字图像稳定化而被稳定化处理的至少一个图像来生成所述视频；以及响应于所述相应集合是所述第二图像集合，使用所述第二图像集合中根据所述第二数字图像稳定化而被稳定化处理的至少一个图像来生成所述视频。9.根据权利要求7所述的电子设备，其中，所述处理器还被配置为：作为执行所述第一数字图像稳定化的操作的一部分，从一个或多个图像中裁剪至少部分地基于所述运动信息确定的第一区域；以及作为执行所述第二数字图像稳定化的操作的一部分，从一个或多个图像中裁剪至少部分地基于所述运动信息确定的第二区域。10.根据权利要求9所述的电子设备，其中，所述处理器还被配置为：作为裁剪所述第一区域的操作的一部分，至少部分地基于从所述第一相机的与所述第一视角对应的第一成像区域排除所述第一边缘区域来确定所述第一区域的尺寸；以及作为裁剪所述第二区域的操作的一部分，至少部分地基于从所述第二相机的与所述第二视角对应的第二成像区域排除所述第二边缘区域来确定所述第二区域的尺寸。11.一种操作电子装置的方法，所述电子装置包括具有第一视角的第一相机和具有比
所述第一视角更宽的第二视角的第二相机，所述方法包括：进入视频捕获模式，在所述视频捕获模式中，所述第一相机或所述第二相机被激活；使用经由所述第一相机或所述第二相机获得的图像来显示与所述视频捕获模式对应的实况预览；在处于所述视频捕获模式时，显示用户界面，所述用户界面包括指示第一运动稳定化程度的第一图形对象和指示第二运动稳定化程度的第二图形对象，所述第二运动稳定化程度大于所述第一运动稳定化程度；经由所述用户界面接收用于选择所述第一图形对象或所述第二图形对象之一的输入；经由运动传感器获得所述电子装置的运动信息；基于所述第一图形对象被选择，通过基于所述运动信息和具有第一尺寸的第一边缘区域针对经由所述第一相机获得的第一图像集合执行第一数字图像稳定化来显示实况预览；以及基于所述第二图形对象被选择，通过基于所述运动信息和具有大于所述第一尺寸的第二尺寸的第二边缘区域针对经由所述第二相机获得的第二图像集合执行第二数字图像稳定化来显示实况预览。12.根据权利要求11所述的方法，还包括：在使用所述第一图像集合和所述第二图像集合中的相应集合来显示实况预览时，接收用于捕获视频的请求；响应于所述相应集合是所述第一图像集合，使用所述第一图像集合中根据所述第一数字图像稳定化而被稳定化处理的至少一个图像来生成所述视频；以及响应于所述相应集合是所述第二图像集合，使用所述第二图像集合中根据所述第二数字图像稳定化而被稳定化处理的至少一个图像来生成所述视频。13.根据权利要求11所述的方法，其中，执行所述第一数字图像稳定化包括从一个或多个图像中的每个图像中裁剪至少部分地基于所述运动信息确定的第一区域，并且其中，执行所述第二数字图像稳定化包括从一个或多个图像中的每个图像中裁剪至少部分地基于所述运动信息确定的第二区域。14.根据权利要求13所述的方法，其中，裁剪所述第一区域包括至少部分地基于从所述第一相机的与所述第一视角对应的第一成像区域排除所述第一边缘区域来确定所述第一区域的尺寸，并且其中，裁剪所述第二区域包括至少部分地基于从所述第二相机的与所述第二视角对应的第二成像区域排除所述第二边缘区域来确定所述第二区域的尺寸。15.根据权利要求11所述的方法，其中，与所述第一图像集合对应的第三视角比所述第一视角窄，并且与所述第二图像集合对应的第四视角比所述第二视角窄。16.根据权利要求11所述的方法，还包括：响应于激活所述第一数字图像稳定化，经由显示器呈现指示所述第一运动稳定化程度的第一通知；以及响应于激活所述第二数字图像稳定化，经由所述显示器呈现指示所述第二运动稳定化程度的第二通知。
17.一种操作电子装置的方法，所述电子装置包括具有第一视角的第一相机和具有比所述第一视角更宽的第二视角的第二相机，所述方法包括：经由运动传感器获得所述电子装置的运动信息；通过基于所述运动信息和具有第一尺寸的第一边缘区域针对经由所述第一相机获得的第一图像集合执行第一数字图像稳定化来显示实况预览；在通过执行所述第一数字图像稳定化来显示实况预览时，显示第一图形对象，所述第一图形对象指示与所述第一数字图像稳定化对应的第一运动稳定化程度；响应于用于从所述第一数字图像稳定化改变为第二数字图像稳定化的用户输入，通过基于所述运动信息和具有大于所述第一尺寸的第二尺寸的第二边缘区域针对经由所述第二相机获得的第二图像集合执行所述第二数字图像稳定化来显示实况预览；以及在通过执行所述第二数字图像稳定化来显示实况预览时，显示第二图形对象，所述第二图形对象指示与所述第二数字图像稳定化对应的第二运动稳定化程度。18.根据权利要求17所述的方法，还包括：在使用所述第一图像集合和所述第二图像集合中的相应集合来显示实况预览时，接收用于捕获视频的请求；响应于所述相应集合是所述第一图像集合，使用所述第一图像集合中根据所述第一数字图像稳定化而被稳定化处理的至少一个图像来生成所述视频；以及响应于所述相应集合是所述第二图像集合，使用所述第二图像集合中根据所述第二数字图像稳定化而被稳定化处理的至少一个图像来生成所述视频。19.根据权利要求17所述的方法，其中，执行所述第一数字图像稳定化包括从一个或多个图像中裁剪至少部分地基于所述运动信息确定的第一区域，并且其中，执行所述第二数字图像稳定化包括从一个或多个图像中裁剪至少部分地基于所述运动信息确定的第二区域。20.根据权利要求19所述的方法，其中，裁剪所述第一区域包括至少部分地基于从所述第一相机的与所述第一视角对应的第一成像区域排除所述第一边缘区域来确定所述第一区域的尺寸，并且其中，裁剪所述第二区域包括至少部分地基于从所述第二相机的与所述第二视角对应的第二成像区域排除所述第二边缘区域来确定所述第二区域的尺寸。

技术总结
本公开提供了一种用于使图像稳定化的电子装置及其操作方法。一种电子装置，包括：相机；运动传感器；存储器；以及至少一个处理器。所述至少一个处理器可被配置为：根据执行图像获取模式，从运动传感器获取电子装置的运动信息；基于运动信息的至少一部分确定图像稳定化方案；以及基于所确定的图像稳定化方案，对通过相机获取的至少一个图像执行稳定化操作。图像稳定化方案可包括：第一稳定化方案，用于基于第一边缘区域校正所述至少一个图像的抖动；以及第二稳定化方案，用于基于大于第一边缘区域的第二边缘区域来校正所述至少一个图像的抖动。抖动。抖动。


技术研发人员：宋沅锡 李普熙 李世贤 曺正焕 河龙贤
受保护的技术使用者：三星电子株式会社
技术研发日：2020.02.19
技术公布日：2023/10/19