图像处理装置、控制方法、程序与流程

1.本发明涉及一种图像处理装置等。
背景技术：
：：2.在高倍率的变焦摄影中，拍摄到的图像中手抖动明显的情况多。例如在通过数字变焦(电子变焦)来提高变焦倍率的情况下，由于将图像传感器(影像传感器)上的狭小范围放大显示，因此手抖动的影响更为显著。例如，专利文献1中公开了一种在变焦摄影时提高手抖动校正的灵敏度的照相机系统。3.现有技术文献4.专利文献5.专利文献1：日本专利特开2014-064323号公报技术实现要素：6.发明所要解决的问题7.在专利文献1所记载的照相机系统中，越提高变焦倍率，则越增加手抖动检测量，由此减轻手抖动。但是，专利文献1中记载的照相机系统是以光学式手抖动校正为前提，未提及电子式手抖动校正。8.另外，在专利文献1中记载的照相机系统中，例如在高倍率的变焦摄影时使用手抖动校正的情况下，由于通过手抖动校正来进行光轴调整，因此产生难以在用户预期的摄影位置(构图)进行拍摄的问题。另外，例如在电子式手抖动校正中，由于通过手抖动校正，图像传感器上的摄像所利用的像素即有效像素会发生变动，因此也产生相同的问题。9.本发明是鉴于所述课题而成，其目的在于提出一种为了拍摄预期的构图(摄影场所)而进行支援的方法。10.解决问题的技术手段11.根据本发明的一实施例，为一种图像处理装置，包括能够进行图像抖动校正的校正部件，能够输出如下图像，即根据从基于由摄像装置进行的摄像的图像中切出的切出区域而生成的图像，所述图像处理装置包括控制部件，所述控制部件对如下通知进行控制，所述通知与在使由校正部件进行的图像抖动校正有效化的同时能够将切出区域切出的范围相关。12.发明的效果13.通过本发明的信息处理装置，可获得可为了拍摄预期的构图而进行支援的效果。附图说明14.图1是表示图像处理装置的功能结构的一例的框图。15.图2是表示图像处理的流程的一例的流程图。16.图3是表示校正向量与引导指示符的具体例的图。17.图4是表示伴随摄像部的位移的各处理后的图像的具体例的图。18.图5是表示伴随摄像部的位移的各处理后的图像的具体例的图。19.图6是表示伴随摄像部的位移的各处理后的图像的具体例的图。20.图7是表示伴随摄像部的位移的直通图像的转变的一例的图。21.图8是表示智能手机的功能结构的一例的框图。22.图9是表示图像摄像处理的流程的一例的流程图。23.图10是表示手抖动校正模式设定处理的流程的一例的流程图。24.图11是表示变形例中的变焦位置指示符的另一例的图。25.图12是表示变形例中的伴随摄像部的位移的直通图像的转变的一例的图。26.图13是表示变形例中的引导指示符的另一例的图。27.图14是表示记录介质的一例的图。具体实施方式28.以下，参照附图对用于实施本发明的方式的一例进行说明。29.此外，在附图的说明中，对同一元件标注同一符号，有时省略重复的说明。30.另外，本实施方式中记载的构成元件仅为例示，并不旨在将本发明的范围限定于它们。31.[实施方式][0032]以下，对用于实现本发明的图像处理技术、图像摄像技术的实施方式的一例进行说明。[0033]图1是表示本实施方式的一形态的图像处理装置1的功能结构的一例的框图。图像处理装置1可称为图像摄像装置或图像输出装置。[0034]图像处理装置1例如包括预变焦部110、手抖动校正变焦部140、以及显示控制部180。[0035]预变焦部110例如包括预切出部120以及预超分辨率处理部130。另外，手抖动校正变焦部140例如包括电子式手抖动校正部150、切出部160、以及超分辨率处理部170。[0036]它们例如是图像处理装置1的未图示的处理部(处理装置)或控制部(控制装置)所具有的功能部(功能区块)，且是由中央处理器(centralprocessingunit，cpu)或数字信号处理器(digitalsignalprocessor，dsp)等处理器或专用集成电路(applicationspecificintegratedcircuit，asic)等集成电路而构成。[0037]预切出部120例如接受通过图像处理装置1的外部的摄像部310拍摄到的图像(以下，称为“影像传感器图像”)作为输入。[0038]预切出部120例如具有基于预先设定的预变焦倍率、及所输入的影像传感器图像，将影像传感器图像中心部处的规定区域切出的功能。以下，将由预切出部120切出的图像称为“预切出图像”。[0039]预超分辨率处理部130例如具有对所输入的预切出图像应用提高图像分辨率的超分辨处理，并将其作为预变焦图像输出的功能。[0040]此外，预超分辨率处理部130可不仅执行超分辨处理，也执行图像的失真校正处理。作为图像的失真校正处理，例如可列举滚动快门失真校正处理或广角失真校正处理等。[0041]即，预变焦部110例如具有输出将所输入的影像传感器图像的中心部扩大(数字变焦)到规定的预变焦倍率(例如，“p”倍(“p”是大于1的任意常数))的预变焦图像的功能。[0042]电子式手抖动校正部150例如接受多个帧的预变焦图像(以下，称为“预变焦图像群”)作为输入。[0043]另外，电子式手抖动校正部150例如也可附加接受通过图像处理装置1的外部的惯性测量部(imu：inertialmeasurementunit)320获取的惯性信息作为输入。[0044]此处，所谓惯性信息，例如是与摄像部310的倾斜或平移相关的信息，例如是与通过惯性测量部320中的三轴陀螺仪传感器检测到的摄像部310的倾斜或通过惯性测量部320中的加速度传感器检测到的摄像部310的平移相关的信息。[0045]电子式手抖动校正部150基于所输入的预变焦图像群，例如算出预变焦图像群的帧间的光流。并且，电子式手抖动校正部150具有基于算出的光流及惯性信息中的至少一者，算出预变焦图像群的帧间转变中的手抖动校正转换(手抖动校正映射)的功能。[0046]此处，所谓手抖动校正转换，是用于将切出部160中的进行手抖动校正之前的切出区域(以下，称为“校正前切出区域”)映射至手抖动校正后的切出区域(以下，称为“校正后切出区域”)的转换。[0047]校正后切出区域例如是作为对输入至切出部160的预变焦图像应用了手抖动校正转换的结果而获得的、与校正前切出区域对应的为了方便起见的切出区域，且是应用了手抖动校正时的切出区域。[0048]此外，在将手抖动校正转换全部作为图像的旋转进行处理的情况下，也可利用四元数(四元素(quaternion))来表现手抖动校正转换。由此，可实现处理的高速化。[0049]切出部160例如具有基于预先设定的手抖动校正变焦倍率、由电子式手抖动校正部150算出的手抖动校正转换、以及所输入的预变焦图像，将预变焦图像的中心部附近出的规定区域切出的功能。以下，将所切出的图像称为“切出图像”。[0050]另外，切出部160例如具有基于校正后切出区域来算出后述的校正向量c的功能。[0051]超分辨率处理部170例如具有对所输入的切出图像应用提高图像分辨率的超分辨处理并将其作为变焦图像输出的功能。[0052]即，手抖动校正变焦部140例如具有输出将预变焦图像的中心附近扩大(数字变焦)到规定的手抖动校正变焦倍率(例如，“q倍”(“q”是1以上的任意常数)的变焦图像的功能。另外，手抖动校正变焦部140具有在满足后述的手抖动校正条件的情况下，对变焦图像实施电子式手抖动校正的功能。[0053]例如，通过将被设定为预变焦倍率“p”倍的预变焦部110与被设定为手抖动校正变焦倍率“q”倍的手抖动校正变焦部140加以组合，所获得的变焦图像成为将影像传感器图像的中心附近超扩大(超变焦)到“p×q”倍的图像。[0054]显示控制部180例如接受变焦图像及与所述变焦图像对应的校正向量c作为输入。[0055]显示控制部180例如具有基于校正向量c而生成后述的引导指示符的指示符生成功能。另外，显示控制部180例如具有将所生成的引导指示符与所输入的变焦图像加以合成并生成直通图像的直通图像生成功能。[0056]显示部340例如具有当接受通过显示控制部180生成的直通图像作为输入时，显示所述直通图像的功能。[0057]此处，所谓图像的“显示”，是图像的“输出”的一种。[0058]图像的“输出”中除可包含图像在本装置中的显示(显示输出)外，例如也可包含图像向本装置中的其他功能部的输出(内部输出)、或图像向本装置以外的装置(外部装置)的输出(外部输出)或发送(外部发送)等。[0059][图像处理的流程][0060]图2是表示本实施方式中的图像处理的流程例的流程图。[0061]图2的流程图中的处理例如通过由图像处理装置1的处理部将保存于未图示的存储部中的照相机应用程序的代码读出至未图示的随机存取存储器(randomaccessmemory，ram)并执行来实现。[0062]图2的流程图中的各符号s意指步骤。[0063]另外，以下说明的流程图归根到底仅表示本实施方式中的图像处理的流程的一例，当然也可追加其他的步骤或删除一部分步骤。[0064]首先，预切出部120进行摄像图像获取处理(s101)。具体而言，例如接受由摄像部310拍摄到的影像传感器图像。[0065]此外，预切出部120可将拍摄到的“n”帧(“n”是1以上的任意整数)的影像传感器图像汇总而作为影像传感器图像群予以接受。[0066]继而，预切出部120进行预切出图像切出处理(s103)。具体而言，例如，基于预变焦倍率设定预切出区域，并将预切出区域内的影像传感器图像作为预切出图像输出。[0067]此外，在输入影像传感器图像群的情况下，也可在影像传感器图像群的各帧中重复进行s103的步骤，并生成“n”帧的预切出图像群。[0068]例如，在将影像传感器图像的像素数设为“x”像素、将预变焦倍率设为“p”倍时，预切出部120例如将影像传感器图像中心部“x÷p2”像素的区域设定为预切出区域。并且，预切出部120将预切出区域内的影像传感器图像作为预切出图像输出。[0069]于是，预超分辨率处理部130进行预切出图像超分辨处理(s105)。具体而言，例如对预切出图像实施超分辨处理，并将其作为预变焦图像输出。[0070]例如，预超分辨率处理部130在超分辨处理功能中对“x÷p2”像素的预切出图像进行将图像分辨率例如设为“p”倍的超分辨处理，并将所获得的“x”像素的图像作为预变焦图像输出。[0071]此外，预超分辨率处理部130可以与预变焦倍率不同的倍率进行超分辨处理。在所述情况下，影像传感器图像与预变焦图像的尺寸(像素数)不同。另外，在输入预切出图像群的情况下，预超分辨率处理部130可使用各个帧内的图像的空间信息与帧间的图像的时间信息来进行超分辨处理。[0072]另外，预变焦部110可通过在预超分辨率处理部130中对影像传感器图像进行超分辨处理，然后在预切出部120中对经超分辨的图像进行裁剪来输出预变焦图像。[0073]当第“t”帧(“t”是任意的自然数)的预变焦图像输入至切出部160时，切出部160进行校正前切出区域设定处理(s107)。具体而言，例如，将第“t-1”帧的变焦切出区域设定为第“t”帧的校正前切出区域。[0074]此外，在作为开头帧的第一帧中，校正前切出区域例如被设定为用于以手抖动校正变焦倍率“q”倍切取(数字变焦)预变焦图像的中心的矩形区域。[0075]继而，电子式手抖动校正部150基于所输入的第“t”帧的预变焦图像与第“t-1”帧的预变焦图像，例如使用卢卡斯-卡纳德(lucas-kanade)法算出预变焦图像内的局部的图像要素中的局部运动向量(例如，光流)。[0076]然后，电子式手抖动校正部150基于算出的局部的运动向量，算出与从第“t-1”帧至第“t”帧之间产生的摄像部310的平行移动/旋转移动(手抖动)对应的手抖动校正转换(s109)。[0077]此外，在作为开头帧的第一帧中，手抖动校正转换例如可设为恒等映射。[0078]此外，电子式手抖动校正部150也可不使用预变焦图像群，而基于通过惯性测量部320获取的惯性信息算出手抖动校正转换。[0079]另外，电子式手抖动校正部150也可基于所输入的第“t”帧的预变焦图像与第“t-1”帧的预变焦图像来算出惯性信息，并基于算出的惯性信息来算出手抖动校正转换。此时，电子式手抖动校正部150也可将通过惯性测量部320获取的惯性信息例如并用作初始值，并根据预变焦图像群算出(重新计算)惯性信息。[0080]另外，电子式手抖动校正部150并不限定于基于在时间轴方向上相邻的两帧的预变焦图像群算出手抖动校正转换。例如，也可基于包含在时间轴上连续的任意的“l”帧(l为任意的正整数)的预变焦图像群算出光流及惯性信息中的至少一者，并算出预变焦图像群的在时间轴方向上相邻的帧间的手抖动校正转换。[0081]当从电子式手抖动校正部150获取从第“t-1”帧至第“t”帧的手抖动校正转换时，切出部160基于第“t”帧的校正前切出区域与手抖动校正转换算出第“t”帧的校正后切出区域。[0082]于是，切出部160进行校正向量算出处理(s111)。具体而言，例如，算出校正后切出区域的中心位置(例如，重心位置)作为校正位置。然后，例如，算出以预变焦图像的中心位置为起点、以校正位置为终点的校正向量c(s111)。[0083]此外，在预变焦图像中的长边方向与短边方向上的长度不相等的情况下，切出部160可算出对于长边方向或短边方向上的长度将长度归一化而得的校正位置，并算出校正向量c。[0084]或者，也可在算出校正向量c后，根据预变焦图像中的长边方向与短边方向上的长度对校正向量c的大小进行归一化。[0085]当通过校正向量算出处理算出校正向量c时，切出部160对校正向量c的大小(例如，l2范数)是否小于规定值“r”(“r”是正常数)(小于规定值)进行判定(s113)。将所述判定条件称为“手抖动校正条件”。[0086]所述手抖动校正条件的规定值“r”例如可以校正后切出区域不会超出预变焦的图像的方式设定。[0087]此外，在本步骤中，切出部160可对校正向量c的大小是否为规定值“r”以下进行判定。[0088]在校正向量c的大小小于规定值“r”的情况下(s113：是(yes))，满足手抖动校正条件。因此，作为手抖动校正处理，切出部160将第“t”帧的校正后切出区域设定为变焦切出区域(s115)。[0089]在校正向量c的大小为规定值“r”以上的情况下(s113：否(no))，不满足手抖动校正条件。因此，切出部160不执行s115的步骤，而将第“t”帧的校正前切出区域直接设定为变焦切出区域。另外，切出部160将第“t”帧的校正向量c恢复(更新)为第“t-1”帧的校正向量c。[0090]此外，在不满足手抖动校正条件的情况下，切出部160可将变焦切出区域例如设定为预变焦图像的中心区域。[0091]然后，切出部160进行切出图像切出处理(s117)。具体而言，例如基于设定的变焦切出区域，将变焦切出区域内的预变焦图像作为切出图像输出。[0092]于是，超分辨率处理部170进行切出图像超分辨处理(s119)。具体而言，例如对切出图像实施超分辨处理，并将其作为变焦图像输出。[0093]此外，超分辨率处理部170可不仅进行超分辨处理，也进行图像的失真校正处理。作为图像的失真校正处理，例如可列举滚动快门失真校正处理或广角失真校正处理等。[0094]另外，超分辨率处理部170可从电子式手抖动校正部150或者切出部160获取手抖动校正转换，并在超分辨处理中考虑到手抖动校正转换来进行处理。另外，在输入包含多个帧的切出图像的切出图像群的情况下，超分辨率处理部170可进行考虑到时间轴方向的超分辨处理。[0095]此外，手抖动校正变焦部140可通过在超分辨率处理部170中对预变焦图像进行超分辨处理，然后在切出部160中对经超分辨的图像进行裁剪来输出变焦图像。[0096]例如当从切出部160获取第“t”帧的校正向量c时，显示控制部180进行引导指示符更新处理(s121)。具体而言，例如，基于所获取的校正向量c与手抖动校正条件的规定值“r”，更新(生成)引导指示符。[0097]图3中示出由校正向量c生成的引导指示符的一例。[0098]在图3左侧，在全景scn内由虚线表示的预切出区域的中心点(重心点)即预变焦图像中心位置在圆上以十字的记号表示。[0099]另外，双点划线所示的校正前切出区域与基于手抖动校正转换算出的校正后切出区域被示为实线的四边形区域(在图中为梯形的区域)。并且，作为校正后切出区域的中心点(重心点)的校正位置在四方形上以十字的记号表示。[0100]此时，归一化前的校正向量c为以预变焦图像中心位置为起点，以校正位置为终点的向量。输入至显示控制部180的校正向量c例如是根据预切出区域的长边方向及短边方向上的长度对归一化前的校正向量c进行归一化而得的向量。[0101]在图3右侧示出由输入至显示控制部180的校正向量c生成的引导指示符的一例。[0102]引导指示符例如包含将半径设为手抖动校正条件的规定值“r”的圆周状的外缘、及以黑色正方形表示的变焦位置指示符。[0103]此外，在图3右侧，为了方便起见，以灰色的圆形记号表示引导指示符外缘的中心位置。[0104]当将校正向量c的起点配置于引导指示符外缘的中心位置时，变焦位置指示符例如被配置为以校正向量c的终点为中心位置的正方形。[0105]此外，变焦位置指示符的一边的长度“z”例如可设为相对于“r”而言充分小的任意的值(例如，“z＝r÷20”)。[0106]即，引导指示符外缘内的变焦位置指示符的位置与变焦切出区域相对于预切出区域的位置对应。[0107]由于校正向量c的大小小于“r”，因此校正向量c的终点不会超出引导指示符外缘。因此，变焦位置指示符不会大幅超出外缘。[0108]此外，例如可将外缘的半径设定为利用“r′＝r+z/sqrt(2)”算出的“r′”，以避免正方形的变焦位置指示符超出引导指示符外缘。此外，“sqrt(x)”是“x”的平方根。[0109]返回到图2，当从超分辨率处理部170获取第“t”帧的变焦图像时，显示控制部180进行直通图像显示处理(s123)。具体而言，例如，将第“t”帧的变焦图像与更新后的第“t”帧的引导指示符合成(叠加)，并作为直通图像显示于显示部340。[0110]例如，在基于对未图示的操作部的输入(用户操作)选择要结束摄影的情况下(s125：是)，图像处理装置1结束处理。[0111]在不选择结束摄影的情况下(s125：否)，图像处理装置1例如使处理返回到s101的步骤。[0112][图像处理的具体例][0113]图4～图6中示出伴随摄像部310的位移(位置、角度的变化)的预切出区域的变化与变焦切出区域的变化的具体例。另外，也一并示出根据帧间的变化生成的引导指示符与输出的变焦图像的具体例。[0114]此外，在这些图中，对于全景scn中，以点划线标记作为影像传感器图像被切取的影像传感器区域的边界框，以虚线标记预切出区域的边界框，以双点划线标记校正前切出区域的边界框，以实线标记校正后切出区域的边界框。[0115]另外，为了简化说明，将这些边界框全部标记为矩形，但实际上并不限定于矩形。[0116]全景scn中例如描绘出从左向右横穿拱桥的三节编组的列车。另外，在拱桥的左右存在山体，在拱桥的深处描绘有被堤坝包围的港口。[0117]此外，全景scn实际上在全周方向上具有扩展，但此处设置虚拟的外框而仅示出所述外框内。[0118]图4中示出手抖动校正变焦部140中手抖动校正有效的状态的一例。[0119]在图4(a)中，例如影像传感器区域是以列车排头车厢的前端附近为中心而捕捉。在校正后切出区域中，例如捕捉到排头车厢的面部。[0120]关于校正后切出区域的中心，在正面观看时比预切出区域的中心稍向右上方偏移。因此，引导指示符中的变焦位置指示符被显示为从外缘的中心稍向右上方偏移。[0121]此时，作为变焦图像，输出了将影像传感器区域的中心附近超扩大的、横穿拱桥并朝向隧道的排头车厢的面部的图像。[0122]从图4(a)起，例如在因手抖动的影响使得摄像部310的朝向稍向右上方位移的情况下，例如各区域转变为图4(b)。[0123]在图4(b)中，影像传感器区域上端捕捉在图4(a)中为范围外的堤坝的里侧，影像传感器区域左端不再捕捉在图4(a)中容纳的排头车厢后部的门。[0124]校正前切出区域也随着影像传感器区域的变化而偏移，但校正后切出区域由于手抖动校正转换未从图4(a)发生位移。[0125]校正后切出区域的中心比预切出区域的中心稍向下方偏移。因此，引导指示符中的变焦位置指示符被显示为从外缘的中心稍向下方偏移。由于变焦位置指示符未与外缘相接，因此在图4(b)中，在手抖动校正变焦部140中手抖动校正也有效。[0126]此时，关于变焦图像，输出与图4(a)相同的图像，变焦图像未产生抖动。[0127]图5中示出手抖动校正变焦部140中将手抖动校正切换为无效的状态的一例。[0128]图5(b)是图4(b)的状态。[0129]从图5(b)起，例如为了拍摄列车的后方，将摄像部310的朝向向左上方缓慢摆动。[0130]于是，变焦位置指示符在引导指示符外缘内逐渐向右下方移动。但是，在变焦位置指示符未到达外缘的状态下，在手抖动校正变焦部140中手抖动校正有效，持续获取与图5(b)相同的变焦图像。最终，当变焦位置指示符到达引导指示符外缘时，不再满足手抖动校正条件，因此在手抖动校正变焦部140中将手抖动校正切换为无效，且变焦图像追随于预切出的图像而逐渐变化。[0131]图5(c)中示出使摄像部310的朝向持续向左上方摆动时的各区域的转变的一例。[0132]在图5(c)中，使摄像部310的朝向从图5(b)起持续向左上方摆动，结果，影像传感器区域捕捉到列车的第二节。[0133]此时，由于不满足手抖动校正条件的状态持续，因此变焦切出区域根据校正前切出区域例如持续固定于预切出区域内的右下端。[0134]另外，变焦位置指示符例如以与外缘内的右下端相接的形式持续固定。[0135]结果，变焦切出区域成为追随影像传感器区域的中心附近的形式，例如，作为变焦图像输出列车的排头与第二节的连接部附近的图像。[0136]图6中示出手抖动校正变焦部140中手抖动校正再次被切换为有效的状态的一例。[0137]在图6(d)中，使摄像部310的朝向从图5(c)起持续向左上方摆动，结果，影像传感器区域在中央捕捉到列车的最末尾的车厢。[0138]此时，由于不满足手抖动校正条件的状态持续，因此变焦切出区域根据预切出区域例如持续固定于预切出区域内的右下端。因此，变焦位置指示符例如以与外缘内的右下端相接的形式持续固定。[0139]其结果，变焦切出区域成为在预切出区域内追随的形式，例如，作为变焦图像而输出列车的最末尾的车厢的图像。[0140]从图6(d)起，例如在为了追随列车的最末尾的车厢而使摄像部310的朝向稍向右下方位移的情况下，例如，各区域转变为图6(e)。[0141]在图6(e)中，影像传感器区域左端在图6(d)中从相接的全景scn的虚拟的外框稍向右偏移。[0142]引导指示符中的变焦位置指示符被显示为从外缘的中心稍向左上方偏移。由于变焦位置指示符未与外缘相接，因此在图6(e)中示出在手抖动校正变焦部140中手抖动校正再次有效。[0143]此时，校正后切出区域不会由于手抖动校正转换而从图6(d)位移。结果，关于变焦图像，输出与图6(d)相同的图像，在从图6(d)向图6(e)的转变中变焦图像未产生抖动。[0144]图7中示出从图5(b)至图5(c)为止的过程中的直通图像的转变的一例。[0145]在图7中，例如示出在变焦图像的右上方合成了引导指示符时生成的直通图像的转变例。[0146]此外，将引导指示符合成的位置并不限定于变焦图像的右上方。例如，可为左上方，也可为右下方，还可为左下方。[0147]图7(b)是与图5(b)对应的直通图像的一例。在所述图像中，映出通过数字变焦拍摄的列车排头的面部。并且，在引导指示符中，示出由于变焦区域指示符显示于外缘中心附近，因此手抖动校正有效。[0148]图7(b′)是例如为了拍摄列车的后方而使摄像部310的朝向从图7(b)开始向左上方缓慢地摆动时的直通图像的一例。在所述图像中，变焦区域指示符在引导指示符的外缘内向与摄像部310的朝向的变化对称的右下方向移动。但是，由于变焦区域指示符未与外缘相接，因此表示手抖动校正有效。[0149]此时，尽管摄像部310的操作者改变了摄像部310的朝向，但由于手抖动校正有效且变焦图像不会发生变化，因此在不存在引导指示符的情况下有可能会感到违和感。[0150]但是，通过能够确认直通图像中显示的引导指示符内的变焦区域指示符位置，图像处理装置1可向摄像部310的操作者通知手抖动校正有效。另外，由此，可防止意图使摄像区域变化的摄像部310的操作者使摄像部310的朝向进一步急剧变化，而获取预期外的范围作为影像传感器图像。[0151]图7(b″)是进一步使摄像部310的朝向从图7(b′)向左上方缓慢摆动时的直通图像的一例。在所述图像中，变焦区域指示符进一步向右下方向移动并与引导指示符外缘相接。因此，图像处理装置1可向摄像部310的操作者通知手抖动校正无效。[0152]此时，变焦切出区域开始沿着摄像部310的朝向移动，因此变焦图像开始朝向列车排头车厢的后方运动。因此，在使摄像部310的朝向在所述方向上持续变化的期间，摄像部310的操作者可容易地掌握作为变焦图像而获取的摄像对象逐渐变化的情况。[0153]图7(c)是使摄像部310的朝向从图(b″)向作为所述方向的左上方持续摆动时的直通图像的一例。在所述图像中，变焦区域指示符持续与引导指示符外缘相接。因此，图像处理装置1可向摄像部310的操作者通知手抖动校正的无效状态持续。[0154]同样地，摄像部310的操作者在变焦图像内捕捉到目标摄像对象的情况下，通过以使摄像部310的朝向在引导指示符内从外缘的中心朝向连结变焦区域指示符的位置的方向稍微恢复的方式保持摄像部310，从而再次将手抖动校正设为有效，可容易地掌握将摄影对象适当地作为变焦图像持续捕捉。[0155][实施方式的作用、效果][0156]本实施方式中的图像处理装置(例如，图像处理装置1)包括能够进行图像抖动校正(例如，手抖动校正)的校正部件(例如，电子式手抖动校正部150)，且能够输出如下图像，即根据从基于由摄像装置(例如，摄像部310)进行的摄像的图像(例如，预变焦图像)切出的切出区域(例如，变焦切出区域)而生成的图像(例如，变焦图像)，所述图像处理装置包括控制部件(例如，显示控制部180)，所述控制部件对如下通知(例如，引导指示符的显示或哔声的声音输出等)进行控制，所述通知与在使由校正部件进行的图像抖动校正有效化的同时能够将切出区域切出的范围(例如，满足手抖动校正条件的范围)相关。[0157]据此，通过对如下通知进行控制，所述通知与在使由校正部件进行的图像抖动校正有效化的同时能够将切出区域切出的范围相关，可进行支援以拍摄预期的构图。另外，通过有效利用通知，可简易且适当地输出根据从基于由摄像装置进行的摄像的图像切出的切出区域而生成的图像。[0158]另外，在所述情况下，控制部件(例如，显示控制部180)基于伴随摄像装置的运动的切出区域的变移(例如，校正向量c)与决定图像抖动校正有效的范围的设定值(例如，手抖动校正条件的规定值“r”)，对通知进行控制。[0159]据此，可基于能对伴随摄像装置的运动的切出区域的变移带来影响的设定值，正确地对通知进行控制。[0160]另外，在所述情况下，图像处理装置还包括辅助信息生成部件(例如，显示控制部180)，所述辅助信息生成部件生成辅助信息(例如，引导指示符)，所述辅助信息是基于变移(例如，校正向量c)与设定值(例如，规定值“r”)的信息，且能够确定在使图像抖动校正有效化的同时能够将切出区域切出的范围(例如，满足手抖动校正条件的范围)。[0161]据此，可生成用户能够容易地掌握在使图像抖动校正有效化的同时能够将切出区域切出的范围的辅助信息。[0162]另外，在所述情况下，辅助信息生成部件(例如，显示控制部180)生成辅助信息(例如，引导指示符)，所述辅助信息至少包含与基于变移的规定位置(例如，校正位置)对应的指示符(例如，变焦位置指示符)、及在使图像抖动校正有效化的同时能够将切出区域切出的范围的外缘(例如，引导指示符的外缘)，控制部件(例如，显示控制部180)使辅助信息显示于显示装置(例如，显示部340)并进行通知。[0163]据此，用户通过确认辅助信息的外缘与指示符，可容易地掌握图像抖动校正是否有效。[0164]另外，在所述情况下，控制部件(例如，显示控制部180)使辅助信息(例如，引导指示符)中包含的指示符(例如，变焦位置指示符)的位置伴随规定位置(例如，校正位置)的变化而变化。[0165]据此，可使指示符的位置与规定位置联动地移动。结果，用户可根据辅助信息的外缘与指示符的位置关系容易地掌握图像抖动校正的状态(是否有效)、或用于使图像抖动校正有效化或者无效化的摄像装置的运动。[0166]另外，在所述情况下，控制部件(例如，显示控制部180)使基于切出区域而生成的图像(例如，变焦图像)与辅助信息(例如，引导指示符)显示于显示装置(例如，显示部340)。[0167]据此，用户可经由显示装置确认图像与辅助信息。结果，用户可一边目视辅助信息一边对摄像装置的运动进行调整。其结果，可更简易且适当地获取基于用户预期的切出区域而生成的图像。[0168]此处，将基于切出区域而生成的图像(例如，变焦图像)与辅助信息(例如，引导指示符)显示于显示装置未必限定于一起显示两者，例如，也可包含通过显示的切换等将它们错开时机地显示、或将它们显示于不同的画面等。[0169]另外，在所述情况下，控制部件(例如，显示控制部180)可在变焦摄影时(例如，数字变焦摄影时)进行通知。[0170]据此，通过在变焦摄影时进行通知，所述各种效果变得更为显著。[0171][实施例][0172]接着，对应用所述图像处理装置1或者包括所述图像处理装置1的终端、电子装置(电子设备)、信息处理装置的实施例进行说明。[0173]此处，作为一例，对作为带照相机功能(带摄像功能)的移动电话的一种的智能手机的实施例进行说明。但是，当然能够应用本发明的实施例并不限定于所述实施例。[0174]图8是表示智能手机10的功能结构的一例的图。[0175]智能手机10例如包括处理部100、存储部200、摄像部310、惯性测量部320、操作部330、显示部340、声音输入部350、声音输出部360、以及通信部370。[0176]处理部100是根据存储于存储部200中的系统程序等各种程序对映像编辑用个人计算机(personalcomputer，pc)10的各部进行统括控制，并进行映像编辑处理所涉及的各种处理的处理装置，具有cpu或图形处理器(graphicsprocessingunit，gpu)、dsp等处理器或asic等集成电路而构成。[0177]处理部100具有预变焦部110、手抖动校正变焦部140及显示控制部180作为主要的功能部。预变焦部110例如具有预切出部120及预超分辨率处理部130作为其功能部。手抖动校正变焦部140例如具有电子式手抖动校正部150、切出部160及超分辨率处理部170作为其功能部。[0178]这些功能部分别对应于图1的图像处理装置1所包括的功能部。[0179]存储部200是具有只读存储器(readonlymemory，rom)或电可擦可编程只读存储器(electricallyerasableprogrammablereadonlymemory，eeprom)、闪速存储器、ram等易失性或非易失性的存储器、或硬盘装置等而构成的存储装置。[0180]存储部200中例如存储照相机应用程序210、照相机图像暂时存储部220、以及直通图像存储部230。[0181]照相机应用程序210是由处理部100读出并作为照相机应用处理执行的程序。[0182]照相机图像暂时存储部220例如是存储通过摄像部310拍摄的摄像图像(影像传感器图像)或预变焦部110的输出图像(预变焦图像)的缓冲器(帧缓冲器)。[0183]直通图像存储部230例如是存储(录像)从显示控制部180输出的直通图像的摄像数据(映像数据)。[0184]此外，直通图像存储部230可保存于经由通信部370连接的未图示的外部存储装置(例如，网络附接存储(networkattachedstorage，nas)等)中。[0185]摄像部310是构成为能够对任意场景的图像进行拍摄的摄像器件，具有电荷耦合器件(chargecoupleddevice，ccd)影像传感器或互补金属氧化物半导体(complementarymos(metaloxidesemiconductor)，cmos)影像传感器等摄像元件(半导体元件)而构成。摄像部310通过未图示的透镜使从摄像对象物发出的光在摄像元件的受光平面上成像，并通过光电转换将图像的光的明暗转换成电信号。转换后的电信号由未图示的模拟/数字(analogdigital，a/d)转换器转换成数字信号，并输出至处理部100。[0186]惯性测量部320例如具有对绕三轴(俯仰-横滚-偏航)的轴的角速度进行检测的陀螺仪传感器、或对三轴(俯仰-横滚-偏航)的轴向上的惯性力进行检测的加速度传感器而构成。惯性测量部320的检测结果随时输出至处理部100。[0187]操作部330具有操作按钮或操作开关等用于由用户对智能手机10进行各种操作输入的输入装置而构成。另外，操作部330具有与显示部340一体地构成的未图示的触摸屏，所述触摸屏作为用户与智能手机10之间的输入接口发挥功能。根据用户操作的操作信号从操作部330输出至处理部100。[0188]显示部340是具有液晶显示器(liquidcrystaldisplay，lcd)或有机电致发光显示器(organicelectro-luminescencedisplay，oeld)等而构成的显示装置，且基于从显示控制部180输出的显示信号进行各种显示。[0189]声音输入部350是具有麦克风或a/d转换器等而构成的声音输入装置，且基于输入至处理部100的声音输入信号进行各种声音输入。[0190]声音输出部360是具有数字模拟(digitalanalogy，d/a)转换器或扬声器等而构成的声音输出装置，且进行基于从处理部100输出的声音输出信号的各种声音输出。[0191]通信部370是用于在与外部的信息处理装置之间收发在装置内部使用的信息的通信装置。作为通信部370的通信方式，能够应用以太网或通用串行总线(universalserialbus，usb)等依据规定的通信标准的经由电缆进行有线连接的形式、或无线保真(wirelessfidelity，wi-fi)(注册商标)或第五代移动通信系统(5thgenerationmobilecommunicationsystem，5g)等依据规定的通信标准的使用无线通信技术进行无线连接的形式、蓝牙(bluetooth)(注册商标)等利用近距离无线通信进行连接的形式等各种方式。[0192]智能手机10的处理部100根据存储于存储部200中的照相机应用程序210进行图像摄像处理。[0193]图9是表示本实施例中的图像摄像处理的流程例的流程图。[0194]当预变焦部110接受通过摄像部310拍摄到的影像传感器图像时(s101)，例如按照图2的s103～s105的步骤输出预变焦图像(s201)。[0195]当手抖动校正变焦部140接受预变焦图像作为输入时，进行变焦切出区域设定处理(s203)。具体而言，例如，按照图2的s107～s111的步骤，算出校正前切出区域、手抖动校正转换、以及校正向量c。[0196]此外，在图2的s109的步骤中，手抖动校正变焦部140例如可以三轴(俯仰-横滚-偏航)手抖动校正为对象算出手抖动校正转换。[0197]这是因为，在以远望对远景进行拍摄的情况下，与摄像部310的绕三轴的轴的旋转相比，摄像部310的平移不会对手抖动校正结果带来什么影响。因此，对包含平移在内的五轴手抖动校正的手抖动校正转换进行处理的计算成本例如与对能够使用四元数进行高速运算的三轴手抖动校正的手抖动校正转换进行处理的计算成本不相称。[0198]另外，对于绕横滚轴的校正，为了防止校正后切出区域持续倾斜，也可在超过一定比率的情况下，强制进行水平校正。[0199]另外，也可根据摄像对象与智能手机10的位置关系算出以五轴手抖动校正为对象的手抖动校正转换。[0200]继而，手抖动校正变焦部140执行手抖动校正模式设定处理(s204)。[0201]图10是表示手抖动校正模式设定处理的流程例的流程图。[0202]首先，手抖动校正变焦部140对算出的校正向量c的大小(例如，l2范数)是否小于手抖动校正条件的规定值“r”(小于规定值)进行判定(s301)。[0203]此外，在本步骤中，手抖动校正变焦部140也可对校正向量c的大小是否为手抖动校正条件的规定值“r”以下进行判定。[0204]在校正向量c的大小小于规定值“r”的情况下(s301：是)，手抖动校正变焦部140将手抖动校正模式设定为“固定模式”(s303)。[0205]此处，所谓固定模式，例如是用于追踪变焦切出区域内的摄影对象，结果抑制变焦图像的变化(例如，因手抖动引起的摇动)的摄影模式。[0206]此外，为了将手抖动校正模式为固定模式通知给智能手机10的用户，手抖动校正变焦部140例如也可将“手抖动校正开启”等声音输出至声音输出部360。所述声音可仅在一帧前的手抖动校正模式为追随模式的情况下输出。[0207]另外，也可将与固定模式建立对应的声音以外的规定的声音输出至声音输出部360。[0208]在校正向量c的大小为规定值“r”以上的情况下(s301：否)，手抖动校正变焦部140将手抖动校正模式设定为“追随模式”(s303)。[0209]此处，所谓追随模式，例如是用于通过追随摄像部310的朝向的变化，对变焦切出区域内容纳的摄影对象进行变更，结果切换作为变焦图像而拍摄的对象的摄影模式。[0210]此外，为了将手抖动校正模式为追随模式通知给智能手机10的用户，手抖动校正变焦部140例如也可将“手抖动校正关闭”等声音输出至声音输出部360。所述声音可仅在前一帧中的手抖动校正模式为固定模式的情况下输出。[0211]另外，也可将与追随模式建立对应的声音以外的规定的声音输出至声音输出部360。[0212]另外，手抖动校正变焦部140例如也可根据校正向量c的大小而将“哔哔”的哔声输出至声音输出部360。关于出现所述哔声的声音的时间间隔，例如校正向量c的大小越大则越短，在校正向量c的大小为规定值“r”以上的情况下，哔声可变化为“吡”的连续音。[0213]此外，除此之外，手抖动校正变焦部140例如也可以校正向量c的大小越大则哔声的声音的大小越大的方式输出至声音输出部360。在所述情况下，在校正向量c的大小为规定值“r”以上的情况下，哔声可设为所设定的最大音量。[0214]另外，手抖动校正变焦部140也可代替哔声而使智能手机10中的未图示的通知灯的闪烁形态变化。[0215]返回到图9，手抖动校正变焦部140对所设定的手抖动校正模式是固定模式抑或是追随模式进行判定(s205)。[0216]在所设定的手抖动校正模式为固定模式的情况下(s205：固定模式)，手抖动校正变焦部140进行三轴手抖动校正处理(s207)。具体而言，例如对校正前切出区域应用三轴手抖动校正转换，并设定变焦切出区域。[0217]在所设定的手抖动校正模式为追随模式的情况下(s205：追随模式)，手抖动校正变焦部140进行横滚轴手抖动校正处理(s209)。具体而言，例如对校正前切出区域应用绕横滚轴的单轴手抖动校正转换，并设定变焦切出区域。[0218]在追随模式中，手抖动校正变焦部140例如向显示控制部180输出前一帧的校正向量c(即，基于手抖动校正前切出区域的校正向量c)。这是因为绕横滚轴的单轴手抖动校正转换几乎不会对校正向量c的帧间变化带来影响。[0219]此外，在所设定的手抖动校正模式为追随模式的情况下(s205：追随模式)，手抖动校正变焦部140也可将校正前切出区域直接设定为变焦切出区域。在所述情况下，在手抖动校正变焦部140中不进行手抖动校正处理。[0220]然后，手抖动校正变焦部140例如按照图2的s117～s119的步骤来生成变焦图像(s211)。[0221]此外，在手抖动校正变焦部140通过来自声音输出部360的声音输出来通知手抖动校正模式的情况下，显示控制部180可不执行s121的步骤，而在s123的步骤中，直接输出变焦图像作为直通图像。[0222]另外，显示控制部180在s123的步骤中可不使变焦图像与引导指示符合成而显示于单独的显示部340。在所述情况下，显示控制部180例如可使变焦图像显示于未图示的第一显示部，且例如可使包含以正方形表示的变焦位置指示符的引导指示符显示于未图示的第二显示部。[0223]另外，显示控制部180在s123的步骤中，例如可在基于对操作部330的用户操作来选择引导指示符显示的情况下，将变焦图像与引导指示符合成并显示。[0224]另外，显示控制部180例如可在仅基于对操作部330的用户操作来选择变焦图像的变焦倍率(例如，“p×q”倍)时所述变焦倍率例如为规定倍率以上的情况下将变焦图像与引导指示符合成并显示。另外，在所述情况下，在变焦倍率低于规定倍率的情况下，可不在直通图像显示引导指示符。即，可在满足规定的条件的情况下进行通知(在不满足规定的条件的情况下不进行通知)。[0225][实施例的作用、效果][0226]通过本实施例的智能手机10，可获得与所述实施方式相同的作用、效果。[0227]另外，在本实施例的智能手机10中，控制部件(例如，手抖动校正变焦部140)将引导信息(例如，“手抖动校正开启”等声音)声音输出至声音输出装置(例如，声音输出部360)并进行通知，所述引导信息是基于变移(例如，校正向量c)与设定值(例如，手抖动校正条件的规定值“r”)的引导信息，且能够确定在使图像抖动校正有效化的同时能够将切出区域切出的范围(例如，满足手抖动校正条件的范围)。[0228]通过设为此种结构，用户即便在难以目视通知的状况下，也可通过听取引导信息容易地掌握图像抖动校正的状态。[0229]另外，在本实施例的智能手机10中，控制部件(例如，手抖动校正变焦部140)基于变移(例如，校正向量c)与设定值(例如，规定值“r”)来使引导信息(例如，哔声)的声音输出形态变化(例如，时间间隔)。[0230]通过设为此种结构，用户可通过听取引导信息，容易且适当地掌握是否是在使图像抖动校正有效化的同时能够将切出区域切出的范围。[0231]另外，在本实施例的智能手机10中，引导信息包含规定的引导音(例如，哔声与连续音)，控制部件(例如，手抖动校正变焦部140)基于变移的大小(例如，校正向量c的l2范数)与设定值(例如，规定值“r”)的关系使引导音的声音输出形态变化。[0232]通过设为此种结构，用户可通过听取引导信息，更准确地掌握是在使图像抖动校正有效化的同时能够将切出区域切出的范围内的哪个位置状态。结果，用户可一边听取引导音一边对摄像装置的运动进行调整。其结果，可更简易且适当地获取基于用户预期的切出区域而生成的图像。[0233]另外，在本实施例的智能手机10中，更包括设定部件(例如，手抖动校正变焦部140)，所述设定部件能够设定与图像抖动校正(例如，手抖动校正)相关的多个模式(例如，固定模式与追随模式)中的任一模式，校正部件(例如，电子式手抖动校正部150)进行与由设定部件设定的模式相应的图像抖动校正。[0234]通过设为此种结构，校正部件可对基于由摄像装置进行的摄像的图像进行与模式相应的适当的图像抖动校正。[0235]另外，在本实施例的智能手机10中，多个模式至少包含：第一模式(例如，固定模式)，由校正部件(例如，电子式手抖动校正部150)通过第一处理(例如，三轴手抖动校正处理)进行图像抖动校正；以及第二模式(例如，追随模式)，由校正部件通过与第一处理不同的第二处理(例如，单轴手抖动校正处理)进行图像抖动校正、或者校正部件不进行图像抖动校正。[0236]通过设为此种结构，校正部件可在第一模式中通过第一处理对基于由摄像装置进行的摄像的图像进行强力的图像抖动校正，在第二模式中通过与第一处理不同的第二处理进行微弱的图像抖动校正、或者不进行图像抖动校正。[0237]另外，在本实施例的智能手机10中，控制部件(例如，手抖动校正变焦部140)基于伴随摄像装置(例如，摄像部310)的运动的切出区域(例如，校正后切出区域)的变移(例如，校正位置)与决定图像抖动校正有效的范围的设定值(例如，规定值“r”)对通知进行控制，设定部件基于变移与设定值来决定所设定的模式。[0238]通过设为此种结构，可基于变移及设定值一边与通知联动一边适当地决定模式。[0239]另外，在本实施例的智能手机10中，控制部件(例如，手抖动校正变焦部140)进行与由设定部件(例如，手抖动校正变焦部140)设定的模式相应的通知(例如，发出哔声抑或是发出连续音)。[0240]通过设为此种结构，用户可通过通知容易地掌握模式。[0241][变形例][0242]能够应用本发明的实施方式并不限定于所述实施方式。以下，对变形例进行说明。[0243]《不具有预变焦部110时的变形例》[0244]在所述实施方式中，手抖动校正变焦部140接受到将影像传感器图像预先扩大而得的(进行了数字变焦的)预变焦图像作为输入，但并不限定于此。例如，手抖动校正变焦部140也可从摄像部310获取影像传感器图像。[0245]在所述情况下，手抖动校正变焦部140只要将影像传感器图像作为预变焦图像执行各种处理即可。[0246]通过设为此种结构，在获得相同倍率的变焦结果的情况下，与将预变焦图像作为输入的情况相比，可增大手抖动校正条件的规定值“r”。即，能够进行手抖动校正的区域扩展，从而可提高手抖动校正的性能。[0247]另外，由于图像的切出与超分辨处理进行一次即可，因此可避免变焦图像的劣化。[0248]但是，若将影像传感器图像直接输入至手抖动校正变焦部140，则变焦切出区域有可能大幅远离影像传感器图像的中心部，摄像部310的操作者有可能难以将变焦图像调整为预期的构图。另外，在根据输入至手抖动校正变焦部140的影像传感器图像群推测惯性信息的情况下，由于输入更广范围的图像，因此平面近似变得更困难，惯性信息的推测精度也有可能下降。因此，特别是在欲将影像传感器图像扩大到高倍率(例如，“4倍以上”的倍率)的情况下，也可认为理想的是接受将影像传感器图像预先扩大而得的(进行了数字变焦的)预变焦图像作为输入。[0249]此外，在将手抖动校正变焦部140中的变焦倍率设定为等倍(其中，变焦图像比影像传感器图像小一圈)，并将影像传感器图像作为输入的情况下，引导指示符也可用作指示对影像传感器图像应用电子式手抖动校正时的裁剪位置的指示符。[0250]《校正后切出区域脱离预变焦图像时的变形例》[0251]在所述实施方式中，将手抖动校正条件的规定值“r”设定为校正后切出区域不脱离预变焦图像，但并不限定于此。例如，也可将手抖动校正条件的规定值“r”设定为校正后切出区域的一部分超出至预变焦图像的外部。[0252]在所述情况下，对于超出至外部的校正后切出区域，例如只要再次通过预变焦部110从影像传感器图像中变更预切出区域而生成第二预变焦图像，并将第二预变焦图像作为输入从校正后切出区域中进行裁剪即可。[0253]此外，例如也可通过根据日本专利第6682559号中公开的手抖动校正的方法等，在手抖动校正变焦部140中追加图像生成部，并生成与超出至外部的校正后切出区域对应的区域的图像来进行手抖动校正处理。[0254]《关于变焦位置指示符的变形例1》[0255]在所述实施方式中，以黑色的正方形来表示变焦位置指示符，但并不限定于此。例如，也可将表示手抖动校正的状态的图标配置于变焦位置指示符内。[0256]图11是表示图4(a)～图5(c)所示的引导指示符的另一例的图。[0257]在与图4(a)对应的图11(a)中，变焦位置指示符例如成为由字符“0n”表示的正方形的图标。所述变焦位置指示符以字符“on”明确地表示手抖动校正有效。[0258]在与图5(b)对应的图11(b)中，基于变焦位置指示符比图11(a)更接近外缘的情况，图标内的字符“on”比图11(a)淡。[0259]在与图5(c)对应的图11(c)中，手抖动校正被切换为无效，因此变焦位置指示符例如成为以字符“off”表示的正方形的图标。[0260]此外，除此之外，例如也可使变焦位置指示符的字符“on”闪烁，例如也可随着越接近引导指示符外缘而越缩短闪烁的间隔。[0261]另外，也可将字符“on”或字符“off”配置于引导指示符外缘的外侧进行显示。[0262]另外，变焦位置指示符的形状并不限定于正方形。变焦位置指示符的形状例如可为圆形或三角形，也可设为以引导指示符的中心为起点的箭头。[0263]另外，可使变焦位置指示符的显示色随着远离引导指示符的外缘中心而变化。例如，可在中心附近将变焦位置指示符的显示色设为“蓝色”，随着接近外缘而接近“红色”。[0264]另外，也可在手抖动校正有效的情况与无效的情况下，变更引导指示符外缘的显示色。[0265]在本变形例中的图像处理装置(例如，图像处理装置1)中，控制部件(例如，显示控制部180)基于变移(例如，校正向量c)与设定值(例如，手抖动校正条件的规定值“r”)，使辅助信息(例如，引导指示符)的显示形态变化。[0266]据此，用户可通过确认辅助信息的显示形态，更容易地掌握图像抖动校正是否有效。[0267]另外，在本变形例中，控制部件(例如，显示控制部180)基于变移的大小(例如，校正向量c的大小)与设定值(例如，规定值“r”)的关系，使指示符(例如，变焦位置指示符)的显示形态变化。[0268]据此，用户通过确认指示符的显示形态，即便不确认辅助信息的外缘与指示符的关系性，也可容易且适当地掌握与至使图像抖动校正有效化的范围外的摄像装置的运动相关的容许程度。[0269]《关于变焦位置指示符的变形例2》[0270]在所述实施方式中，变焦位置指示符配置于校正向量c的终点，但并不限定于此。例如，也可将变焦位置指示符相对于引导指示符的外缘中心而配置于与校正向量c的终点呈点对称的位置。[0271]图12是在所述情况下，将变焦位置指示符设为箭头时的图7的另一例。[0272]对于作为各转变状态下的直通图像的图12(b)～图12(c)内的各变焦图像，例如与图7(b)～图7(c)相同。[0273]在图12(b)的引导指示符中，图7(b)的变焦位置指示符配置于靠近中央的左下侧，相对于此，利用以外缘的中心为起点且终点向靠近中央的右上侧延伸的箭头表示变焦位置指示符。其他转变状态也同样如此。[0274]由于所述箭头的朝向与摄像部310的朝向的变化(照相机移动方向)一致，因此摄像部310的操作者可更直观地掌握手抖动校正的状态。[0275]另外，在图12(b″)与图12(c)中，基于变焦位置指示符的前端与外缘相接且手抖动校正被无效化，箭头例如以从中心朝向外缘流动的方式闪烁。[0276]根据所述动画效果，摄像部310的操作者可容易地掌握是沿箭头流动的方向对从全景中作为变焦图像捕捉的摄影对象进行变更的中途。[0277]《关于引导指示符的变形例》[0278]在所述实施方式中，将引导指示符的外缘设为圆形，但并不限定于此。例如，也可将外缘设为矩形。[0279]在所述情况下，例如，在引导指示符中，将纵横比与预变焦图像相同的短径区域描绘为外缘。然后，只要不相对于预变焦图像的纵横比将校正向量c归一化而使用即可。[0280]此外，也可不在直通图像中的一部分(例如，左上方)集中描绘引导指示符。例如，可在直通图像的四边/四角，根据校正向量c的朝向例如显示八个方向的变焦位置指示符，根据校正向量c的大小来改变变焦位置指示符的浓度或颜色。[0281]图13中示出所述情况下的直通图像的转变例。对于作为各转变状态下的直通图像的图13(b)～图13(b″)内的各变焦图像，例如与图7(b)～图7(b″)相同。[0282]在图13(b)中，由于校正向量c的大小小，因此未在直通图像的四角显示变焦位置指示符。[0283]在图13(b′)中，随着校正向量c的大小变大，在作为与校正向量c的朝向对称的角的直通图像的左上显示有l字型的指示符。[0284]校正向量c的大小例如相对于校正条件的规定值“r”而为“r/2”左右，因此，l字型的指示符例如以灰色显示。[0285]在图13(b″)中，基于校正向量c的大小为规定值“r”以上的情况下，l字型的指示符例如以黑色显示。另外，为了更强烈地通知手抖动校正无效，l字型的指示符闪烁。[0286]此外，在仅在直通图像的四角显示指示符的情况下，例如可显示左上与左下的指示符来作为与照相机向左的移动对应的指示符。[0287]另外，在仅在直通图像的四边显示指示符的情况下，例如可显示左边与上边的指示符来作为与照相机向左上的移动对应的指示符。[0288]另外，也可将实施例中的手抖动校正的模式例如作为文字信息(例如，“固定模式”)合成到直通图像中。在所述情况下，例如，可在固定模式下校正向量c的大小越大则使字符信息越快闪烁，在追随模式下使字符信息持续点亮。在合成字符信息的情况下，可不显示变焦位置指示符。[0289]《通知的形态》[0290]本发明中的通知(与在使由校正部件进行的图像抖动校正有效化的同时能够将切出区域切出的范围相关的通知)的种类、形态并不限定于显示或声音输出。除此之外，例如也可包含振动或发光等。[0291]《图像处理装置的结构》[0292]在本发明中，例如可应用以下任一结构作为图像处理装置1的结构。[0293](1)利用预变焦部130进行数字变焦，并利用手抖动校正变焦部140进一步进行带手抖动校正的数字变焦。[0294](2)利用预变焦部130进行数字变焦，并利用手抖动校正变焦部140仅进行手抖动校正。[0295](3)不使用预变焦部130而利用手抖动校正变焦部140进行带手抖动校正的数字变焦。[0296](4)不使用预变焦部130而在手抖动校正变焦部140中仅进行手抖动校正。[0297]此外，在手抖动校正变焦部140中仅进行手抖动校正的情况下，例如可考虑将手抖动校正变焦倍率设为“1”倍，不进行超分辨率处理部170中的超分辨处理的结构。[0298]《各种装置》[0299]在所述实施例中，例示出将本发明应用于作为图像处理装置、终端、电子装置(电子设备)、信息处理装置的一例的智能手机的情况，但并不限定于此。本发明能够应用于数字望远镜、摄像机、静物照相机、平板终端、智能眼镜等可穿戴终端等各种装置。[0300]《记录介质》[0301]在所述实施方式中，图像处理所涉及的各种程序或数据存储于存储部200，处理部读出这些程序并执行，由此实现所述各实施方式中的图像处理。在所述情况下，各装置的存储部除具有rom或eeprom、闪速存储器、硬盘、ram等内部存储装置以外，也可具有存储卡(安全数字(securedigital)sd卡)或紧凑式闪存(注册商标)卡、记忆棒、usb存储器、可重复录写光盘(compactdisk-rewritable，cd-rw)(光盘)、光磁盘(magnetoptical，mo)等非暂时的有形的记录介质(记录媒体、外部存储装置、存储介质)，可将所述各种程序或数据存储于这些记录介质中。[0302]这些存储介质是计算机能够读取的非暂时的记录介质(存储介质)的一例。[0303]图14是表示所述情况下的记录介质的一例的图。[0304]在所述例子中，在图像处理装置1设置有用于插入存储卡430的卡槽410，且设置有卡读写器(reader/writer，r/w)420，所述卡读写器420用于读取插入至卡槽410中的存储卡430所存储的信息或者向存储卡430写入信息。[0305]卡读写器420根据处理部的控制，进行将记录于未图示的存储部中的程序或数据写入至存储卡430中的动作。构成为，能够通过利用图像处理装置1以外的外部装置读取记录于存储卡430中的程序或数据而在所述外部装置中实现所述实施方式中的图像处理。[0306]此外，所述记录介质也可应用于所述实施例中说明的包括图像处理装置1的终端(智能手机)、图像处理装置、电子装置(电子设备)、信息处理装置等各种装置中。[0307]符号的说明[0308]1：图像处理装置[0309]10：智能手机[0310]110：预变焦部[0311]120：预切出部[0312]130：预超分辨率处理部[0313]140：手抖动校正变焦部[0314]150：电子式手抖动校正部[0315]160：切出部[0316]170：超分辨率处理部[0317]180：显示控制部当前第1页12当前第1页12
技术特征：
1.一种图像处理装置，包括能够进行图像抖动校正的校正部件，且能够输出如下图像，即根据从基于由摄像装置进行的摄像的图像中切出的切出区域而生成的图像，所述图像处理装置包括控制部件，所述控制部件对如下通知进行控制，所述通知与在使由所述校正部件进行的所述图像抖动校正有效化的同时能够将所述切出区域切出的范围相关。2.根据权利要求1所述的图像处理装置，其中所述控制部件基于伴随所述摄像装置的运动的所述切出区域的变移、及决定所述图像抖动校正有效的范围的设定值，对所述通知进行控制。3.根据权利要求2所述的图像处理装置，还包括辅助信息生成部件，所述辅助信息生成部件生成辅助信息，所述辅助信息是基于所述变移与所述设定值的信息、且能够确定在使所述图像抖动校正有效化的同时能够将所述切出区域切出的范围。4.根据权利要求3所述的图像处理装置，其中所述辅助信息生成部件生成所述辅助信息，所述辅助信息至少包含与基于所述变移的规定位置对应的指示符、及在使所述图像抖动校正有效化的同时能够将所述切出区域切出的范围的外缘，所述控制部件使所述辅助信息显示于显示装置并进行所述通知。5.根据权利要求4所述的图像处理装置，其中所述控制部件使所述辅助信息中包含的所述指示符的位置伴随所述规定位置的变化而变化。6.根据权利要求4或5所述的图像处理装置，其中所述控制部件使基于所述切出区域而生成的图像、及所述辅助信息显示于所述显示装置。7.根据权利要求4至6中任一项所述的图像处理装置，其中所述控制部件基于所述变移与所述设定值来使所述辅助信息的显示形态变化。8.根据权利要求7所述的图像处理装置，其中所述控制部件基于所述变移的大小与所述设定值的关系来使所述指示符的显示形态变化。9.根据权利要求2所述的图像处理装置，其中所述控制部件将引导信息声音输出至声音输出装置并进行所述通知，所述引导信息是基于所述变移与所述设定值的引导信息、且能够确定在使所述图像抖动校正有效化的同时能够将所述切出区域切出的范围。10.根据权利要求9所述的图像处理装置，其中所述控制部件基于所述变移与所述设定值来使所述引导信息的声音输出形态变化。11.根据权利要求10所述的图像处理装置，其中所述引导信息包含规定的引导音，所述控制部件基于所述变移的大小与所述设定值的关系来使所述引导音的声音输出形态变化。12.根据权利要求1至11中任一项所述的图像处理装置，还包括设定部件，所述设定部件能够设定与所述图像抖动校正相关的多个模式中的任一模式，
所述校正部件进行与由所述设定部件设定的模式相应的所述图像抖动校正。13.根据权利要求12所述的图像处理装置，其中所述多个模式至少包含：第一模式，由所述校正部件通过第一处理进行所述图像抖动校正；以及第二模式，由所述校正部件通过与所述第一处理不同的第二处理进行所述图像抖动校正、或者所述校正部件不进行所述图像抖动校正。14.根据权利要求12或13所述的图像处理装置，其中所述控制部件基于伴随所述摄像装置的运动的所述切出区域的变移、及决定所述图像抖动校正有效的范围的设定值，对所述通知进行控制，所述设定部件基于所述变移与所述设定值，决定所设定的所述模式。15.根据权利要求12至14中任一项所述的图像处理装置，其中所述控制部件进行与由所述设定部件设定的所述模式相应的所述通知。16.根据权利要求1至15中任一项所述的图像处理装置，其中所述控制部件在变焦摄影时进行所述通知。17.一种控制方法，为图像处理装置的控制方法，所述图像处理装置包括能够进行图像抖动校正的校正部件，且能够输出如下图像，即根据从基于由摄像装置进行的摄像的图像中切出的切出区域而生成的图像，所述图像处理装置的控制方法包含：对如下通知进行控制，所述通知与在使由所述校正部件进行的所述图像抖动校正有效化的同时能够将所述切出区域切出的范围相关。18.一种程序，用于使如下图像处理装置，即包括能够进行图像抖动校正的校正部件，且能够输出根据从基于由摄像装置进行的摄像的图像中切出的切出区域而生成的图像的图像处理装置执行：对如下通知进行控制，所述通知与在使由所述校正部件进行的所述图像抖动校正有效化的同时能够将所述切出区域切出的范围相关。

技术总结
本发明提出一种为了拍摄预期的构图而进行支援的方法。一种图像处理装置，包括能够进行图像抖动校正的校正部件，且能够输出如下图像，即根据从基于由摄像装置进行的摄像的图像中切出的切出区域而生成的图像，所述图像处理装置包括控制部件，所述控制部件对如下通知进行控制，所述通知与在使由校正部件进行的图像抖动校正有效化的同时能够将切出区域切出的范围相关。范围相关。范围相关。


技术研发人员：佐藤真希 平本一博
受保护的技术使用者：株式会社摩如富
技术研发日：2022.01.14
技术公布日：2023/9/23