陀螺仪加速度计构建5轴光学防抖技术
涂仲轩
生成PDF 清样下载 引用

复制成功

导出题录

参考文献( GB/T 7714-2015 ) 复制

涂仲轩,. 陀螺仪加速度计构建5轴光学防抖技术[J]. 光电子进展,202311. DOI:10.12721/ccn.2023.160489.
摘要: 光学防抖OIS(Optical Image Stabilization)技术是一种普遍使用在各种类型相机上的辅助技术, 其旨在极大程度的消除由于手部抖动而造成的图像运动模糊。 本文研究了光学防抖技术的原理,画面偏移量的来源,计算方式以及评估方式。 从而进一步阐明如何利用MEMS 陀螺仪和加速度计计算补偿,而实现5轴 OIS防抖方案。
关键词: MEMS;陀螺仪;加速度计;光学稳像;IMU;5轴
DOI:10.12721/ccn.2023.160489
基金资助:


引言

用影像留住时光瞬间,记录生活美好,是相机诞生的初衷。在科技发展的时代,摄影摄像技术也快速地更迭。从摄影诞生伊始对操作者有较高的技术要求,“手稳”是从业者的“基本素养”,到现如今人人拿起就拍,用影像记录已经是大多数人的选择。近几十年,随着对成片质量以及对操作便捷性的高要求,器材成像的技术要求日趋严苛,防抖,便是一直以来各器材厂商争相逾越的门槛。

历史上,首先提出“光学防抖”概念的是尼康公司,而第一台真正意义的光学防抖相机,则由佳能实现,这是基于陀螺仪的2轴防抖功能,具有划时代意义。很快,这股风潮席卷数码产品届,防抖技术也随之不断更新,从“镜头防抖”向“光学图像防抖”迈进,从“2轴防抖”向“5轴防抖”更新。(相关数据引用自《主流光学防抖技术简析》。)

近10年以来,光学图像防抖技术被国内各大头部手机厂商广泛应用与各种手持设备。多数采用了镜头防抖技术,IPhone 自从12起实现了3轴防抖,影像成片质量大幅提升。 自2015年起, 奥林帕斯,更是将 OIS 防抖技术,从3轴提升到了5轴防抖,其后,苹果公司率先在iPhone13使用,至此,5轴防抖技术成为主流厂商的研究方向,也称为未来各大手机厂商旗舰机决胜千里的重要因素之一。

基于陀螺仪的光学防抖原理

在手持设备拍摄时,手部的抖动会造成景物在影像传感器上投影的位移。 如图1,这里我们假设的抖动往往是倾斜角动。如果此时曝光时间较长的话(往往在暗光情况下曝光时间会加长,从而增加进光量以得到高信噪比的清晰图片),则在曝光过程中,景物的影像将从A点连续移动至B点,如此在拍摄的影像上造成的直接影响就如下图,呈现拖影现象,我们称之为运动模糊3。

30.png图1 角动模型 和 运动模糊样张

Fig.1 Tilting Module and Motion Blur Sample

31.png图2 镜头平移消除运动模糊

Fig 2. Lens Shift to compensate Motion Blur

如今,镜头防抖在手机模组或相机中广为使用, 如图3,整个系统以“惯性传感器MEMS陀螺仪”这一角速度仪作为输入信号处理,实时计算通过滤波消除陀螺仪的零漂,积分获得每个单轴上的便宜角度θ,在经过策略性的边界优化,从而获得最终需要补偿的位移量发送给控制音圈马达(VCM)的伺服控制驱动器,实时推拉镜头相应的平移量以抵消运动模糊的模糊趋势,在整个防抖的过程中,始终保持物像停留在影像传感器上相对固定的位置,从而达到图片或者录像过程中防止运动模糊的效果。以下是2~3轴光学防抖的模型。

32.png图3 基于陀螺仪的光学防抖流程图

Fig 3. GYRO based OIS Block Diagram

具体在OIS 领域中如何调整平移光轴的方法,还有几大分类:

平面内推动镜头模组中的单个镜片以达到调整光轴的作用。这往往适用于单反相机的相机镜头(如图4)。因为镜头总质量较大,故只设计平行推动多镜片组中的单个移轴镜(下图中的VR Lens)。就可以实现Pitch 和 Yaw双轴的防抖技术。

33.png图4. 尼康相机移轴镜式OIS(二)

Fig 4. Nikon, shifting a lens

平面内推动整个镜头模组以实现调整光轴的目的。 这往往适合手机这种手持设备(如图5),虽然同样有多组镜片,但因为总质量极小且每片lens尺寸也极小,所以往往不作区分的进行跟个镜头模组的平行移动,以达到调整光轴的目的。这种模式下还有更多的细分,如无HALL反馈的开环控制方式,以及有HALL 反馈的闭环控制方式。

34.png图 5. 移动设备OIS 相机模组机构示意图(一)

Fig 5. Mobile Camera OIS Module Stack

平面内推动相机的影像传感器以实现相对光轴的调整。这同样多用于单反相机(如图6(1)),这附加的好处是,这种技术在原理上除了可以在Pitch 和 Yaw 轴上防抖, 还额外使得在Roll 轴上的防抖也成为现实。现阶段这种技术甚至开始下沉至手机等小型移动设备上(如图6(2)), 如IPHONE 自12起便开始采用这种技术,真正实现了手机上的3轴OIS 防抖。

35.png图 6. 单反以及IPhone 上的三轴防抖 OIS 防抖

Fig 6. 3 Axis OIS on DC and IPhone

基于MEMS加速度计与陀螺仪的5轴光学防抖

前面我们所描述的造成运动模糊的因素主要是针对抖动中的倾斜角动分量。实际上在使用中,除了角动还有平动分量的存在,他同样会使得成像在影像传感器上直接产生平移的效果,从而同样造成运动模糊。如图7,假设物36.png图 7. 平动模型

Fig 7. Camera Lens Shift Module

可以看出,此处运动模糊的大小正比于相机平移量,反比与物距。这意味着当物距足够大时(如10米以上)一般平移造成的运动模糊是可以忽略不计的。相反当拍摄者在近距离拍摄一个景物时,这种情况就不能忽略不计了。此处举例,假设物距1米,在曝光时间内的相机平移量为5mm, 焦距同样4.2mm, 则

37.png况下,可以直接反推出此时拍摄者所关注的物体离相机的物距是多少,或者也可以通过查表法简单获得。

然而关于相机的平移量,无法通过任何可植入相机的单一传感器直接获得(通过空间的辅助定位当然可以获得,但是代价太大且不实用)。如图8,本文所使用的方法是通过相机内的惯性传感器,如MEMS加速度与陀螺仪先行融合计算出该相机的实时姿态,然后根据姿态分解出相机在自身坐标系内各个轴向上的线性加速度,后对针对该线性加速度的信号进一步经过两次积分两次滤波从而获得其平移量。具体做法如下图,

38.png加速度计的三轴读数,是重力和外作用力的矢量和。其中的重力方向,我们需要用其来计算当前相机的绝对姿态,而外作用力对此目标毫无帮助。同时在相机运动时,加速度计对外力非常敏感,如任何推拉力能产生额外的加速度a=F/m,任何转动会产生a=ω2r 的惯性离心力,都会表达在加速度计的读数中,甚至在自由落体期间由于物体处于失重状态亦无法获得重力方向。相反只有在相对静止的状态下,加速度计的三轴读数(此时主要是重力矢量)才能用来表达相机的当前姿态,并且其可靠性随着相机的静止程度增加而增加。

然而陀螺仪在相机相对静止时,因为有温漂的原因,其积分获得的姿态往往会存在不可避免的慢速漂移的现象。反之在动态的情况下,陀螺仪的设计使得其完全不收任何外力影响(包括推力,离心力,惯性力等等),其通过积分所得的相机姿态在不考虑温漂的前提下极其精准。顾在此处,我们采用了互补滤波融合两种各有长处的姿态。

根据原理,因为四元素Q表达物体当前的姿态,在前式中两个候选人Qω和Qa都可以表达当前相机的姿态,Qω是由陀螺积分而来, 故将其微分必然获得相机在ΔT过程中旋转的三轴角度,既陀螺仪此时的三轴读数(角速度)分别乘以ΔT。 与此同时虽然Qa是由加速度计表达的,但是因为其和Qω表达的都是相机的姿态,且在绝对静止的时候Qa 极其准确,所以将其微分,在静止时候同样应该获得相机在ΔT过程中旋转的三轴角度,既陀螺仪此时的三轴读数(角速度)分别乘以ΔT。 所以我们此处通过这一规律,通过观察陀螺仪汇报的旋转角以及由Qa微分获得的旋转角来融合 Qω和Qa。如果两者在一定范围内相似度较高,则增加α,不然减小α。

39.png至此我们获得了前面描述的线性加速度,其后将加速度一次积分获得速度,再一次积分获得三轴平动位移,由于前序计算中带来的种种误差将会体现在线性加速度以及线性平动位移中,为了防止并解决积分中带来的累计误差,我们使用两次截止频率在0.5Hz 的巴特沃斯高通滤波器,来获得最终有效的平动位移量。 此处的高通滤波器虽然会滤去低频的运动位移,但是可以理解在OIS应用中,特别是在OIS的防抖幅度一般只有±1度的前提下,高频运动产生的模糊才是我们最需要关心的频段。

如图9,是本文描述的5轴防抖框架图,除了陀螺仪外,前置添加了加速度计作为输入(加速度计在多数手持式电子设备中非常普遍), 中间融合了普通的3轴角动以及2轴的平移补偿, 后部共享相同的边界优化逻辑,联合伺服控制器以及OIS光轴平移系统,并未增加额外硬件成本。

40.png图 9. 基于加速度计与陀螺仪的5轴光学防抖模块框架图

Fig 9. Accelerometer and Gyroscope based 5axis OIS block diagram

实验与结论

在本文的实验验证过程中,有机会选择了手机OIS厂商合作,得以将以上的算法模型应用到手机OIS模组中, 在测试中我们模拟了在暗光条件下(曝光时间大于100ms)拍摄近景(小于1m)的场景。 测试时手握相机,手臂围绕肩部做呼吸性的起伏。此时在相机坐标系内既会有平动位移又有角动旋转,都会对图像造成运动模糊。可以明显的看到图10 (1)中无OIS 场景的运动模糊最为强烈,而(2)中基于角动补偿的OIS 成功的消除了大部分的运动模糊, (3)中基于陀螺与加速度计的OIS则将残余的由平动位移造成的运动模糊也完全消除了,实现了清晰画质。  

41.png图10 实验结果

Fig 11 Test Samples

5轴防抖技术的应用,正逐渐成为各大手机厂商旗舰机型的“标配”,它的存在,不仅仅是手机厂商的一句高亮广告语,而是切实缩小了手机摄影与专业器材摄影间“鸿沟”,人们记录生活,不再受客观条件限制,随手一拍,轻松便捷,触手可得,是科技变革给人们带来的最切身的感受!

参考文献

Fabrizio La Rosa, Optical Image Stabilization (OIS), STMicroelectronics 2015

David Sachs,Image Stabilization Technology Overview,Invensense 2006

解官宝,光学防抖对提高相机成像清晰度的影响分析[J],中国科学院 2012,33(2) 278-283

周红平, 数码单反相机CCD 机械防抖技术及实现[J], 中山大学岭南(大学)学院,中国新技术新产品, 2009,No 19 ,16-17

岑裕庭, 相机防抖技术浅析[J], 国家知识产权局专利局专利审查协作广东中心光电部, 计算机与信息技术2016 年6月第6期(总第211 期),77-78

向玮, 种防抖最有效光学防抖技术分析及效果比较[N],《人像摄影》2010年 第4期

作者简介:涂仲轩,籍贯江西,学历硕士,单位:北京小米移动软件有限公司。职位:算法工程师,单位地址:上海市静安区南京西路1788号9楼,邮编:200040  邮箱:tuzhognxuan@hotmail.com