投稿/爆料
厂商入驻

AR养鸡:谷歌Motion Stills更新升级

论智|2018-02-08 16:24

Motion Stills是谷歌于2016年推出的一款iOS应用程序,当时苹果在iPhone 6S上新加了Live Photos功能,允许拍摄动态图片,但用户使用后却发现自己拍摄的图像抖动频繁,体验极差。于是谷歌针对Live Photos开发这款优化软件,它除了能稳定Live Photos画面,还能把图片格式转换GIF格式,解决了上传社交网站不便的问题,被The Verge和Mashable列为2016年最受欢迎的应用之一。

AR养鸡:谷歌Motion Stills更新升级

Motion Stills使用前&使用后

2017年夏季,谷歌把Motion Stills移植到安卓平台上,除了原有的保持画面稳定功能,他们还加入了快进压制视频、脱网工作等新设计,提供了出色的视频捕捉和观看体验。除此之外,研究人员还进一步改进技术,把自家智能手机Pixel 2中的新动态照片功能也加进了Motion Stills里。

而就在2月6日,谷歌又在官博发布了一则新闻,宣布安卓版的Motion Stills即将加入增强现实(AR)模式。在新的AR模式下,用户只需触摸取景器(手机屏幕)即可在静态或移动的水平表面(如桌子、地板、手)上放置有趣的虚拟3D对象,在动态真实环境中实现与虚拟萌宠的无缝交互。同时,用户还能录制互动视频,把自己的趣味体验以GIF或MP4的格式分享到社交平台上。

AR养鸡:谷歌Motion Stills更新升级

“AR养鸡”:Motion Stills的即时运动跟踪

Motion Stills的AR功能支持即时运动跟踪,该系统基于Motion Text技术和YouTube的“隐私模糊”功能设计,能实现六自由度精确跟踪静态、移动物体。其中Motion Text是iOS版的一个功能,类似电影场景中看到的效果,它允许用户添加文本,并让文字跟着目标物动态移动。

为了做到这一点,研究人员使用了YouTube服务器上的运动跟踪技术。简而言之,就是用机器学习分类前景/背景特征,并对时间上连贯的相机运动进行建模,这时他们有了一份运动元数据。依靠这个元数据,研究人员可将其用作可以跟踪单个对象的算法的输入,同时将其与其他对象区分开来。该算法对每个对象的状态进行建模,包括其在空间中的运动,隐式外观模型以及其质心和范围,如下图所示:

AR养鸡:谷歌Motion Stills更新升级

目标检测及分类

配合手机内置的陀螺仪,用户可以在稳定的画面中获得有趣的AR体验。

而关于它的AR功能,当用户触摸取取景器时,Motion Stills AR会把3D虚拟物体“粘”到该位置,使其看起来像是真实世界场景的一部分。由于智能手机一般都有加速度计,Motion Stills能利用传感器提供的手机相对于地平面的初始方向,跟踪相机的6个自由度(3个用于平移,3个用于旋转)。这使它能够准确地变换和渲染场景中的虚拟物体。

AR养鸡:谷歌Motion Stills更新升级

当手机大致稳定时,加速度计会提供由于地球重力产生的加速度

即时运动跟踪的核心思想是解耦摄像机的平移和旋转估计,将其视为独立的优化问题。由于不同智能手机的相机有不同的焦距,Motion Stills并不能判断距离跟踪平面的真实距离,也就是没有景深。但是它能根据相机的视觉信号确定设备的移动状态,并用针孔照相机模型确定AR虚拟物体的缩放比例和观察角度。

AR养鸡:谷歌Motion Stills更新升级

Motion Stills可以判断物体位于C1还是C2,但它没有景深

如上图所示,研究人员在之前提到的运动跟踪技术中添加了比例估计,并在相机视场外追加了区域追踪。当相机靠近拍摄对象时,虚拟物体能被精确地缩放,这与真实世界的感知一致。而当用户移动视野至原视场外时,虚拟物体将被重新定位,出现在大致相同的位置。

AR养鸡:谷歌Motion Stills更新升级

现在的智能手机都内置陀螺仪,能获得设备3D旋转的相关信息(旋转、俯仰和偏航)。Motion Stills可以与传感器的这个功能相结合,在取景器中翻译真实环境信息,从而正确渲染虚拟物体。而且,由于Motion Stills的旋转和平移是分开处理的,所以它也无需较准,能实现自然追踪。

AR养鸡:谷歌Motion Stills更新升级

AR养鸡

如果你已经厌倦了“蛙儿子”,也许这个春节,用Motion Stills来养点自己喜欢的AR小动物会是不错的选择。

原文地址:research.googleblog.com/2018/02/the-instant-motion-tracking-behind.html

本文来自机器人之家,如若转载,请注明出处:https://www.jqr.com/article/000024
爆料投稿,欢迎投递至邮箱:service@jqr.com
机器学习谷歌AR
推荐阅读

最新评论(0

暂无回帖,快来抢沙发吧

评论

游客
robot
发布需求
联系客服联系客服
robot
联系客服