• 首页 > 新兴 > AR/VR>正文
  • 从Spilly谈社交AR应用的技术实现原理

  • 责任编辑:kasa11 来源: 映维网 2018-01-18 10:22:23
  •   2014年,一家名为Looksery的乌克兰初创公司利用这项技术为消费者创建了一个数字化妆自拍应用程序,而该应用程序的下载量超过了一百万次。Snapchat发现了潜在的巨大市场,并且斥资收购了Looksery。6个月后,这为Snapchat带来了现在十分知名的“Lens”产品。在另一边厢,Facebook感觉到竞争对手的危险,他们在这之后的第二年收购了MSQRD应用程序背后的团队。“自拍AR”这种以人为核心的计算机视觉突然在世界范围内引起了轰动,成为了两大社交媒体巨头之间斗争的关键武器。

      在2017年,苹果和Snapchat都第一次推出了基于SLAM技术的ARKit和World Lenses(允许设备在平面上置放数字对象),而Facebook则为市场带来了AR Studio(允许开发者创建自己的AR滤镜)。然而,有消息称相关的努力尚未成为用户之间极速蹿红。

      那么接下来是什么呢?对我们来说,这是新型社交AR的兴起。社交AR不仅能够作为自拍AR阶段和眼镜AR之间的桥梁,而其潜在相关的技术有可能成为未来的关键组成部分。要做到这一点,我们需要开发一个神经网络,在所有配置中(不仅只是自拍)实时检测和追踪人像。然而,这向我们提出了一系列的挑战。

      对于利用前置摄像头实现的自拍AR追踪,其基本上是识别和追踪人像时的一个特殊情况。从前置摄像头转移到后置摄像头,我们将有可能遇上其他情况,如:

      对象更有可能偏离相对于摄像头的中心位置。

      他们可以出现在不同的距离,或以不同的大小呈现。

      他们往往不是面向摄像头,所以我们不能只是寻找人脸,而是要寻找头部,头发,帽子和各种相关特征。

      视图中经常出现多个人像。

      为了实现我们的技术,以上是我们需要克服的事项。那么,技术的工作原理到底是什么呢?下面我们将其分解成4个部分:

      1. 多个头部与身体的检测

      我们的技术能够实时检测多个头部与身体。在提供用户的摄像头图像后,应用程序可以识别图像中显示头部及其相应身体的区域。

      这能够做什么呢?这允许我们根据头部大小来估计人像的距离。对于身体,我们可以锚定人像运动的任何视觉信息。

      2. 场景/视图中的持续性个人追踪

      为了追踪场景中人像的动作与特征,我们根据多个帧来比较多个头部和身体的信息。这样,即使他们是被其他人包围,即使他们离开摄像头视图后又重新进入,我们也能够将视觉信息固定在特定的人像身上。

      3. 单独背景与全身细分

      对于每个目标追踪人像,我们会进一步分类属于面部,皮肤,头发,衣服和背景的像素。就这样,我们能够清晰地分离开一系列不同的图层,然后我们可以将其用于AR效果的高级混合。如果不是这样,设备只能通过光场或深度感知技术实现,而这对当前的智能手机而言并不实际。

      4.编辑器

      我们专门培训了我们的神经网络,令其产生任何设计师都可以轻松进行交互和操作的图层。由于网络基于简单的数学计算,因此我们很容易在桌面和移动设备上以相同的质量实现。这使得设计人员能够使用我们的自定义编辑器来快速迭代和设计面向Spilly应用程序的视觉效果。

      以上是具体的工作原理,下面让我们看看技术的部分用例:

      我们开发的三款社交AR应用程序:鼓励人们聚在一起,扮演自己喜欢的明星,来回作弄对方等等。

      游戏体验:人们现在可以成为游戏中的可定位和可操作的角色。

      时尚应用:将衣服/滤镜应用至用户身上,不仅有趣,而且你可以进行虚拟“试穿”和购买。

      把你自己放入第三方内容:借助我们的全图细分技术,用户可以将头部置放于任意视频中的人像身上,从而完成“头部移植手术”。不知道你想不想成为最爱电影中的主角呢?

      潜在的用例很有很多。在眼镜AR时代,人们很可能成为一系列相互作用的情境触发器,如室内生活情景(如特定于某人的提醒,比方说提醒丈夫做早餐),个人细节,或者说更丰富的游戏体验。接下来,我们可能会看到涉及商业交易的户外交互(如“分类广告网站”项目的个人付款),以及视觉增强,你可以期待Tumblr和Pinterest(皆为图片分享应用)背后的相同动机扩展到你个人身上。

      简而言之,人管理着这个由技术驱动的世界,而这种以人为中心的视觉技术进步只会进一步将人与技术联系在一起。我们正在走向这么一个未来:以智能手机为基础的商业,娱乐和自我表达将从屏幕束缚中解放出来,数字世界将直接集成至我们面前的世界。我们需要谨慎行事,但这个潜在未来的价值已经清晰可见。


    温馨提示:科技狗对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。 本网站转载图片、文字之类版权申明,本网站无法鉴别所上传图片或文字的知识版权,如果侵犯,请及时通知我们,本网站将在第一时间及时删除:[email protected]

    延伸阅读:

  • 暴风参与设立新文化公司 欲借文化旅游推VR变
  • 站在风口上的猪:VR虚拟现实细微的改变
  • VR拿来干什么?这五大领域千万别错过
  • 用这款化妆镜一照 你就知道化妆品适合不适合
  • 全球VR企业数量激增 触觉反馈成开发趋势
  • Facebook押注VR 计划10年内投资30亿美元
  • MIT成立创业加速器Play Labs 首批申请面向AR/
  • 2017年10大VR/AR的发展趋势和机遇
  • 强强联合《僵死之日》携两家厂商推出八五折优惠捆
  • 苹果代工厂广达新突破 AR眼镜有望出平价版
  • 仅支持Vive!《收获日2 VR》测试版公测中
  • VR冒险游戏《Chronos》将支持Oculus手柄
  • 三个月腰斩 Steam平台VR活跃用户持续撤退
  • 美国家居巨头Williams-Sonoma收购AR初创公司
  • Oculus Rubin称Santa Cruz是一体机的Rift
  • Steam VR游戏15日将支持微软混合现实头显
  • 主编推荐 ...
  • 经济下行期 福田图雅诺缘何逆势上涨

  • 刷遍全球顶尖榜单,三星8K电视成大奖收割机...

  • 高效能轻卡铃动南京 庆铃五十铃M系列中体轻卡焕新来袭...

  • 今日焦点
    滚动新闻 ...
    新闻排行 ...
    关于我们 | 科技狗简介 | 法律声明 | 广告刊例 | 联系我们
    科技狗     E-mail: [email protected]  律师团队:北京正大律师事务所  联系QQ:2648723807
    (C)版权所有 深圳市思敏网络信息有限公司     粤ICP备18106633号