超用户预期?AR+多屏协同的技术与体验

「 3块屏幕的故事,新技术带来新体验 」

- 多屏协同趋势

微软Your Phone、戴尔Dell Mobile Connect,华为Huawei Share 和联想Lenovo one 等,将手机投射到 PC 的方式似乎成了一种趋势,但这些体验屏幕之间的交流是“虚拟”的。技术上可以通过在电脑上部署服务,通过wifi实现连接。

超用户预期?AR+多屏协同的技术与体验

- AR跨屏体验

多屏协同已是趋势,那么,有什么技术是跟跨屏相关的呢?

——AR增强现实

adobe的这一款应用,老师在电脑上标注,学生通过手机AR查看书籍上的标注,实现了不同屏幕、不同用户角色的互动。

超用户预期?AR+多屏协同的技术与体验

- AR超乎用户预期的体验

如下图所示,一款由Cyril Diagne(艺术家/设计师/程序员)所开发的可“克隆万物”的demo,最近走红网络。

超用户预期?AR+多屏协同的技术与体验

一部手机,基本只靠对准镜头,然后移动,即可完成以往至少需要5个步骤才能完成的工作:

手机拍照、传输至电脑、抠图、复制粘贴、调整位置

再一次验证了一项新技术的本质是由各种以往的小技术所重组而成新技术带来了新体验,AR作为连接虚拟与现实的桥梁,实现了屏幕之间的“物理交流”,体验由此超越用户预期。

- 技术

作者的实现稍显复杂:

手机端选取了react native来实现拍照、叠加图像的功能:

超用户预期?AR+多屏协同的技术与体验

电脑端通过python封装了BASNet,用于实现抠图:

超用户预期?AR+多屏协同的技术与体验

手机图像与电脑图像的对应关系则采用opencv里封装好的SIFT来实现:

超用户预期?AR+多屏协同的技术与体验

那么有没有其他实现方案呢?毕竟这只是个demo,距离工程化还需要点时间。


跨屏+AR=?

手机跟电脑有各自适用的场景,而AR可以引入现实空间,相当于有了3块屏幕,互相之间会碰撞出什么火花?需要我们不断地探索。

超用户预期?AR+多屏协同的技术与体验

我在知识星球里记录了不少关于AR的案例、经验、思考。欢迎跟我交流

上一篇:实验六 进程基础


下一篇:2020年专业承接AR面部识别外包 Unity3D外包 AR肢体外包 语音识别外包 ,远程VR、AR课件外包 UE4外包