AR 3D Map地图技术

2023-09-27 10:06:10

AR 3D Map地图技术

工业AR的创业相对于消费级AR的创业难很多，这里有一个市场的天然门槛和壁垒，对工业场景不理解，就做不出符合工业场景的AR产品。

人才壁垒

工业AR创业对创始人和联合创始人的要求非常高，不仅要熟悉AR，更要深刻理解工业场景，两者均衡结合才能做出符合工业逻辑的AR产品或解决方案。

第一、要有深刻理解工业场景的人才，对于创业公司并且必须是创始人，工业场景的理解不是一朝一夕，至少要沉淀五年以上；
第二、创始团队一定要有AR智能硬件专家、算法专家和营销专家的铁三角组成，缺一角都会不稳，并且都要求你要懂工业，这是基础。懂工业场景加上智能眼镜专家、AR算法专家、营销专家，才能做出符合工业场景的产品，发现痛点解决痛点。

工业AR创业，对AR和工业的从工业经验和深刻理解一个都不能少。不仅要有工具性产品思维和研发的高人，更要有深度理解用户场景和痛点的高人，不仅要理解更要能主动发现。只有这样我们才能做出与场景深度融合的产品。

技术壁垒

AR本身就有很高的技术壁垒，再加上一个很高的工业场景的壁垒，这两个壁垒的融合共同构建了工业AR的深沟高墙。工业级的AR眼镜和算法与消费级的AR眼镜和算法如同PC时代的工业计算机和个人计算机，同样都是计算机，但是产品的设计理念、逻辑和应用场景却完全不同。

要做出与工业场景深度融合的AR产品，就需要有深刻理解工业场景的创始人。市场、人才、技术这三个壁垒环环相扣。市场天然的壁垒，如果你不懂工业你就做不出符合工业场景的产品，有了这样的人才就能做出来，做出来后那技术上有什么壁垒呢？

第一：产品定位

国内有很多的AR公司，不懂广告的做AR+营销，不懂多媒体展厅设计的做AR+展览展示，不懂工业的做AR+工业，不懂医疗的做AR+医疗，还有一些公司做全行业的，从toC的AR+游戏、娱乐到toB端的AR+营销、展览展示、旅游、工业、医疗、培训等全部都想做，对客户场景不理解，就做不出与场景深度结合的产品，这有点像十几年前诺基亚手机里的那款贪食蛇游戏，最终因为贪食而死。

第二、工业级算法

在工业当中仅仅是有AR这个功能是不够，工业和消费是完全不同的两套产品逻辑。例如汽车有上万个个零部件，要把所有的数据导入开发包中。

其实不止工业AR，工业VR现在也面临着诸多问题，但是好在有国机众智网突破难关，为工业行业提供一站式工业VR解决方案。

AR算法的核心技术：识别追踪

AR算法有很多不同种类，其中目前在手机端使用的最重要的就是识别和追踪。基本上，所有在手机APP上宣称的AR功能都离不开此技术。

AR识别追踪的流程

AR识别追踪，根据所需识别的图像内容，大致分为两个技术流派：MarkerbasedAR以及MarkerLessAR。Marker识别是使用一个较简单的标识，通常是正方形并且四边都清晰可辨。这类识别算法相对简单，通常用模板匹配算法解决，效果也不错，此方面经典实现可以参考早期ARToolKit引擎的Marker识别流程。

用更复杂的图像来代替Marker，简单的识别技术已经不适应现有需求。于是就出现了更复杂更通用的MarkerLessAR的识别，下面主要说的就是这种技术。

MarkerLessAR的识别追踪主要分为特征点检测、图片识别和追踪（姿态估计）三个步骤。图片识别的过程又分为特征点匹配和图片相似度度量两步。

特征检测

图像局部特征检测作为计算机视觉领域的热点内容，这十几年里研究进展不断。考察此技术的大致发展历史，是从简单的角点特征提取一直到尺度不变、旋转不变的特征提取算法。图像的角点特征是最容易被检测出来的，但是，在不同尺度不同大小分辨率的图像上会不稳定，如在小图片中找到的角点不一定在同一张图片的小尺寸图片上检测得出来。

图片发生旋转后特征区域的角度发生变化，造成了检测不出原图对应的特征点。一个经典的尺度不变特征检测（SIFT）算法，通过引入尺度不变性和旋转不变性，解决了以上两个问题。

SIFT算法之经典，不仅在于它已经写成了教科书的经典段落，每个学图像处理或计算机视觉的人都会去完整的经历一遍它的原理；更在于这十几年里不断涌现的新的特征检测算法，都可能或多或少的借鉴了它的整体框架和思路。

华为AR地图实现厘米级3D地图，1:1 还原真实世界

"河出图，洛出书，圣人则之"

4月8日，华为正式发布了P40系列国行版，与此同时，华为还正式推出了基于华为“河图”（Cyberverse）技术的华为AR地图。河图最早是2019年华为开发者大会上发布的一项技术，一个地球级别的虚拟现实融合技术。现在华为AR地图已经正式上架华为应用市场，这是华为构建软件生态的重要一步。华为AR地图支持P40系列机型。

厘米级 3D 地图 1：1还原真实世界

华为 AR 地图基于华为河图技术开发，可实现厘米级 3D 地图 1:1 还原真实世界，高精度空间计算；AI 3D物体识别，官方称华为AR地图实现了每平方公里40亿三维信息点；虚实光影追踪等能力。

华为AR地图能实现以下应用方向：

AR实景导航：抬起手机就能识别出当前位置，确定目标点，发起导航后，可以直观的在实时图像上呈现导航指引。全息信息展示：用户环视周围世界时，会看到各类信息标牌，点击可以获取更详细的介绍。（也就是导览功能）虚实融合的拍照：用户在真实空间中发现穿越自河图世界的飞天仙女或神兽，可拍摄照片或视频，甚至与虚拟角色合影。丰富多彩的虚拟活动：在虚实融合的世界中，用户可以参与精彩的虚拟活动，飞天等敦煌的形象。

目前，华为 AR 地图已与敦煌莫高窟进行了尝试合作，通过华为河图技术实现高精度虚实结合，发布会上华为还邀请了敦煌研究院院长赵声良，帮助讲解华为 AR 技术跟中国古代文化的结合。

AR地图

百闻不如一见，看看华为AR地图到底是什么样子。00:47

在室内，通过高精度空间计算，可实时比对上亿图像信息。

有AI 3D物体识别（毫米级精确融合3D影像）

虚实光影追踪（真实与虚拟世界无缝融合）等功能，让文化“活”起来。

华为AR地图与敦煌莫高窟进行合作，通过实景导引、信息标牌和AI讲解的全新导览方式。

让游客在游览莫高窟时感受到真实的引导体验，使参观过程更为方便直观。

华为AR地图的强大功能还包括全新虚拟体验。

就拿参观具体洞窟，观众在洞窟外就能看到洞窟内详细的壁画样貌，既减少了观众进洞窟花费的时间，可以对文物起到保护作用，还能让观众感受到平时由于各种原因不会对游客开放的景点区域，引用敦煌研究院院长的原话，“达到了文物保护与开放利用的平衡”。

除了敦煌莫高窟之外，华为AR地图目前还支持上海南京路外滩观光商业区。一起跟随华为Fellow Cyberverse总工程师、Camera总工程师罗巍Cyberverse体验一下河图世界在外滩的呈现。

腾讯发布AR导航技术，2020年9月10日，腾讯智慧出行发布了AR导航、TIME生态计划、腾讯出行学院等多项内容。其中新增发布的AR导航是腾讯车联网功能的一部分。腾讯生态车联网TAI3.0于今年6月发布。此次全新发布的AR导航采用了车道级精准定位技术，让导航指引标识更加逼真、更贴合用户实际需求。这意味着驾驶员不需要思考和反应，凭直觉即可根据导航指引作出正确决策，大大降低了车主的反应成本。目前，腾讯小场景开放平台已经与哔哩哔哩、贝瓦儿歌、团油、同程艺龙、喜马拉雅、快递100等生态合作伙伴打造了70多个精品小场景，或将在宝马、长城汽车、广汽、长安汽车、玛莎拉蒂、江铃福特等品牌的40余款新车上搭载。

百度AWE Nite 2021 XR领域交流会于2021年6月10日在上海举行，海内外XR行业人士齐聚外滩，跨洋对话，共同探索全球XR发展趋势与前沿技术应用。

　　百度增强现实技术部总监李颖超受邀参加，并发表了关于百度大脑DuMix AR技术最新进展和应用实践的主题分享，并呼吁通过加强业界交流合作，齐心并力开拓AR行业发展的新机遇，共同实践十四五规划关于建设AR/VR数字经济的历史使命。

AR作为一种全新的交互方式，驱动计算技术、感知交互、图形渲染、内容生产和显示技术等全链路技术革新，呈现出端云计算一体化和内容交互智能化两大技术发展趋势。DuMix AR聚焦利用人工智能技术驱动AR核心体验升级，布局空间智能、内容智能与交互智能等三大方向，着力拓展互动空间的边界、提升3D内容生产效率和设备交互的效率。

AR拓展空间智能

　　共建视觉信息世界

　　在空间智能方面，百度大脑DuMix AR开放业界首个高精视觉定位服务VPAS，使移动设备具有高精度的空间感知定位能力。以此塑造地图的全新空间互动体验，先后应用于景区智慧导览、解决室内定位难题的”AI室内通”以及最新上线的室内外一体化AR实景导航，DuMix AR正通过不断提升技术能力和应用体验，推动实现物理世界中空间智能的规模化应用。

　　基于百度地图的大规模历史数据与数据采集能力，通过推出Map++计划，与更多合作伙伴共同创造AR导航导览方案落地，为构建虚实交互的视觉信息世界和线下数字经济注入了更多想象力。

AR创新智能交互

　　满足多样化虚拟数字人场景

　　在交互智能方面，百度大脑DuMix AR以人脸重建、手势肢体识别和图形渲染为基础持续深耕，将虚拟形象生成与视觉驱动、语音驱动和对话式交互等AI能力相结合，形成高精度、低成本的虚拟形象智能生成和虚拟助手智能交互等应用方案。

　　DuMix AR联合百度Apollo推出的虚拟车载助手方案，为用户提供个性化、可视化专属虚拟形象，实现了用户对于拟我形象千人千面的体验诉求。此外，对包括视频智能化生产、智能客服、虚拟主播、车载应用等在内的众多应用领域的虚拟形象塑造也带来了切实的效率提升。

AR创新赋能工业

　　构建软硬一体化工业解决方案

　　与此同时，DuMix AR智能工业场景上的解决方案不断完善成熟，推出软硬一体培训解决方案落地张江、贵阳等地，在远程协同、训点训检、培训考核等场景的应用拓展，为企业提高生产运营效率、降低运维成本的作用受到诸多工业制造企业的青睐。随着落地应用的不断深入，DuMix AR正加速布局建设交互智能和空间知识智能，满足工业企业对于效率的不懈追求。

　　同时，百度大脑DuMix AR平台正在持续联合产业上下游合作伙伴，推动AR技术在工业垂直领域的纵深发展与技术产品的落地应用，助力国内工业制造企业的智能化转型升级。

最后，依托百度AI的全栈技术布局和生态优势，DuMix AR将坚定地推进空间智能、内容智能和交互智能三大建设方向，持续联合行业伙伴共同探索技术应用创新，以技术促创新，以创新促变革，以合作促共赢！

AR地图可视化，原来应用这么广！

01 AR地图基本概念

AR（Augmented Reality），即增强现实，是一种实时计算摄影机影像的位置及角度并加上相应图像的技术。

SLAM（Simultaneous Localization and Mapping），即同步定位与地图构建，SLAM问题可以描述为机器人在未知环境中从一个未知位置开始移动，在移动过程中根据位置估计和地图进行自身定位，同时在自身定位的基础上建造增量式地图，实现机器人的自主定位和导航。

AR地图是以视频空间化为基础，通过计算机视觉技术，融合虚拟和现实，进行实时地理信息可视化和智能地理分析的地图。

AR地图是AR和GIS结合的产物，在室内场馆、地下管线、旅游景区、安防指挥、空间规划等多个领域都有应用。

02 AR商场实景地图

AR商场实景地图根据消费者的实际位置，以图片、文字、视频、网页等形式，投放对应的店铺信息、商品信息、服务信息、指引信息等，让逛街更有乐趣。投放内容除了商品信息，还可以包括从传感器获得的，如温度、湿度、时间、声音分贝等信息。AR商场实景地图，用在商场、步行街等购物场所，投放店铺信息、促销信息，播放商品广告，浏览店铺网页，方便消费者实时了解商品和店铺，线上线下一体化购物，评价购物感受，带来沉浸式逛街新体验。

03 AR景区沙盘

AR景区沙盘将景区三维地形地貌、游览路线、景点信息、服务设施等集于一体，在移动设备中便能概览景区全貌，了解景点分布，观赏景点全景，方便用户游览前做功课，游览时知详情，游览后再回味。结合手势，缩放、旋转、移动景区沙盘的，既可以纵览全景，又可以专注细节，增强游览体验。

AR沙盘除了服务于景区，还有更广泛的应用空间。例如，在军事方面，部队通过AR沙盘中的地形、影像、模型、军事目标，进行方位的识别，战术的配合，军事装备的协同。在文物古迹复原方面，将这些文物古迹的真实面貌以AR增强现实方式与实际面貌相结合，让参观者能够看到遗址上残缺部分的虚拟重构，还原古迹的本来面貌。

AR景区电子沙盘

04 AR三维规划地图

城市建设是城市管理的重要组成部分，通过建设工程对城市人居环境进行改造，为市民创造良好的人居环境，保障市民正常生活，服务城市经济社会发展。AR三维规划地图将市政建设规划内容的三维预设效果叠加到真实的建设场景中，方便城市建设参与者，在建设前决策设计可行性，在建设中跟进施工进度，在完工后验收建议内容。下图左边是真实道路，右边是虚拟建筑，看上去是不是“傻傻”分不清？

05 AR三维管线

管线设施具有种类繁多、隐蔽性强、分布广泛但不均匀。不管是家庭装修、物业检修，还是道路施工，一旦失误，容易导致管线破裂，造成液体或者气体泄漏，带来严重损失。AR地图可视化把三维管线投射到真实场景的物体表面，辅助管线巡检、维修，开挖施工。当管线权属单位派遣人员到现场执行检修任务时，现场管线情况一览无余。管线、井盖以及阀门等设施的属性也能实时查看，不管是管线检修还是日常巡检都非常方便实用。AR管线巡检与物联网的结合还可以应用于三维管线的故障报警、人员调度以及应急抢修中。当设施发生故障，如污水管道爆管时，通过相关设备会自动发出警报，快速定位管线位置和编号，并查看发生故障的原因，然后调度邻近人员赶往故障点进行抢修。

AR三维管线

06 AR天气特效

视频本身的增强也是AR地图可视化应用的一个方向，如AR天气特效。通过落花、落叶、乌云、闪电、下雨、下雪等效果，模拟环境，预报天气，烘托氛围，带来更逼真、更有趣的天气体验。除了天气特效以外，AR特效还可以利用火焰、烟雾、喷泉、烟花等类似三维例子的效果，模拟火灾现场、空气污染、烟花绽放。视频增强的效果可以用在很多方面，如模糊车牌、人脸，演化建筑老化过程，模拟土地用途变更、规划对比方案等。

AR天气特效

07 无人机AR实景地图

无人机技术日趋成熟，应用越来越广，如何更好的利用无人机采集的视频信息呢？AR无人机地图，将GIS图形数据、标注信息等，根据实际的位置，叠加到无人机采集的视频中，对视频内容进行增强，赋予视频更多的应用意义。增强后的视频，不仅更易读，还能进行单体化数据查询、交互式数据搜索等应用。采集的视频与GIS图形数据相叠加，不同的部分一目了然，违章建筑、违停车辆无所遁形。

08 AR安防指挥地图

随着社会经济发展，城市规模不断扩大，人口持续增多，城市安防的压力越来越大，AR安防地图，通过可视化管控、智能化管控，能够有效的缓解安防压力，从而降低危险、侵害的几率，保证人民生命财产安全。AR安防地图，视频监控、智能报警相结合，利用监控摄像头，从高处俯瞰整个监督区域，分类标注建筑物、道路、摄像头等，一旦发现突发警情，快读调看事发区域监控，跟踪事件进度，及时报警。