基于視覺高精定位的“室內AR導航”技術點解析

自1967年衛星(xing)導(dao)航技術開放以來(lai)，經(jing)過50多(duo)年的發(fa)展，導(dao)航定位已(yi)廣泛應用于交通物流、地(di)理信息、高精度測量等行業，提高了(le)現(xian)代社會的運營效率，給個(ge)人生(sheng)活和(he)旅行帶來(lai)了(le)極大的便利(li)。

然而(er)，盡管導航(hang)(hang)定位技術在室(shi)外場(chang)景中非常(chang)流行，但(dan)室(shi)內(nei)導航(hang)(hang)的(de)應用并沒(mei)有(you)得到很好的(de)發(fa)展。

一方面(mian)，由于衛星信號的(de)衰減，衛星導(dao)航定位在室內幾乎毫無用處(chu)。

另一(yi)方面(mian)，盡(jin)管藍牙(ya)信標定位，Wi-Fi在一(yi)定程度上，信號等專用設備的解決方案可以輔助室內導航(hang)定位，但部署和維護成本高，不具(ju)備大規模推廣的條件。

那么，室內導航解決(jue)方案是否容易實現、低(di)成本(ben)、易擴(kuo)展？

成本(ben)(ben)更(geng)低(di)(di)，更(geng)容(rong)易普(pu)及AI以視覺技(ji)術(shu)為核心，商湯科技(ji)SenseMARS火星(xing)混(hun)合(he)現實平臺可以實現室內外(wai)高效低(di)(di)成本(ben)(ben)的精(jing)確(que)定位AR導航(hang)。

室內導(dao)航有哪些困難？

展(zhan)覽館、博物館、購物中心、交(jiao)通(tong)樞紐等大型(xing)室內場景環境復雜，規模巨大，無紋理空間(jian)區(qu)域和視覺歧義(yi)區(qu)域眾多。地圖數據的收集、生(sheng)產和表達(da)是一個主要的困難。

同時(shi)，用戶(hu)如(ru)何準確快(kuai)速地(di)實現(xian)重定位也是一個挑戰。

商湯SenseMARS火星混(hun)合(he)(he)現實平(ping)(ping)臺由浙(zhe)江大學-尚堂科技三維視(shi)覺(jue)聯合(he)(he)實驗室(shi)和尚堂產品團隊共同打造，具(ju)有空(kong)間定位和構(gou)建能力，如專業高精度三維數字地圖構(gou)建、跨(kua)平(ping)(ping)臺和終(zhong)端(duan)(duan)空(kong)間感(gan)知計算、cm端(duan)(duan)云協同定位等(deng)(deng)，可支持Android/iOS/Web/小程序等(deng)(deng)系統平(ping)(ping)臺，以(yi)及手機，平(ping)(ping)板(ban)電(dian)腦，AR/MR眼鏡(jing)等(deng)(deng)終(zhong)端(duan)(duan)設備，實現室(shi)內(nei)外等(deng)(deng)不(bu)同場景AR/MR特效、導航、導游等(deng)(deng)功能。

對(dui)于(yu)定位(wei)(wei)導航應用，首先(xian)需要構(gou)(gou)建高(gao)精度三維數字地圖(tu)（具體可分為稀(xi)疏點云地圖(tu)構(gou)(gou)建和密集的(de)三維幾(ji)何構(gou)(gou)建），然(ran)后(hou)基于(yu)視覺重定位(wei)(wei)和SLAM該(gai)技術可實(shi)現連續的(de)精確跟蹤定位(wei)(wei)。

讓機器了解場景和(he)環境

稀(xi)疏點(dian)云地圖(tu)結構(gou)采用運(yun)動恢復結構(gou)（Structure from Motion，簡稱SfM）技術。

利用離線(xian)收集的視(shi)頻或圖(tu)片提(ti)取場景中的視(shi)覺(jue)特征，恢復圖(tu)片的相機位(wei)置(zhi)和場景中稀疏的三(san)(san)維點(dian)云(yun)。視(shi)覺(jue)特征和三(san)(san)維點(dian)云(yun)主要(yao)用于(yu)視(shi)覺(jue)重定位(wei)，可用于(yu)進一步的密集三(san)(san)維幾何構建。

視(shi)頻或(huo)圖片以及SfM恢復的(de)(de)相機(ji)位置為輸入。經過(guo)密(mi)(mi)集(ji)的(de)(de)深度估計、深度集(ji)成(cheng)、網(wang)格結構和紋(wen)理(li)地(di)圖，最(zui)終輸出場景的(de)(de)精細密(mi)(mi)點云和紋(wen)理(li)三維(wei)網(wang)格模型(xing)，即密(mi)(mi)集(ji)的(de)(de)三維(wei)幾何結構。

由于商(shang)湯(tang)在原創技術研發(fa)方(fang)面的(de)優勢，浙(zhe)江大學-商(shang)湯(tang)三維視覺(jue)聯合實(shi)驗(yan)室研究團隊提出了基于單(dan)目/多目/全景相機和慣(guan)性測量(liang)單(dan)元的(de)技術研究和拋光兩年(nian)多。GPS多源數(shu)據(ju)(ju)采集方(fang)案和多源數(shu)據(ju)(ju)集成構圖算(suan)法實(shi)現了高效穩定(ding)的(de)地圖數(shu)據(ju)(ju)采集、重建(jian)和更(geng)新。

2萬平方米(mi)的場景一(yi)般可(ke)以(yi)在1小時(shi)內(nei)(nei)完(wan)成(cheng)數據(ju)采集，3D重建(jian)和(he)紋理地圖(單節點服務器)可(ke)以(yi)在6小時(shi)內(nei)(nei)完(wan)成(cheng)，重建(jian)精(jing)度可(ke)以(yi)達到厘米(mi)級(ji)。

重建的高(gao)精度三維網格(ge)可用于正確處理虛擬物體和真(zhen)實(shi)(shi)場景之間的屏蔽和碰(peng)撞關(guan)系，實(shi)(shi)現具(ju)有高(gao)真(zhen)實(shi)(shi)性的增強(qiang)現實(shi)(shi)效果。

讓機器輸出(chu)準(zhun)確匹(pi)配場景

有了地圖數據，用戶(hu)如何通過終端在(zai)現實場(chang)景(jing)中無縫(feng)集成導航指示箭頭(tou)等(deng)虛(xu)擬內容？

關鍵是通過視覺(jue)重定位(wei)和準確獲取(qu)用(yong)戶(hu)的相機位(wei)置(zhi)SLAM一起實現。

視覺重(zhong)定位(wei)以用戶拍攝圖像為輸入，匹配(pei)圖像中的(de)(de)特(te)征和(he)地圖數(shu)據(ju)中的(de)(de)特(te)征，獲取圖像特(te)征和(he)地圖三維點的(de)(de)2D-3D對(dui)應關(guan)系(xi)，計算圖像相機的(de)(de)位(wei)置(zhi)SLAM幫助(zhu)糾正累積誤差。

SenseMARS商超、展(zhan)廳等典(dian)型室(shi)內場(chang)景視覺定(ding)位技(ji)術成功率高于95%SLAM 該技(ji)術實現了(le)連續穩定(ding)的(de)位置跟蹤，并擴展(zhan)了(le)未覆蓋地圖的(de)區域。

SLAM技(ji)術利用(yong)相機，IMU可(ke)以(yi)實時(shi)計算當(dang)前(qian)設備的(de)6DoF保證(zheng)圖像上的(de)位置(zhi)AR效果與真實環(huan)境的(de)一(yi)致(zhi)性、穩(wen)定性和適應(ying)性。

借助離線高(gao)精度(du)地圖和(he)高(gao)精度(du)定位結果(guo)，可(ke)以保證高(gao)精度(du)定位和(he)跟(gen)蹤時間長。

另外，針對(dui)現在(zai)APP方案比(bi)較重SLAM商湯還提供了算法模(mo)型覆蓋率不足(zu)的輕量(liang)級問題(ti)Web SLAM能力，能在(zai)H在(zai)小程序中實時運行。

用戶(hu)不需(xu)要安裝App只(zhi)需(xu)簡單掃(sao)描二維碼即(ji)可體驗完整的室內外定位(wei)和AR導(dao)航能力。

基于上述(shu)技術，商湯SenseMARS在各種實(shi)際復雜(za)場景中，平臺可以支持高精度增(zeng)強/混合現實(shi)需求(qiu)。

在(zai)GPS用(yong)戶可以通過圖像或視頻實時準確地獲(huo)取自(zi)己的(de)位置(zhi)，這是一個信(xin)號難以覆蓋(gai)的(de)區域(yu)。

結合商湯(tang)SLAM技(ji)術(shu)還可以通過增(zeng)強/混合現實(shi)來獲取場(chang)景(jing)的額外信息，如導(dao)航、導(dao)游、業(ye)務介紹等。AR巧妙(miao)融合生活場(chang)景(jing)。

上海西陸信息科技(ji)有限(xian)公(gong)司 承(cheng)接各(ge)類微(wei)信小(xiao)程序開發制作、小(xiao)程序定(ding)制、APP 網站 開發制作，聯系電(dian)話 18221533805、15900430334