AR增強現實技術解讀

AR增強現實(shi)是用戶感知現實(shi)世界(jie)的新技術(shu)。

一般認為，AR虛擬(ni)現實(shi)(shi)技術(shu)的出現源于(yu)虛擬(ni)現實(shi)(shi)技術(shu)（Virtual Reality，簡稱VR）但(dan)兩者之間存在明顯差異。

傳統(tong)VR技(ji)術給用(yong)戶(hu)一種完全沉(chen)浸在虛(xu)擬(ni)世(shi)界(jie)中的效果，創造另一個世(shi)界(jie)；AR技(ji)術通(tong)過聽、看、摸、聞虛(xu)擬(ni)信息，將計算機(ji)帶入(ru)用(yong)戶(hu)的現實(shi)世(shi)界(jie)，增強(qiang)對現實(shi)世(shi)界(jie)的感(gan)知(zhi)，實(shi)現從人(ren)適(shi)應機(ji)器到技(ji)術以人(ren)為本(ben)的轉變。

AR從(cong)其技術手段和表現形式(shi)來(lai)看，可以(yi)明確分為兩類：一(yi)類是Vision based AR，即基于計(ji)算機視覺(jue)AR，二是LBS basedAR，即基于地理(li)位置信息(xi)的(de)信息(xi)AR。

01 Vision based AR

基于(yu)計(ji)(ji)算(suan)機視覺AR利用計(ji)(ji)算(suan)機視覺方法在(zai)現實(shi)世界和屏幕之間建(jian)立映(ying)射關(guan)系，使我(wo)們想要繪(hui)制圖形或3D模型通(tong)常可以(yi)顯(xian)示在(zai)屏幕上，就像顯(xian)示在(zai)屏幕上。如何做到這一點？

本質(zhi)上，我們(men)需(xu)要在現(xian)實場景中(zhong)(zhong)找到(dao)一個附著的平面(mian)，然后將這(zhe)(zhe)個3D場景中(zhong)(zhong)的平面(mian)映射到(dao)我們(men)的2D屏幕上，然后在這(zhe)(zhe)個平面(mian)上繪制你想(xiang)要顯示的圖形，這(zhe)(zhe)可以從技術實現(xian)手段(duan)來看 分為2類 ：

1、 Marker-Based AR

這種實(shi)現(xian)方法需要提前制定Marker(例如，繪制一(yi)定規格形狀的(de)模板卡或二(er)維碼)Marker在(zai)現(xian)實(shi)中(zhong)的(de)一(yi)個位(wei)置相當于(yu)在(zai)現(xian)實(shi)場景中(zhong)確定平(ping)面。

然后通過相機對Marker識別和評估姿勢（Pose Esti ** tion），確定位置(zhi)，然后確定位置(zhi)Marker中心(xin)為原(yuan)點(dian)的坐標系(xi)稱為Marker Coordinates即模板(ban)坐標系(xi)。

事實上(shang)，我(wo)們需要做的(de)是改變模(mo)板坐(zuo)(zuo)標系(xi)和屏幕坐(zuo)(zuo)標系(xi)標系(xi)和屏幕坐(zuo)(zuo)標系(xi)之間的(de)映射(she)關(guan)系(xi)，這樣(yang)我(wo)們就可以(yi)根據這個變化在屏幕上(shang)繪制的(de)圖形來實現圖形的(de)附著Marker上(shang)的(de)效(xiao)果。

理(li)解(jie)原則需要一點3D從模板坐標(biao)(biao)(biao)系(xi)到(dao)真實(shi)的屏(ping)幕坐標(biao)(biao)(biao)系(xi)，射影幾何知識需要旋轉并平移(yi)到(dao)相機(ji)坐標(biao)(biao)(biao)系(xi)（Camera Coordinates）然后從相機(ji)坐標(biao)(biao)(biao)系(xi)映射到(dao)屏(ping)幕坐標(biao)(biao)(biao)系(xi)。

在實際編碼中(zhong)，所有這些變換都是矩陣(zhen)，矩陣(zhen)代表在線性代數中(zhong)的變換，左(zuo)乘坐坐標的矩陣(zhen)是線性變換平移等非線性變換，可以使用齊(qi)次坐標進行矩陣(zhen)操作)。公(gong)式如下:

矩陣(zhen)(zhen)(zhen)C的學名是相機(ji)內參(can)矩陣(zhen)(zhen)(zhen)，矩陣(zhen)(zhen)(zhen)CTm被稱為攝(she)像(xiang)機(ji)外(wai)參(can)矩陣(zhen)(zhen)(zhen)，其中內參(can)矩陣(zhen)(zhen)(zhen)需(xu)(xu)要(yao)提前(qian)進行(xing)攝(she)像(xiang)機(ji)校準(zhun)，外(wai)參(can)矩陣(zhen)(zhen)(zhen)未知，我們需(xu)(xu)要(yao)根據屏幕(mu)坐標(biao)(xc ,yc)提前(qian)定義Marker 估計(ji)坐標(biao)系和內參(can)矩陣(zhen)(zhen)(zhen)Tm，然后根據圖(tu)形(xing)繪制圖(tu)形(xing)Tm繪制(初始(shi)估計(ji)Tm不(bu)夠(gou)精(jing)確，還需(xu)(xu)要(yao)使用非(fei)線性最小二乘進行(xing)迭代尋優)。

比如使用(yong)OpenGL畫(hua)畫(hua)的(de)時候(hou)就要到了GL_MODELVIEW在模(mo)式下加載Tm圖形顯示(shi)是矩陣。

2、 Marker-Less AR

基(ji)本原理(li)與Marker based AR同樣，但它可以使(shi)用任何(he)具有足夠(gou)特征點的(de)物體(ti)（如(ru)書的(de)封面(mian)(mian)）作為(wei)平面(mian)(mian)基(ji)準，而無需提前制作特殊(shu)模板。

擺(bai)脫模板(ban)對AR應用的(de)束縛。

其原理(li)是通過一系(xi)列算法(如(ru):SURF，ORB，FERN等)提取模板對象的特(te)征點(dian)，并記錄或學習(xi)這些特(te)征點(dian)。

當(dang)相(xiang)機掃(sao)描(miao)周圍場景時，將(jiang)提(ti)取周圍場景的(de)特(te)(te)征(zheng)點，并與記(ji)錄的(de)模(mo)(mo)板(ban)對象的(de)特(te)(te)征(zheng)點進行比較(jiao)。如果掃(sao)描(miao)的(de)特(te)(te)征(zheng)點與模(mo)(mo)板(ban)特(te)(te)征(zheng)點匹(pi)配的(de)數量超過閾值(zhi)，則認(ren)為掃(sao)描(miao)模(mo)(mo)板(ban)，然(ran)后根(gen)據(ju)相(xiang)應(ying)的(de)特(te)(te)征(zheng)點坐標進行估計(ji)Tm然(ran)后根(gen)據(ju)矩陣Tm繪(hui)圖(方法和Marker-Based AR類(lei)似)。

02 LBS-Based AR

其(qi)基本原(yuan)理(li)是(shi)通過GPS從某些數據源(如wiki，google）在這個位(wei)置附(fu)近的(de)(de)物體(如周圍的(de)(de)餐館、銀行、學校等(deng)。POI通過移動設(she)備的(de)(de)電子(zi)指(zhi)南針和加速度(du)(du)傳感器獲取用戶手持設(she)備的(de)(de)方向和傾斜(xie)角(jiao)度(du)(du)，在現實場景中建立目標對象的(de)(de)平(ping)面基準(相當于 ** rker)，坐標變(bian)換顯示等(deng)的(de)(de)原(yuan)理(li)Marker-Based AR類似(si)。

這種AR設備的(de)技術利(li)用(yong)(yong)(yong)GPS實現功能和傳(chuan)感(gan)器(qi)，擺脫應(ying)用(yong)(yong)(yong)Marker用(yong)(yong)(yong)戶體驗的(de)依(yi)賴比(bi)用(yong)(yong)(yong)戶體驗的(de)依(yi)賴要(yao)好Marker-Based AR更好。

而且因為(wei)不需要實時(shi)識別Marker性能(neng)優于姿態和計算特征(zheng)Marker-Based AR和Marker-Less AR，因此對比Marker-Based AR和Marker-Less AR，LBS-Based AR移(yi)動設備可以更好地(di)應用。

03 AR加(jia)強現(xian)實系統的(de)組成

1、Monitor-based系統

基于(yu)計算機(ji)顯示器的(de)AR在實現方案(an)中(zhong)，攝(she)像(xiang)機(ji)攝(she)取的(de)真實世界圖(tu)像(xiang)輸入到計算機(ji)中(zhong)，與計算機(ji)圖(tu)形系統產生的(de)虛(xu)擬(ni)場景合成，并輸出到屏幕顯示器中(zhong)。

用戶(hu)可以從屏(ping)幕上看到最終的(de)增強(qiang)場景圖片(pian)。雖然(ran)它不(bu)能給用戶(hu)帶(dai)來太多的(de)沉浸(jin)感，但它是(shi)最簡(jian)單的(de)使用AR實現方(fang)案。

由于該方(fang)案的(de)硬(ying)件要求很低，在實(shi)驗室中AR大量(liang)的(de)系統研(yan)究人員。

2、Video see-through系統

頭盔式顯示器（Head-mounted displays-HMD）廣泛應用(yong)于虛擬(ni)現實系統，增強(qiang)用(yong)戶的視覺沉浸感(gan)。

增強現實(shi)技術的(de)研究(jiu)人員也使(shi)用類似的(de)顯示技術AR穿透式(shi)廣泛應用HMD。

根據具(ju)體的(de)實(shi)現(xian)原理(li)，分為基(ji)于視頻合(he)成技術的(de)穿(chuan)透(tou)性兩類HMD（video see-through HMD）基(ji)于光學(xue)原理(li)的(de)穿(chuan)透(tou)性HMD（optical see-through HMD）。

Video see-through加強現實系統(tong)實現方(fang)案的實現

3、Optical see-through系(xi)統

在上述兩個系統實現方案中，計算機輸入了兩個通(tong)(tong)道信息，一個是(shi)計算機產生的(de)虛擬(ni)信息通(tong)(tong)道，另一個是(shi)攝像機的(de)真實場景(jing)通(tong)(tong)道。

而在(zai)optical see-through HMD在(zai)實現(xian)方案(an)中(zhong)，去(qu)除后者。真實場景的圖像經過一定(ding)的減光處理后直接進入人(ren)眼，虛(xu)擬通(tong)道的信(xin)息經過投影反射后進入人(ren)眼，兩者通(tong)過光學合成。

4.三種系(xi)統結(jie)構的性能比較

三種AR顯示技術(shu)實現策略(lve)在性能上各有優缺點。

在(zai)基于monitor-based和video see-through顯示技(ji)術的(de)AR在(zai)實現過程中(zhong)，真實場景的(de)圖像(xiang)通過攝(she)像(xiang)機獲取(qu)，虛實圖像(xiang)的(de)組(zu)合和輸出在(zai)計算機中(zhong)完成。

整個過(guo)程(cheng)不(bu)可避免(mian)地會有一定的(de)系統延遲，這是動(dong)態(tai)的(de)AR虛(xu)實注冊錯(cuo)誤(wu)的(de)主要(yao)原因之一。

然而，由于用戶的(de)視覺完全由計(ji)算機(ji)控制(zhi)，該系(xi)統(tong)延遲可(ke)以通過計(ji)算機(ji)內部虛擬(ni)和真實(shi)通道(dao)的(de)協調來補償(chang)。

而基(ji)于optical see-through顯(xian)示(shi)技術的AR在實(shi)現過程中，真實(shi)場景的視(shi)頻圖像傳輸是實(shi)時的，不受計算機控制(zhi)(zhi)，因此不可(ke)能通(tong)過控制(zhi)(zhi)視(shi)頻顯(xian)示(shi)率(lv)來補(bu)償系(xi)統(tong)延遲。

另外，基于monitor-based和video See-through顯示(shi)技術的(de)(de)AR在實(shi)(shi)現過程(cheng)中(zhong)，可以(yi)利用計(ji)算機分析輸(shu)入(ru)的(de)(de)視(shi)頻圖(tu)像(xiang)，從真實(shi)(shi)場(chang)(chang)景(jing)的(de)(de)圖(tu)像(xiang)信息中(zhong)提取跟蹤(zong)信息(參(can)考點或圖(tu)像(xiang)特征)，輔助動態AR注冊過程(cheng)中(zhong)虛實(shi)(shi)場(chang)(chang)景(jing)。而基于optical see-through顯示(shi)技術的(de)(de)AR只有頭盔上(shang)的(de)(de)位置(zhi)傳感(gan)器可以(yi)用來(lai)輔助虛實(shi)(shi)注冊。

上海西陸信息科技有限公司 承接各類微信小程序(xu)開(kai)發(fa)制作(zuo)、小程序(xu)定制、APP 網站 開(kai)發(fa)制作(zuo)，聯(lian)系電(dian)話 18221533805、15900430334