當前位置: 移動互聯網學院 > VR開發 > AR技術淺析
          AR技術淺析 時間:2017-05-26     來源:移動互聯網學院

          本文將會針對增強現實(Augmented Reality,AR)技術的研究內容進行分析,希望能夠給還沒有入門或剛剛入門AR的朋友一個總體的認知,明確自己在AR領域可以開展哪些方面的研究,找準自己的佳切入點。

          1 增強現實技術概覽

          增強現實技術主要包括圖示的研究內容,當然還有一些比較生僻的內容沒有列出來。本文介紹的增強現實相關的研究內容,包括但不限于介紹到的這些內容。增強現實是一個多學科交叉的研究領域,內容紛繁復雜,選取其中某個點深入下去都可以作為長久的研究課題。                 

          2 增強現實研究內容分解

          2.1 顯示技術

          2.1.1 近眼式顯示設備

          近眼顯示設備主要是指頭盔顯示器。頭盔顯示器主要分為兩種:光學透射式頭盔顯示器和視頻透射式頭盔顯示器。當然如果按照顯示器件數量,也可以劃分為單目頭盔顯示器和雙目頭盔顯示器。這里主要討論光學式(圖一)和視頻式(圖二)的區別。

          圖一

          圖二

          光學透射式頭盔顯示器是直接透射外界的光線,并且反射微投影器件產生的虛擬圖像到人眼中,達到虛實融合的效果。優點是可以保證正確的視點和清晰的背景,缺點是虛擬信息和真實信息融合度低,且人眼標定比較復雜。目前市面上典型的光學透射式頭盔顯示器有Hololens和Meta2等。

          而視頻透射式頭盔顯示器,是將固定在頭盔上的攝像頭所捕獲的圖像,通過視點偏移來顯示到眼前的顯示器上。優點是虛實融合效果好,無需標定人眼,缺點是視點難以完全補償到正確的位置,且與鏡片范圍外的環境不能完美銜接。將上面的光學透射式頭盔顯示器,加上攝像頭,并且把帶有增強信息的視頻直接全屏顯示,就成為了視頻透射式設備了。很巧的是,很多光學透射式設備,確實在其上加裝了這種攝像頭,但是它們的本意是用攝像頭來作為跟蹤模塊的。

          2.1.2 手持式顯示設備

          手持式顯示設備,顧名思義就是拿在手上的顯示設備。常見的就是我們的智能手機和平板電腦。這類設備具有很好的便攜性,是一種天然的AR設備。它們有攝像頭作為圖像輸入設備,有自帶的處理器,有顯示單元,具備了進行AR開發的所有條件。在目前市面上,很多增強現實APP都是圍繞這類設備開發的。

          2.1.3 固定式顯示設備

          桌面級顯示器,這是我們日常生活中常見的一類顯示器了。給它添加一個網絡攝像頭,就可以完成AR任務了。該攝像頭可以捕捉空間中的圖像,然后估計攝像頭的位置和姿態,后計算生成虛擬信息,并進行虛實融合,輸出到桌面顯示器上。這類設備適合做一些科研類的開發,對于商業應用顯得有些笨重,比起手機和平板來說稍遜一籌。

          虛擬鏡子,這是利用攝像頭對著人進行拍攝,然后輸出到一個類似于鏡子的大型顯示器上,給人一種照鏡子的感覺。同時,還可以進行虛擬換裝,或者添加一些虛擬物件,達到AR效果。

          還有一些固定顯示器,類似于霧幕、水幕、全息膜等,在上面投影出增強信息,可以實現AR效果。    

          2.1.4 投影式顯示設備

          投影機是一種重要的虛擬現實和增強現實設備。常見的基于投影的增強現實系統是在展會上的各種絢麗的投影展品,包括虛擬地球、汽車表面投影等。這類系統屬于空間增強現實系統。另外,柱幕、球幕、環幕投影也可以歸為基于投影的空間增強現實。

          投影機還可以用于構建CAVE系統。手持式投影機結合圖像捕捉設備,還可以建立動態的空間增強現實系統。 

          2.1.5 小結與分析

          增強現實中主要的顯示設備就是以上這些。如果要開展關于顯示技術的研究,從硬件方面來講,就是顯示材料、器件的研發。當然這與增強現實并沒有高度相關性,只能說顯示設備參數的提升,可以間接促進增強現實系統性能提升。但是顯示方面,軟件還是可以有些值得做的東西,并且與增強現實體驗息息相關。那就是頭盔顯示器的顯示畸變校正和投影機畫面拼接融合,這些技術都直接影響著增強現實系統虛實融合精度和整體可用性。

          研究增強現實技術的人,很多是側重于系統集成和應用測評,或者是直接將AR系統應用在其他的研究領域。因此,這些人一般不會研究顯示元器件的細節,而更加關注如何拿現有的材料或者設備來構建新型顯示系統。如果能夠做出新的AR系統,并且具有實用意義,也是非常有研究價值的。

          2.2 跟蹤技術

          跟蹤理論會涉及到一些空間坐標轉換的基礎知識,以攝像機跟蹤為例,分為模型坐標空間、世界坐標空間、攝像機坐標空間和圖像坐標空間。由于比較細節,這里不展開討論,相關知識可以查閱計算機視覺書籍即可。這里以不同種類的跟蹤系統為例來討論跟蹤技術。

          2.2.1 固定式跟蹤系統

          機械跟蹤器通過控制機械臂各個關節的轉動來跟蹤機械臂末端的空間位置,屬于比較老的跟蹤方式,但是精度可以控制得比較高。                               

          電磁跟蹤器是通過一個固定的發射源發射出三維正交的電磁場,接收端通過檢測接收到的電磁場的方向和強度來確定位姿。

          超聲波跟蹤器則是通過測量一個聲音脈沖從發射源到傳感器的飛行時間來測量距離。

          2.2.2 移動式傳感器

          GPS,全稱是全球定位系統。這個系統在智能手機上應用很普遍。它通過接收多顆衛星信號來確定當前所處的位置。對于戶外大范圍增強現實有著重要意義。

          無線網是通過檢測移動設備接入點信息來粗略確定移動設備所處位置的。它可以配合GPS使用。

          磁力計,也稱電子羅盤,通過檢測地球的磁場來確定方向。

          陀螺儀和線性加速度計都是依靠慣性來進行測量的。陀螺儀測量三軸角度變化,線性加速度計測量位置變化。它們通常會配合使用,并且常以微機電系統(MEMS, Micro-Electro-Mechanical System)的形式存在。                        

          里程計是通過輪式或者光電編碼器來測量所走過路程的一種傳感器,常用在機器人或者交通工具中。

          2.2.3 光學跟蹤技術

          (1)跟蹤模式

          有些跟蹤需要對被跟蹤的目標預先建模,例如一些圖像跟蹤工具箱。有的則不需要提前建模,例如同步定位與跟蹤技術(SLAM)。多數跟蹤是需要提前建立一個待跟蹤模型數據庫的,然后在運行中實時提取特征并且與數據庫中的數據進行比對。而SLAM則可以實時根據獲得的特征,自主建立空間地圖,并且確定攝像頭相對于環境的位置。

          目前研究的比較火熱的是SLAM。因此,可以研究SLAM中的各個環節,從跟蹤、建圖、回環檢測等角度研究如何提升SLAM系統的精度,以及面對復雜環境的穩定性。

          (2)照明種類

          跟蹤的穩定性與環境光有關,尤其是基于視覺的跟蹤。有些跟蹤系統不需要自主添加光源,只是利用環境光,稱為被動照明;有些跟蹤需要主動發射某種照明光線,來實現其跟蹤,稱為主動照明。被動照明是比較常見的,例如平面標志跟蹤就是在普通的環境照明下實現的。主動照明典型的就是結構光照明,例如Kinect。還有一種主動發射紅外光的OptiTrack系統,做姿態跟蹤效果很好。     

          (3)人工標志與自然特征

          人工標志指的是人造的用于跟蹤的圖像標志等。例如二維碼、棋盤格等。自然特征指的是自然環境中本身就有的特征,不是人為放置用來跟蹤的特征。普通的室內環境、街邊的樓宇都可以認為是自然特征。人工標志根據其種類不同,需要特定針對性算法進行檢測和跟蹤,自然特征通常使用SIFT、SURF、ORB等特征描述子來進行特征提取和跟蹤。

          2.2.4 傳感器融合

          互補式融合:不同的傳感器測量的是不同種類的參數,可以互相補充。

          競爭式融合:不同傳感器測量的是同一個種類的參數,則使用某種方式將它們結合起來,產生一個更好的測量結果。

          協作式融合:不同傳感器之間是協作關系,其中某個傳感器可能依賴于其他的傳感器才能得出結果。

          2.2.5 小結與分析

          筆者認為,純粹的跟蹤技術研究,不僅可以服務于增強現實,也可以服務于虛擬現實,以及其他需要用到該技術的領域。研究跟蹤技術,可以從多視圖幾何方向入手,通過幾何的方式來估計位姿。也可以從特征角度入手,針對特定的問題,設計不同的特征表述方式,解決問題。

          SLAM研究者們通常會考慮怎樣建立更加穩健的SLAM系統,怎樣對抗真實環境中的噪聲,怎樣進行更好的回環檢測等。研究慣性測量單元(IMU)與視覺融合進行SLAM的也大有人在,多傳感器數據融合對于SLAM來講有重要的意義。

          在研究基于視覺的跟蹤技術時,會用到很多計算機視覺算法。計算機視覺本身就是一個很龐大的學科,感興趣的讀者可以根據自己的興趣,選擇相應的書籍進行展開閱讀。這里推薦兩本書,一本是《計算機視覺——算法與應用》,另一本是《計算機視覺中的多視圖幾何》。

          内蒙古十一选五软件