蘋果這幾項專利預示著AR/VR交互的未來

時間:2019-04-09

蘋果公司大量的AR/VR專利在上週被公開,其中值得關注的有:用於教育、培訓的VR手套;可識別手勢的Apple Watch專利。與此同時,還有一項關於AR眼鏡中生物識別技術的專利,讓我們看到了未來iPhone、Apple Watch和AR眼鏡交互融合使用的場景。

多關節追蹤VR手套

首先,關於蘋果AR眼鏡現在並沒有定論,從當前來講VR是沉浸式體驗,AR是增強型體驗,MR是混合型體驗,長遠來看,所有廠商最終的目標都是打造混合型體驗。

VR技術在遊戲、教育、培訓、軍事訓練等領域擁有極佳的效果。關於VR手套中的定義蘋果也有明確的需求,那就是可以準確檢測手和手指的動作、位置,並且不會受到遮擋等因素的困擾。

當然,蘋果在一份關於追蹤單手指和整個手掌指關節的VR手套專利中指出,該VR手套內置多個IMU傳感器,可追蹤多個手指動作和整個手掌的動作。

圖1:手掌模型,圖2:加持VR手套的預覽圖

正如上圖顯示,手掌的每個關節都配有一個傳感器,可以追蹤到手指每個關節的動作和整個手掌的移動。

手套內的IMU的陀螺儀、加速度計傳感器數據結合並加以分析以實現追蹤手指、手掌的動作,磁力計可以用於檢測VR手套的方向,並且手套內部還可加入用於傳遞觸感的傳感器,用於實現觸摸以及手指之間的捏合等動作追蹤。

圖4B:VR手套傳感器佈局,圖4C:傳感器局部幀檢測

同時,專利中提到在不使用磁力儀的情況下也能用於手套的動作檢測的方式,即:IMU檢測到的運動還可與局部幀進行比較。

圖6A:手指交叉情況,圖6B:傳感器方向扭曲情況

該手套可檢測手指之間的交叉動作,此時手指會遮擋,例如上圖哪隻手指在上面,哪隻在下,基於上述IMU數據和加速度數據實時分析就能識別出來。

甚至,VR手套內還可加入力傳感器與觸覺回饋模塊,溫度傳感器與加熱模塊、以此來實現更極致的觸覺和溫度感知與回饋。例如在VR中手持咖啡杯,不僅能夠傳遞熱量,還能將咖啡杯形狀信息發送給手套。

專利中還指出,VR手套具備板載控制器、信號收發模塊、電源模塊,以實現單獨工作。當然,即便在沒有攝像頭追蹤情況下,也能實現一定程度的手指動作追蹤。

在手套材料方面,或將採用多層針織物縫合+導電材質細微線纜的方式連接,甚至不同傳感器、不同模塊進行分層疊加,例如可以只採用IMU模組層用於手指動作追蹤,也可以加入觸覺和溫度傳感器以實現更逼真的模擬效果。

Avatar VR觸感手套

實際上,現在做VR手套方案也有不少,其中基於IMU方案的設備雖然相對輕薄,但是並沒有觸覺和溫度感知和回饋功能,而加入觸覺和溫度感知模塊後體機往往變得很大,例如HaptX。當然也有像Avatar VR這種相對輕薄型的具備力回饋手套,無論如何我們更為期待蘋果的VR手套最終如何落地,畢竟蘋果推出的產品在外觀和易用性上應該不會那麼“工業級思維”。

Apple Watch代替手套

可能你覺得,VR手套接受程度很低,每次體驗都要戴手套。沒錯,大家都是這麼認為,蘋果開發相關專利並不一定代表就會推出相關產品,很可能是技術積累,然後應用到相關領域的產品中。

圖5C:加持特殊錶帶的Apple Watch

考慮到蘋果已經推出了可穿戴設備Apple Watch,在功能性方面,其不僅可作為相當全面的運動記錄監測設備,同時還能用於心率、心電圖等健康方面的監測。

當然,作為一款穿戴設備Apple Watch天然就具備一些和皮膚相關的監測能力。這不,同一天公開的另一項蘋果專利就使用Apple Watch用於VR遊戲等場景的手勢追蹤。

圖5C:特殊的錶帶,圖4A、4B:可追蹤到靜脈血管覆蓋區域,圖6B、6C分別是張開手掌和攥拳對應的脈衝信息

據瞭解,Apple Watch內集成了大量的傳感器,包括用於心率等。而這項手勢專利則基於手掌的靜脈圖像特徵,專利中提到一種包含傳感器/攝像頭的特殊錶帶。

其能夠在手腕讀取多處特徵圖像信息,然後將這些信息轉換成一個對應的代碼,基於數據特徵可以通過這些代碼判斷手掌的不同動作。

蘋果在專利中表示,通過記錄手掌不同的動作可實現在VR中游戲的虛擬對象交互,甚至是iPhone接打電話等功能,意味著通過簡單的手掌動作即可代替部分觸摸或語音的處輸入,這對於穿戴設備而言無疑是一種巨大的體驗提升。

可能你會說,基於Apple Watch的方案相對簡單,只能識別手掌的相對較大的動作。不過蘋果還提到,可以通過在不同時間獲取的靜脈圖像,加以對比和分析,從而實現關節動作追蹤和多姿態追蹤。

圖5A:可基於Apple Watc中具備並可獲取的PPG(光電容積脈搏波描記法)信號實現代替錶帶上的多個傳感器

圖7B:通過Apple Watch內置傳感器代替多傳感器的實現方法

圖26、27:手指套手勢追蹤方案

實際上,今年1月份公開的蘋果申請的一項專利,其類似於通過“手指套”來實現手勢識別,其通過在手掌上加上少數幾個手指套即可完成手勢識別。

充分利用生物識別傳感器

同樣在近期公開的一份蘋果公司關於面部動作追蹤的專利,其通過在AR/VR眼鏡內置大量傳感器來監測咀嚼、眨眼、微笑、皺眉等一系列面部動作。甚至,蘋果指出這項技術未來可應用到普通的近視鏡、太陽鏡,老花鏡等系列設備中。

可記錄不同的面部動作

據瞭解,其記錄面部動作的原理類似Apple Watch中的PPG技術,通過PPG圖像數據轉換成對應代碼,然後通過代碼來確定不同的面部動作。

圖2A:集成大量生物識別傳感器的AR/VR眼鏡

同時,蘋果還提到在AR/VR眼鏡中還可加入眾多生物識別傳感器,包括PPG傳感器、ECG(心電圖)傳感器、GSR(皮膚電信號)傳感器,壓力傳感器、eFiekd電場傳感器、熱傳感器等等。

因此這些和健康相關的傳感器可以提升很多玩家的身體狀態,例如呼吸頻頻率、心率、血壓、心率變異性等,如果將這些數據加入遊戲/應用內,將帶來顛覆性的體驗。

毫無疑問,蘋果在穿戴設備上的思路就是充分利用生物特徵,這顯然得益於蘋果Apple Watch的思路,也給眾多穿戴設備+生物信號結合打開了思路。如果沒有蘋果的專利,我差點忘了AR/VR頭顯也是穿戴設備的一種,可是現階段的穿戴設備基本上沒有發揮其特性。

相關推薦