在Meta Connect 2022上，Meta展示了在VR和AR領(lǐng)域的新研究成果。

Meta的研究旨在持續(xù)十年或更長(zhǎng)時(shí)間，并推動(dòng)當(dāng)今VR、AR和AI等技術(shù)的發(fā)展。在Meta Connect 2022上，該公司概述了許多領(lǐng)域的研究，從Meta的AR頭顯到神經(jīng)接口，從3D掃描到逼真的編解碼虛擬化身。

增強(qiáng)現(xiàn)實(shí)

Meta的目標(biāo)是在未來(lái)幾年推出一款時(shí)尚、視覺上吸引人但功能強(qiáng)大的AR頭顯。由于小型化、功率、電池容量和余熱方面的技術(shù)挑戰(zhàn)很大，Meta在開發(fā)中正在采取雙重戰(zhàn)略。

扎克伯格在主題演講中表示：“眼鏡需要相對(duì)較小才能看起來(lái)和感覺良好。因此，我們正在從兩個(gè)不同的角度來(lái)構(gòu)建AR眼鏡。首先是建立全AR眼鏡所需的所有技術(shù)，然后努力將其安裝到我們所能提供的最佳眼鏡外形中。第二種方法是從理想的外形開始，并隨著時(shí)間的推移努力將越來(lái)越多的技術(shù)融入其中。”

前者的代號(hào)為Project Nazare，而后者是Meta和全球最大的眼鏡制造商EssilorLuxottica公司之間的聯(lián)合項(xiàng)目，并已經(jīng)推出了一種產(chǎn)品：Ray-Ban Stories，它提供了多種智能功能，但沒有內(nèi)置顯示器。

在Meta Connect 2022上，Meta和EssilorLucottica介紹了其眼鏡項(xiàng)目和合作的最新情況：Ray-Ban Stories將很快獲得免提呼叫聯(lián)系人或通過軟件更新發(fā)送短信的能力。

還有一個(gè)新功能叫做Spotify Tap。Meta寫道：“你只需點(diǎn)擊并握住眼鏡側(cè)面播放Spotify，如果你想聽不同的東西，請(qǐng)?jiān)俅吸c(diǎn)擊并按住，Spotify會(huì)推薦一些新的東西。”

EssilorLucottica可穿戴設(shè)備首席執(zhí)行官Rocco Basilico在主題演講中宣布，他的公司和Meta正在開發(fā)一種新的頭顯，將打開一個(gè)“進(jìn)入元宇宙的門戶”。下一代的Ray-Ban Stories會(huì)有顯示器嗎？扎克伯格和Basilico留下了這個(gè)疑問。

那 Nazare 項(xiàng)目呢？

在Meta Connect 2021上，Meta模擬了通過Project Nazare視圖的樣子。今年，扎克伯格在沒有展示的情況下提供了AR頭顯的另一個(gè)預(yù)告片。

Meta首席執(zhí)行官帶著該設(shè)備的走廊移動(dòng)，并使用EMG腕帶對(duì)其進(jìn)行控制。顯然扎克伯格向 Meta的研究主管Michael Abrash發(fā)送了一條消息，并錄制了一段視頻，這兩者都使用微手勢(shì)。這是通過EMG腕帶實(shí)現(xiàn)的，EMG腕帶攔截手腕上的運(yùn)動(dòng)腦信號(hào)，并在AI的幫助下將其轉(zhuǎn)換為計(jì)算機(jī)命令。Meta認(rèn)為這種類型的接口是未來(lái)最重要的AR操作概念，與語(yǔ)音控制和手部跟蹤一樣。

扎克伯格沒有說Nazare項(xiàng)目何時(shí)會(huì)出現(xiàn)。根據(jù)一份報(bào)告，Meta計(jì)劃在 2024 年推出它，并在 2026 年將其商業(yè)化。

圖片來(lái)源：拍信網(wǎng)正版圖庫(kù)

腦機(jī)接口

Meta研究更新中的另一個(gè)塊涉及上述 EMG 腕帶。Meta依靠這項(xiàng)技術(shù)和個(gè)性化AI支持未來(lái)的AR界面相結(jié)合，它能識(shí)別情況和行動(dòng)的背景，并積極支持眼鏡佩戴者的日常生活。這應(yīng)該可以在人與計(jì)算機(jī)之間實(shí)現(xiàn)直觀、幾乎無(wú)摩擦的界面。

Meta寫道：“通過結(jié)合機(jī)器學(xué)習(xí)和神經(jīng)科學(xué)，這個(gè)未來(lái)的界面將適用于不同的人，同時(shí)通過一個(gè)協(xié)同適應(yīng)性學(xué)習(xí)的過程來(lái)解釋他們?cè)谏怼Ⅲw型等方面的差異。”

一個(gè)視頻說明了這一點(diǎn)。在其中，可以看到兩名Meta員工通過EMG腕帶和手指的動(dòng)作玩簡(jiǎn)單的街機(jī)游戲。請(qǐng)注意，它們使用的手勢(shì)略有不同，人工智能從信號(hào)和運(yùn)動(dòng)中學(xué)習(xí)并生成單個(gè)模型。算法訓(xùn)練得越好，必須移動(dòng)的手和手指就越少。該系統(tǒng)通過解碼手腕上的信號(hào)并將其轉(zhuǎn)換為計(jì)算機(jī)命令來(lái)識(shí)別該人已經(jīng)決定的動(dòng)作。

面向視障人士的AR導(dǎo)航

Meta正在與卡內(nèi)基梅隆大學(xué)（CMU）合作開展一項(xiàng)研究項(xiàng)目，以幫助視障人士在復(fù)雜的室內(nèi)環(huán)境中導(dǎo)航。

該大學(xué)研究人員使用Meta的 Project Aria傳感眼鏡以3D掃描匹茲堡機(jī)場(chǎng)。他們使用這個(gè)環(huán)境的3D地圖來(lái)訓(xùn)練AI本地化模型。因此，由CMU開發(fā)的智能手機(jī)應(yīng)用程序NavCog可以通過轉(zhuǎn)述音頻指令來(lái)引導(dǎo)用戶更安全地通過機(jī)場(chǎng)。
簡(jiǎn)單的3D掃描

像MetaQuest Pro這樣的MR頭顯會(huì)在設(shè)備內(nèi)部顯示物理環(huán)境。他們還不能掃描對(duì)象并將其另存為3D模型。如果這項(xiàng)技術(shù)能成為現(xiàn)實(shí)，那么就有可能將真實(shí)對(duì)象帶入虛擬環(huán)境。

Meta寫道：“從頭開始構(gòu)建3D對(duì)象很困難，使用物理對(duì)象作為模板可以更容易更快捷。但是今天沒有無(wú)縫的方法來(lái)做到這一點(diǎn)，所以我們正在研究?jī)煞N不同的技術(shù)來(lái)幫助解決這個(gè)問題。”

第一個(gè)使用機(jī)器學(xué)習(xí)，稱為神經(jīng)輻射場(chǎng)或簡(jiǎn)稱NeRF，從幾張照片中創(chuàng)建一個(gè)非常詳細(xì)的3D對(duì)象。

第二種技術(shù)稱為逆向渲染，使用此方法數(shù)字化的對(duì)象會(huì)對(duì)VR環(huán)境中的光照和物理場(chǎng)做出動(dòng)態(tài)反應(yīng)。

這兩種技術(shù)的缺點(diǎn)是它們尚未實(shí)時(shí)工作。然而，Meta認(rèn)為它們是實(shí)現(xiàn)物理對(duì)象簡(jiǎn)單3D掃描的重要步驟。

逼真的虛擬化身對(duì)于扎克伯格來(lái)說，這是VR和AR的殺手級(jí)應(yīng)用程序。

為此，Meta多年來(lái)一直在研究所謂的Codec Avatars，其外觀與人類原始版本幾乎沒有區(qū)別。

在Meta Connect 2021 上，Meta展示了第二代Codec Avatars，并展示了全身化身。今年，該技術(shù)又進(jìn)行了一次更新。

Codec Avatars 2.0現(xiàn)在可以在虛擬服裝之間切換，而且更具表現(xiàn)力。為了展示改進(jìn)的表現(xiàn)力，扎克伯格有一個(gè)由他自己制作的Codec Avatar。

Codec Avatars營(yíng)銷和使用的最大問題之一是其復(fù)雜創(chuàng)建過程，用戶必須在特殊的3D工作室中掃描自己。

為了簡(jiǎn)化個(gè)人虛擬化身的生成，Meta正在開發(fā)即時(shí)Codec Avatars。只需用智能手機(jī)對(duì)面部進(jìn)行兩分鐘的掃描即可。

這個(gè)過程的缺點(diǎn)是，完成后的虛擬化身看起來(lái)并不像扎克伯格的那么逼真，創(chuàng)建并準(zhǔn)備使用虛擬化身仍然需要幾個(gè)小時(shí)的時(shí)間。然而，Meta正在努力加快這一進(jìn)程。

Meta強(qiáng)調(diào)，這些項(xiàng)目顯示了研究成果，技術(shù)不一定要找到產(chǎn)品商業(yè)化的方式。Meta寫道：“不過，它還是可以窺見未來(lái)5到10年該技術(shù)的發(fā)展方向。”（來(lái)源：新浪VR）

轉(zhuǎn)載請(qǐng)標(biāo)注來(lái)源！更多LED資訊敬請(qǐng)關(guān)注官網(wǎng)(007seojiaoyu.cn)或搜索微信公眾賬號(hào)(LEDinside)。