隨著VR產業的開枝散葉和走向成熟，VR與眾多其他技術的結合也展現出了極大的應用潛力。比如在剛剛結束的Vive X第三批團隊Demo Day上，就出現了數家“丟掉”頭顯、只留下追蹤方案＋Tracker的企業。

Red Pill Lab是此次Vive X中唯一一支來自臺灣的團隊。而能夠從數千家申請企業中脫穎而出，正是因為公司將獨家的AI技術和Tracker相結合，成功實現了低成本的全身動捕方案。在Demo Day之前，VR陀螺記者也特地與公司的兩位創始人RH和Brian深入了解了背后的技術，以及親身體驗了一把隨時“變身”卡通人物的經歷。

成本不到2萬塊！用AI識別你的聲音

對于大多數人來說，“全身動捕”聽上去是一項非常遙遠和高大上的技術。實際上，這項本來用于影視行業的技術在近年來已經逐漸在泛娛樂產業得到應用，比如最近大火的“虛擬主播”就大都采用了全身動捕，而非真的使用人工智能。

在Vive Tracker推出之時，其能夠以低成本方式實現動作捕捉的能力也獲得了不少關注。Red Pill Labs正是利用了Tracker的這一特性實現了對用戶身體的捕捉，同時再通過AI進行面部表情的深度學習計算，從而在虛擬形象身上實時呈現出真人表演者的動作。

但Red Pill最特殊的一點在于，和其他通過攝像頭捕捉面部表情的方案不同，他們選擇捕捉用戶的聲音。

“我們認為聲音是被很多人忽視的，”RH說。

據他介紹，公司的這套系統在通過麥克風捕捉到用戶的聲音之后，借由AI對聲音數據進行實時的分析，然后同步在虛擬形象臉部生成表情。這里的表情包含兩部分，一個是實時的嘴形，其他部分則通過眉毛的運動來表現。

這樣的描述不禁讓我想到了Animoji。當然蘋果采用了TOF方案，也就是通過“劉?！蹦翘幍囊幌盗猩疃葦z像頭來實現實時的面部捕捉。但是Red Pill的聲音方案真的靠譜嗎？

從記者的體驗來看，聲音轉化成面部表情的效果居然出人意料的不錯。從視頻中我們可以看到，動畫人物嘴部的動作基本上和表演者的聲音沒有延時，同時也非機械的一張一合，而是隨著聲音的變化在幅度上不一樣。同時，動畫人物的眉毛也會在發聲的過程中一起運動，包括眼睛的大小也會有小幅度的變化，這些元素交織在一起呈現出虛擬人物表情的變化。

據Brian介紹，目前世界上正在研發這類技術的僅有Red Pill、英偉達和迪士尼。英偉達技術的限制在于，需要鎖定同一個表演者的聲紋和虛擬角色；迪士尼則需要先將要講的東西變成文字，再讓機器處理成虛擬人物臉上的實時表情。

除了面部表情，Red Pill通過Tracker＋Lighthouse對表演者身體動作的捕捉也已經做到非常自然。在體驗的20分鐘過程中，動捕沒有出現卡頓現象，蹲下、坐下、轉身和小跑時的追蹤也沒有問題，肩膀和手腕也可以轉動。由于公司的這套軟件基于Unity的架構開發，因此也可以通過手柄上的按鍵實時切換虛擬表演的背景圖片（視頻），以及為虛擬角色設計武器、交互等。公司甚至還自行開發了一款手套，可以更為精細的模擬出手指的動作。

Brian還談到，目前這套方案最多可以讓兩位表演者同時進習動捕的表演。但隨著新一代Lightohuse的推出，接下來將會實現4個人在10＊10平方米的空間內同時表演。

而實現這些效果的前提——用戶需要花費的成本相當低。對于有Vive的用戶，只需另外購買4個Tracker，以美元計算為400刀；對于沒有Vive的用戶來說，目前購入一套Vive僅需500刀，也就是硬件成本在900刀左右。

從VR社交轉向教育和直播

實際上，我和Red Pill Labs的CTO，也是創始人之一的Dobry早在去年7月的RISE香港展會上就有過交流。但是在9個月之前，公司還希望將這套系統用在VR社交平臺上，AI技術可以通過對大數據的分析和深度學習來對Avatar的動作進行預測，數據越多，Avatar呈現出來的動作就會越自然和符合邏輯。