NVIDIA 首度展示結合 Isaac 與 Holodeck技術的AI機器人 並推出 VRWorks 360 Video SDK
NVIDIA (輝達) 今天宣布於 SIGGRAPH 大會首度亮相在虛擬實境環境 Holodeck 計畫 (Project Holodeck) 中，利用 Isaac Lab 模擬器訓練出的機器人，並同時推出 VRWorks 360 Video SDK，協助全球各地內容創作者以即時串流方式向觀眾播放高畫質 360 度全景影片。
現場與會來賓不僅能在真實生活與 Isaac 機器人輪流推倒骨牌，還能戴上 VR 頭盔，透過 Holodeck 進入模擬世界進行遊戲，藉此展現 Isaac 機器人能透過現實或虛擬世界的互動進行學習，利用 AI 不斷自我修正與更新。
此外，NVIDIA 於 Holodeck 平台上展出瑞典超跑品牌 Koenigsegg 旗下車款 Regera，其虛擬車模型由超過 5000 萬個多邊形組建而成。現場來賓能變換車色、移動透視環觀看零件並探索跑車模型的細節，同時，各展間的參觀者能在共用的虛擬空間中看見彼此並相互交談。
NVIDIA 也於現場展出最新推出的 VRWorks 360 Video SDK，利用 Z-CAM V1 PRO 與 Quadro P6000 繪圖卡製作現場 360 度即時全景影片串流，讓參觀者能見識實機運行的 360 度影片拼接功能。
親身體驗Isaac與Project Holodeck
NVIDIA Isaac 是一款以 Isaac Lab 強大模擬環境進行訓練的 AI 機器人，其能幫助機器人學習精細的人機互動工作，如倒咖啡、照顧老年人、動手術以及玩骨牌等。而 Project Holodeck 則為能進行精準物理模擬並同時容納多個使用者的虛擬實境協作平台，讓人類進入模擬世界並以真實生活中的方式在 VR 環境中與機器人進行互動、調校以及測試，藉此研究人員便能以更安全、快速、低成本的方式將它們部署在真實世界中。
現場展示兩種技術如何共同運作，如在骨牌遊戲中，NVIDIA 利用深度學習結合電腦視覺，讓機器人感知人類的存在並做出回應，第一層類神經網路會根據所擷取的骨牌影像辨識遊戲進行狀態，並判斷各種符合規則的走法，接著資料傳給另一個類神經網路，利用增強學習技術判斷該選擇哪片骨牌以及置於何處。
NVIDIA開啟未來即時360度影片
最新 VRWorks 360 Video SDK 中的 360 度全景拼接技術是即時製片與現場轉播產業的大躍進，不僅能加速全景影片拼接流程還能維持高品質影像畫素，讓製作公司、相機廠商與 app 程式開發者能將 360 度影片拼接 SDK 整合到即時轉播與後製作業。
NVIDIA 與率先將專業即時 VR 攝影機帶到大眾市場的 Z CAM 合作，將 NVIDIA VRWorks 360 度影片 SDK 整合到新款 V1 Pro 機種以及 WonderStitch 和 WonderLive 拼接程式。
預計於 8 月 7 日開放下載的 VRWorks 360 Video SDK 讓開發者能擷取、拼接和串流360 度影片。在即時與後製模式下都支援 360 度單聲道 與立體聲作業流程， VRWorks 將帶來：
- 透過 4K 攝影機進行即時與離線影片拼接
- GPU 加速的影片解碼、校正、拼接及編碼
- 360 度投影至立體地圖與全景模式
- 支援 GPUDirect for Video技術 ，以低延遲模式輸入影片
- 支援 32 個影片串流
更多訊息
Project Holodeck 公測試用計畫將於 2017 年 9 月開放，欲收到最新相關訊息請至 NVIDIA 官方網站進行註冊。
欲下載 VRWorks 360 SDK 請至 NVIDIA 開發者專區，欲下載支援 VRWorks 360 影片拼接功能的 WonderLive 與 WonderStitch 請至 Z CAM 官方網站。