Page 46 - CMOS影像感測器的元視覺：超越人眼看世界

DESIGN IDEAS
利用頭部追蹤功能評估3D音訊
作者:Charles Pao，CEVA 資深行銷專員
沉浸式3D/空間音效結合延展實境 (XR)/360°全景影片，帶您瞬間從 家中來到茂密森林深處，彷彿能聽 見腳下踩踏枯枝的清脆聲響，看見 東方靈動的奔鹿，以及北美紅雀從 眼前飛過的振翅英姿。
從頭部移動開始，直到3D音訊處 理變更並適應頭部新方向所經過 的時間。
少我們能以主觀感受來評判。根據 德國柏林工業大學(TU Berlin)音訊 傳播學會(Audio Communication Group)進行的研究顯示，人類受試 者的平均察覺度是108毫秒(ms)，對 單一音源的絕對察覺閾值則介於52 至 7 3 m s。更 明 確 而 言，他 們 得 出 的 結果是一種「總系統延遲」(Total System Latency)，表述實體輸出 與相應揚聲器輸出之間的時間差。 研究結果指出，從實際發生動作到 人類察覺變化所經過的時間平均可 達108ms。此外，從單一來源播放的 聲音更容易被察覺。
精確的頭部追蹤功能有助於 提供生動逼真的使用體驗(UX)， 也能夠協助瞭解評估解決方案時 應考慮的關鍵因素，進而在此日益 成長的產業中無往不利。
• 頭部追蹤精確度:本文僅 探討3-DOF (3自由度)定向的頭部 追蹤，而非兼具位移和定向感知的 6-DOF (6自由度)頭部追蹤。準確 度是指在實際動作及其於XR環境 中相應位置之間所測得的差異。 如果感測器(及其演算法)不夠準 確，使用者或許可以即時追蹤頭部 動作，但該動作將無法穩定地反映 在虛擬環境中。
頭部追蹤功能的關鍵考量因素
為了便於理解，在此摘錄頭部 追蹤功能的關鍵考量因素:
• 頭部追蹤流暢度:這是指 使用者改變方向時，3D音訊轉場 的清晰與流暢程度。理想的XR體 驗不該發生跳針狀況。驟然變化的 輸出訊號會破壞沉浸感，甚至可能 導致遊戲中的角色喪命。
在聆聽預錄音樂或其他純音 訊內容時，這種延遲的影響微乎其 微。然 而，在 播 放 錄 製 影 片 時，如 果 顯示器不放慢影像速度來配合音 訊輸入的延遲，就可能發生語音和 畫面無法同步的問題。電玩遊戲最 忌諱的就是畫面延遲，因為這對遊 戲表現會產生重大影響，因此若要 保持遊戲中的語音同步效果，就必 須擁有低延遲的音訊效能。雖然不 可能完全沒有延遲，但重點在於將 其減到最小，降低到使用者無法察 覺的地步。
• 延遲:這是指從影音來源 發出訊號開始，直到使用者察覺訊 號的延遲時間。本文中將其細分為 兩個部份。
‒音訊輸入延遲:這段延遲是 從音訊來源發出訊號開始，直到 使用者聽見音訊所經過的時間。
權衡測試:頭部追蹤延遲
‒頭部追蹤延遲:這段延遲是
在缺少適當測量設備的情況 下，要進行延遲測試不太容易，但至
圖1:在音訊裝置執行空間處理，由於採用無線通訊，因此僅在音訊輸入增加延遲。
空間音效系統可以透過空間處 理技術分析空間音效輸入，然後得 出相對應的頭部追蹤資料，此過程 通常採用頭部相關傳輸函數(HRTF) 技術，也可能涉及特定混響效果或 其他房間模擬功能。憑藉這項處理 功能，可使用幾種常見的方法來實
44 www.edntaiwan.com