揭榜任務:開展面向空間計算的輕量化Linux內核XR系統技術研究,突破基于動態時間幀補償的低延時全鏈路渲染、針對光學畸變及色散的預校正渲染、基于注視點的動態渲染、三維化顯示等關鍵技術,設計通用一體化的空間感知和智能人機交互接口,提升使用者的沉浸感、交互的自然度。兼容適配不同主芯片平臺;支持主流三維引擎工具和標準。
預期目標:到2025年,完成基于Linux內核的XR操作系統開發工作,系統延遲時間等核心指標達到行業領先;兼容多種硬件主芯片平臺;支持多種三維引擎工具;支持OpenXR、GSXR、WebXR等XR標準;適配超過100款主流應用的三維顯示。
(二)實時三維引擎
揭榜任務:研究多機集群渲染、動態全局光照、高性能圖形圖像處理等技術,研發具備跨平臺能力的實時三維引擎,實現超大規模場景的高性能高質量實時渲染;研究基于機器學習與程序化的內容生成、多人協同交互等基于實時三維引擎的數字化內容創作技術,研發具備程序化內容生成能力的開放引擎創作交互開發工具及創作平臺;基于實時三維引擎,在電視演播、教育、文博、工業等多個領域開發數字化示范應用。
預期目標:到2025年,研發實時三維引擎,支持在主流國內外操作系統上運行,支持單眼和雙眼,最低支持8k分辨率、12bit 位寬的渲染輸出,支持億級三角形在8K 60FPS下的渲染。輸入反饋延遲等性能指標達到國際先進水平。
(三)三維序列數據編碼傳輸方案
揭榜任務:研究三維序列數據編解碼及傳輸框架,結合三維序列數據特點,研究針對三維空間不規則動態網格、稠密點云序列和隱式表示三維模型等6自由度數據編碼系統,實現三維序列數據的高效智能壓縮。研究三維序列數據傳輸技術,圍繞三維序列數據傳輸方式、傳輸協議開展關鍵核心能力和標準構建。在沉浸式通話、元宇宙會議、沉浸視頻點播等場景實現大規模應用。
預期目標:到2025年,在保證高質量的視覺效果條件下,三維空間不規則動態網格、稠密點云序列和隱式表示三維模型等6自由度數據編碼壓縮率達到行業領先水平。實現點云序列傳輸方案設計,實現至少1種點云傳輸協議驗證。
(四)面向元宇宙沉浸多感交互的5G-A網絡
揭榜任務:研究元宇宙業務QoS、網絡資源、計算資源等多要素聯合受限下的5G-A網絡容量理論模型,指導系統性能評估及容量優化。研究支持元宇宙終端計算任務卸載到邊緣、云的5G-A網絡端邊云協同優化,有效降低終端的計算開銷及功耗。研究基于網絡狀態、用戶行為和媒體特征等多維感知信息的沉浸式媒體自適應傳輸,有效提升網絡資源利用率及系統容量。研究基于視頻、音頻、動作及觸覺等多模態數據的5G-A網絡多模態協同傳輸,支持多模態多感官實時交互。
預期目標:到2025年,完成云VR、云AR、分離渲染等元宇宙典型應用場景的系統容量理論模型;支持5G-A網絡下的終端計算任務卸載,實現終端計算開銷及功耗的有效降低;支持沉浸式媒體自適應傳輸,實現網絡資源利用率提升,相比現有5G網絡,單小區系統容量(并發XR用戶數)提升3倍以上;支持多模態協同傳輸,多模態交互場景下端到端時延不超過50毫秒。相關技術指標應通過實驗室仿真驗證或系統原型樣機驗證,達到行業領先水平。
(五)基于物體特征點的三維模型快速匹配系統
揭榜任務:針對基于圖像的三維建模,開展三維模型特征點匹配和對比的研究。主要利用優化后的基于特征(形狀)的技術方法進行粗配準,利用優化后的基于幾何(icp)的技術方法進行精配準,通過降維以及限制自由度的方式實現快速、穩定的配準。突破對點云數據的無序性、非結構化、不均勻和噪聲等干擾,有效地利用已有的信息實現精確、魯棒的點云配準算法,實現在室內正常光照條件下,在市場主流移動設備上快速、精確地完成點云的配準。實現在工業設備維修維護等場景的應用,解決技術專家無法到場指導設備維修維護的問題。需要兼容不同的主芯片平臺。
預期目標:到2025年,完成基于物體特征點的三維模型快速匹配算法;根據不同設備尺寸,建模階段,采集不多于4000個特征點即滿足物體的建模要求,配準階段,不多于10秒完成配準,物體特征點的精確度偏差毫米級。實現在200-2000勒克斯光照強度范圍內,即使建模和配準的環境光照不同,算法都能穩定、準確地配準。系統在重點領域實現規模化商用。
二、重點產品
(六)高逼真數字人快速構建與多模態交互系統