2022年8月22日-24日，VALSE 2022大會(huì )在天津國家會(huì )展中心正式舉辦。奧比中光作為金牌贊助商，以「見(jiàn)」機而行，「視」不可擋為主題亮相，憑借六足仿生機器人JetHexa、高精度三維人臉重建系統、三維視覺(jué)在線(xiàn)課程等產(chǎn)品及內容，展示3D視覺(jué)感知在機器人、元宇宙等領(lǐng)域的創(chuàng )新應用潛能，讓與會(huì )者一覽3D數字化世界的精彩。

- 01 -

六足仿生機器人燃爆現場(chǎng)

8月22日上午，六足仿生機器人JetHexa在VALSE 2022奧比中光展位亮相，憑借酷炫的外觀(guān)與3D視覺(jué)“慧眼”成為了現場(chǎng)焦點(diǎn)，吸引眾多青年學(xué)子與開(kāi)發(fā)者交流體驗。JetHexa搭載了奧比中光DaBai DCW深度相機以及NVIDIA Jetson Nano、激光雷達等硬件，可實(shí)現精準的建圖導航、動(dòng)態(tài)避障、路徑規劃、體感交互。

▲ 六足仿生機器人JetHexa成為VALSE現場(chǎng)焦點(diǎn)

3D視覺(jué)感知交互能力是機器人的“眼睛”。奧比中光的3D視覺(jué)傳感器可以幫助機器人高效完成人臉識別、距離感知、避障、導航等功能。奧比中光此次還展出了Orbbot S1移動(dòng)機器人、Orbbot Arm桌面機械臂系統等機器人開(kāi)發(fā)相關(guān)套件，助力開(kāi)發(fā)者打造機器人3D視覺(jué)應用。

▲ 奧比中光展位吸引眾多學(xué)子圍觀(guān)

- 02 -

頂會(huì )論文分享

結合單目結構光和雙目立體視覺(jué)的深度估計

8月23日下午，在VALSE大會(huì )Workshop上，奧比中光研究院三維重建組負責人徐玉華博士以《消費級深度相機與應用》為題發(fā)表演講，并分享其團隊CVPR 2022論文成果《結合單目結構光和雙目立體視覺(jué)的深度估計》(Depth Estimation by Combining Binocular Stereo and Monocular Structured-Light)。

▲ 奧比中光研究院徐玉華博士演講現場(chǎng)圖

在Workshop現場(chǎng)，徐玉華博士從現有消費級深度相機入手，對比了單目結構光、被動(dòng)雙目、主動(dòng)雙目、ToF等不同技術(shù)方案的優(yōu)劣勢，并分享了其在論文中提出的一種新型深度估計系統：它由一個(gè)RGB相機、一個(gè)紅外相機和一個(gè)紅外散斑投影器組成。

▲ 徐玉華博士團隊提出的全新深度相機設計思路

紅外相機可以同時(shí)接收紅外光（人眼不可見(jiàn)）和環(huán)境光（人眼可見(jiàn)）。紅外相機和紅外投影器可以構成一個(gè)單目結構光子系統，而紅外相機和RGB相機又可以構成一對雙目立體視覺(jué)子系統。

主動(dòng)的單目結構光子系統對被動(dòng)雙目立體視覺(jué)子系統難以處理的弱紋理對象（如白墻）具有很好的魯棒性，而雙目子系統對于遠距離物體和戶(hù)外場(chǎng)景具有較好的適應性。因此，這兩種類(lèi)型的深度估計子系統可以?xún)?yōu)勢互補。通過(guò)將單目結構光子系統獲得的初始深度圖融合到立體匹配網(wǎng)絡(luò )的代價(jià)空間（Cost Volume）中，可以獲得一個(gè)魯棒的深度估計系統。

▲ 深度估計流程

基于該原理，徐玉華博士團隊構建了一個(gè)原型系統，并建立了一個(gè)新的立體視覺(jué)數據集，以驗證新方法的有效性。測試結果表明，該系統的Bad2.0匹配誤差不到被動(dòng)立體視覺(jué)系統的1/3。

▲ 論文提出的深度相機的效果，與現有的主動(dòng)式深度傳感系統Intel D435相比，輸出的深度圖具有更好的完整性，并且深度圖和RGB圖像是逐像素天然對齊的

▲ 與其他深度相機在室外對比

- 03 -

精度優(yōu)于0.15mm，重建元宇宙“數字人”

在演講中，徐玉華博士還展示了奧比中光專(zhuān)門(mén)為高精度人臉三維重建設計開(kāi)發(fā)的消費級深度相機Gemini Metric。由于采用了優(yōu)化的硬件和高精度立體匹配算法，Gemini Metric可實(shí)現高幾何精度、高保真紋理的三維人臉重建，精度優(yōu)于0.15mm，可滿(mǎn)足高質(zhì)量數字人創(chuàng )建、醫學(xué)美容整形等應用。

▲ 由Gemini Metric生成的三維人臉模型

- 04 -

從入門(mén)到精通，奧比中光3D視覺(jué)課程上線(xiàn)

本次參展VALSE 2022，奧比中光3D視覺(jué)開(kāi)發(fā)者社區現場(chǎng)帶來(lái)《三維視覺(jué)：原理與實(shí)踐》在線(xiàn)課程，為眾多學(xué)子、開(kāi)發(fā)者開(kāi)啟3D視覺(jué)世界大門(mén)。

該課程由奧比中光多位算法專(zhuān)家、資深算法工程師打造，系統地介紹了3D視覺(jué)的基本原理及應用實(shí)踐。課程內容涵蓋基礎二維圖像處理算法、深度學(xué)習方法、相機模型與標定、雙目立體視覺(jué)、散斑結構光、飛行時(shí)間法（ToF）等三維成像原理與算法、基于點(diǎn)云的三維重建算法、基于RGBD相機和LiDAR的SLAM算法、3D人臉識別算法、RGBD圖像分割算法、基于RGBD圖像人體姿態(tài)估計、ROS機器人小車(chē)實(shí)戰等，幫助學(xué)生、開(kāi)發(fā)者在3D視覺(jué)領(lǐng)域實(shí)現從入門(mén)到精通的進(jìn)階。

▲ ?百度搜索“3D視覺(jué)開(kāi)發(fā)者社區”進(jìn)入大講堂板塊，免費學(xué)習全系列課程

3D視覺(jué)感知技術(shù)已經(jīng)深入大眾的生活。在智能手機上，3D視覺(jué)感知被用于支付、解鎖、照片美顏等。在移動(dòng)機器人和無(wú)人機上，3D視覺(jué)感知被用于避障、定位、導航。在智能汽車(chē)行業(yè)，3D視覺(jué)感知被用于自動(dòng)駕駛、輔助駕駛。在A(yíng)R/VR、元宇宙等領(lǐng)域，3D視覺(jué)感知被用于人機交互、內容創(chuàng )作。

奧比中光是市場(chǎng)上為數不多能夠提供全套自主知識產(chǎn)權3D視覺(jué)感知產(chǎn)品的企業(yè)，也是全球少數幾家全面布局六大3D視覺(jué)感知技術(shù)路線(xiàn)的公司。目前，奧比中光已經(jīng)構建起“全棧式技術(shù)研發(fā)能力+全領(lǐng)域技術(shù)路線(xiàn)布局”的3D視覺(jué)感知技術(shù)體系，重點(diǎn)賦能生物識別、機器人、智能終端、智能汽車(chē)、智慧家庭、數字孿生、AR交互等應用場(chǎng)景，為各行各業(yè)數字化智能化升級提供3D視覺(jué)感知技術(shù)支撐。