【儀表網(wǎng) 研發(fā)快訊】在機(jī)器人領(lǐng)域，場(chǎng)景識(shí)別可以幫助機(jī)器人理解周圍環(huán)境，完成精準(zhǔn)的作業(yè)任務(wù)。隨著人工智能技術(shù)在各行業(yè)的深入應(yīng)用，對(duì)場(chǎng)景識(shí)別的準(zhǔn)確性和魯棒性要求不斷提高。
 

　　在實(shí)際場(chǎng)景中，光照變化、物體遮擋、視角差異及同類場(chǎng)景的多樣性，容易導(dǎo)致識(shí)別方法難以提取穩(wěn)定且具代表性的特征。此外，復(fù)雜場(chǎng)景中多語(yǔ)義信息的高效融合、避免信息冗余或丟失，以及提升模型泛化能力，是亟待解決的技術(shù)難點(diǎn)。
 

　　近日，中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所光電信息技術(shù)研究室機(jī)器視覺(jué)研究部科研團(tuán)隊(duì)提出了一種結(jié)合CLIP多模態(tài)模型的場(chǎng)景識(shí)別新方法——OSFA(Object-Level and Scene-Level Feature Aggregation)。該方法通過(guò)動(dòng)態(tài)聚合對(duì)象級(jí)與場(chǎng)景級(jí)特征，可以顯著提升復(fù)雜場(chǎng)景的分類精度與魯棒性。
 

OSFA方法框架
 

　　首先，科研人員將CLIP的視覺(jué)特征作為先驗(yàn)信息，采用對(duì)象級(jí)交叉注意力機(jī)制，提取與場(chǎng)景高度相關(guān)的局部細(xì)節(jié)特征。隨后，利用CLIP的文本編碼器生成類別文本語(yǔ)義信息，引導(dǎo)從圖像中提取全局語(yǔ)義特征，再通過(guò)場(chǎng)景級(jí)交叉注意力機(jī)制形成最終的場(chǎng)景表示。為了增強(qiáng)模型魯棒性，還引入了多損失策略，包括線性分類損失、場(chǎng)景對(duì)比損失和類別對(duì)比損失。
 

　　研究結(jié)果顯示，該場(chǎng)景識(shí)別方法可有效聚合特征，顯著提升復(fù)雜場(chǎng)景分類精度與魯棒性，能為視覺(jué)導(dǎo)航、機(jī)器人應(yīng)用等領(lǐng)域的場(chǎng)景理解與智能決策提供技術(shù)支撐，助力提升感知與任務(wù)執(zhí)行效率。
 

　　該研究以O(shè)bject-Level and Scene-Level Feature Aggregation with CLIP for Scene Recognition為題發(fā)表于國(guó)際期刊Information Fusion。沈陽(yáng)自動(dòng)化所博士生王群為第一作者，沈陽(yáng)自動(dòng)化所朱楓研究員為通訊作者。
 

　　光電信息技術(shù)研究室機(jī)器視覺(jué)研究部長(zhǎng)期從事智能感知與場(chǎng)景理解關(guān)鍵技術(shù)的研究，致力于推動(dòng)人工智能在智能制造、服務(wù)機(jī)器人、智慧城市等領(lǐng)域的深入應(yīng)用。(光電信息技術(shù)研究室)