【儀表網(wǎng) 研發(fā)快訊】近年來，深度學習網(wǎng)絡憑借卓越的能力，在不同領域取得了成果，但訓練出高質(zhì)量的深度學習網(wǎng)絡面臨挑戰(zhàn)。盡管可視化方法為深度學習網(wǎng)絡訓練提供了輔助，但當前主流的事后分析策略在實際應用中存在較多問題，如數(shù)據(jù)量龐大導致存儲困難、I/O開銷過高以及無法實現(xiàn)實時干預等。特別是對于深度學習網(wǎng)絡訓練過程產(chǎn)生的海量時間序列數(shù)據(jù)，現(xiàn)有工具難以從中提取出詳細的訓練過程信息，這阻礙了模型優(yōu)化。
 

　　中國科學院計算機網(wǎng)絡信息中心先進交互式應用與發(fā)展部團隊創(chuàng)新性地提出了針對深度學習模型訓練數(shù)據(jù)的原位可視分析框架，形成了原位特征提取算法和神經(jīng)元學習模式抽象算法。原位特征提取算法在模型運行時復用內(nèi)存數(shù)據(jù)，實時分析動態(tài)數(shù)據(jù)，解決了傳統(tǒng)事后分析的數(shù)據(jù)存儲和I/O瓶頸問題；而神經(jīng)元學習模式抽象算法則基于原位特征數(shù)據(jù)，抽象出神經(jīng)元的三種學習模式，為可視分析提供支持。
 

　　這一框架在性能方面表現(xiàn)良好，對千萬參數(shù)深度神經(jīng)網(wǎng)絡模型的時序訓練數(shù)據(jù)壓縮率可達1% ，能夠支撐訓練全過程的問題可視分析與回溯，可以實現(xiàn)batch level神經(jīng)元信息可視化，為深度學習模型優(yōu)化提供全新視角和支持。
 

　　相關(guān)研究成果被IEEE Transactions on Visualization and Computer Graphics錄用。研究工作得到國家自然科學基金和中國科學院戰(zhàn)略性先導科技專項的支持。
 

深度學習模型原位分析流程
 

深度學習模型原位可視分析系統(tǒng)