紅外偏振成像系統(tǒng)快速發(fā)展且應(yīng)用廣泛，但評(píng)估其性能的成像系統(tǒng)性能模型發(fā)展不足。迫切需要能夠與先進(jìn)的偏振成像系統(tǒng)相匹配的性能模型。研究認(rèn)為，搭建系統(tǒng)性能模型應(yīng)該考慮幾個(gè)基本條件：是否自動(dòng)化、是否有應(yīng)對(duì)非線性圖像處理的能力、是否能在復(fù)雜環(huán)境下依舊保證性能評(píng)估的準(zhǔn)確性。
據(jù)麥姆斯咨詢報(bào)道，近期，北京理工大學(xué)光電學(xué)院和光電成像技術(shù)與系統(tǒng)教育部重點(diǎn)實(shí)驗(yàn)室的聯(lián)合科研團(tuán)隊(duì)在《紅外技術(shù)》期刊上發(fā)表了以“紅外偏振成像系統(tǒng)性能評(píng)估模型”為主題的文章。該文章第一作者和通訊作者為王霞副教授，主要從事圖像處理、紅外偏振成像、光電探測(cè)等方向的教學(xué)和研究工作。
(資料圖片)
本文首次將深度學(xué)習(xí)方法引入性能模型，提出了一個(gè)自動(dòng)化的基于圖像的紅外偏振成像系統(tǒng)性能模型。并通過紅外偏振輻射原理仿真海面艦船數(shù)據(jù)集，基于該典型場(chǎng)景對(duì)模型展開測(cè)試。實(shí)驗(yàn)結(jié)果表明，該模型對(duì)于紅外偏振成像系統(tǒng)的評(píng)估結(jié)果與人的主觀感知具有較好的一致性。
模型結(jié)構(gòu)與原理
圖1展示了本文所提出模型的基本架構(gòu)。模型由兩個(gè)主要模塊（圖中灰色部分）構(gòu)成：成像系統(tǒng)退化模塊、性能感知模塊（圖中藍(lán)色部分）。成像系統(tǒng)退化模塊用于計(jì)算從光學(xué)系統(tǒng)捕捉場(chǎng)景到顯示器顯示的整個(gè)過程的退化反應(yīng)。性能感知模塊由PRI-YOLOv5網(wǎng)絡(luò)和預(yù)測(cè)網(wǎng)絡(luò)組成，這個(gè)模塊負(fù)責(zé)接收退化圖像，并判斷目標(biāo)的可識(shí)別、可確認(rèn)概率。其中，PRI-YOLOv5網(wǎng)絡(luò)基于原YOLOv5網(wǎng)絡(luò)進(jìn)行改進(jìn)，用網(wǎng)絡(luò)模擬觀察者觀察圖像的信息提取過程和識(shí)別/確認(rèn)圖像中目標(biāo)的判斷過程。預(yù)測(cè)網(wǎng)絡(luò)則學(xué)習(xí)圖像內(nèi)容與可識(shí)別/確認(rèn)概率的關(guān)系，從而破除網(wǎng)絡(luò)僅能判識(shí)已知目標(biāo)（包含在數(shù)據(jù)集中）的局限性。在評(píng)估一個(gè)新的系統(tǒng)時(shí)，我們需要輸入高質(zhì)量的原始圖像，并根據(jù)系統(tǒng)的硬件參數(shù)量身定制成像系統(tǒng)退化模塊，退化完成后輸入性能感知模塊，從而得到最終的目標(biāo)獲取性能。
圖1 基本系統(tǒng)性能模型結(jié)構(gòu)（綠色）?；疑簝蓚€(gè)主要模塊; 藍(lán)色：性能感知模塊
成像系統(tǒng)退化模塊
成像系統(tǒng)退化模塊根據(jù)系統(tǒng)的參數(shù)模擬了系統(tǒng)的退化效應(yīng)。退化主要來自于4個(gè)部分：光學(xué)系統(tǒng)、探測(cè)器、電子電路、顯示器。有些系統(tǒng)集成了數(shù)字圖像處理功能，這些功能的影響可以放在探測(cè)器退化后面模擬。盡管該退化模塊對(duì)整個(gè)系統(tǒng)性能模型有重要的貢獻(xiàn)，但這不是本文主要討論的問題。我們參考文獻(xiàn)，在頻域來完成整個(gè)退化過程。
性能感知模塊
性能感知模塊是本文提出的系統(tǒng)性能模型的重要環(huán)節(jié)，該模塊通過適當(dāng)?shù)赜?xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，使其學(xué)習(xí)人眼對(duì)圖像中目標(biāo)判識(shí)的過程。再根據(jù)后續(xù)統(tǒng)計(jì)得出系統(tǒng)的目標(biāo)獲取性能。它包含了兩個(gè)部分：PRI-YOLOv5網(wǎng)絡(luò)和預(yù)測(cè)網(wǎng)絡(luò)。
PRI-YOLOv5網(wǎng)絡(luò)
YOLO是當(dāng)前計(jì)算機(jī)視覺領(lǐng)域最熱門的目標(biāo)檢測(cè)網(wǎng)絡(luò)之一。自2016以來，YOLO系列網(wǎng)絡(luò)不斷朝著更優(yōu)的方向發(fā)展。YOLOv5是其第五代版本，它采用CSPDarknnet53作為骨干網(wǎng)絡(luò)（Backbone）、PANet作為頸部網(wǎng)絡(luò)（Neck）、YOLO探測(cè)頭作為頭部網(wǎng)絡(luò)（Head）。該網(wǎng)絡(luò)的輸出為圖像中的每個(gè)目標(biāo)標(biāo)注預(yù)選框和標(biāo)簽。預(yù)選框代表著網(wǎng)絡(luò)認(rèn)為目標(biāo)最有可能存在的位置，標(biāo)簽包含了所框選目標(biāo)可能的種類以及相應(yīng)的概率。YOLOv5的損失函數(shù)包括了坐標(biāo)損失、置信度損失和類別損失3個(gè)部分。
深度學(xué)習(xí)起源于神經(jīng)網(wǎng)絡(luò)，它通過模擬人腦對(duì)信息抽象的過程提取信息，來完成高級(jí)任務(wù)?？紤]到Y(jié)OLOv5的結(jié)構(gòu)和其優(yōu)越的性能，我們從原理上進(jìn)行詳細(xì)的分析，并對(duì)該網(wǎng)絡(luò)的頭部網(wǎng)絡(luò)輸出和損失函數(shù)部分進(jìn)行改進(jìn)。使其替代傳統(tǒng)模型中的仿人眼視覺系統(tǒng)模型/觀察者對(duì)大量數(shù)據(jù)進(jìn)行觀察并判斷的過程，完成模擬人眼和大腦自動(dòng)對(duì)特征提取并輸出場(chǎng)景中目標(biāo)的可識(shí)別、可確認(rèn)概率的功能。由于其輸出為可識(shí)別和確認(rèn)概率（PRI），將該改進(jìn)的網(wǎng)絡(luò)稱為PRI-YOLOv5。圖2為PRI-YOLOv5的結(jié)構(gòu)及輸出定義示意圖。
圖2 PRI-YOLOv5的結(jié)構(gòu)及輸出定義示意圖
預(yù)測(cè)網(wǎng)絡(luò)
上述的PRI-YOLOv5網(wǎng)絡(luò)已實(shí)現(xiàn)了性能感知模塊的基本功能，但由于目標(biāo)檢測(cè)網(wǎng)絡(luò)只能對(duì)數(shù)據(jù)集中存在的/已標(biāo)注的目標(biāo)類別進(jìn)行判識(shí)。而作為判斷系統(tǒng)性能的一個(gè)環(huán)節(jié)，該模塊應(yīng)該根據(jù)成像系統(tǒng)拍攝圖像的質(zhì)量，對(duì)圖像中所有的目標(biāo)均可進(jìn)行判識(shí)。為破除PRI-YOLOv5對(duì)可判識(shí)目標(biāo)類別的限制，我們選取文獻(xiàn)中的網(wǎng)絡(luò)作為預(yù)測(cè)網(wǎng)絡(luò)。此網(wǎng)絡(luò)由Su等提出并命名為HyperIQA，被用于盲圖像質(zhì)量評(píng)價(jià)領(lǐng)域。它包含了3個(gè)部分：提取語義特征的骨干網(wǎng)絡(luò)，學(xué)習(xí)質(zhì)量感知規(guī)則的超網(wǎng)絡(luò)和預(yù)測(cè)最終數(shù)值的目標(biāo)網(wǎng)絡(luò)。該預(yù)測(cè)網(wǎng)絡(luò)可以隨著圖像內(nèi)容的變化自適應(yīng)地調(diào)節(jié)權(quán)重參數(shù)，使預(yù)測(cè)值不斷向真值靠近。可用于學(xué)習(xí)圖像內(nèi)容和數(shù)字（概率）之間的映射關(guān)系。
如圖3所示，只需將PRI-YOLOv5的數(shù)據(jù)集和其訓(xùn)練出的概率值分別作為預(yù)測(cè)網(wǎng)絡(luò)的輸入和真值標(biāo)簽。網(wǎng)絡(luò)即可學(xué)習(xí)其映射關(guān)系。在訓(xùn)練完成后，該網(wǎng)絡(luò)理論上可以對(duì)不同條件下拍攝的目標(biāo)（或許是未知類別）進(jìn)行識(shí)別和確認(rèn)概率的判斷。主觀上來說，具有相似語義特征或內(nèi)容的圖像中的目標(biāo)應(yīng)具有相近的可識(shí)別/確認(rèn)概率。另外，由于每張圖片對(duì)應(yīng)兩個(gè)概率標(biāo)簽，所以該網(wǎng)絡(luò)需要訓(xùn)練兩次。
圖3 預(yù)測(cè)網(wǎng)絡(luò)示意圖
實(shí)驗(yàn)過程與結(jié)果
鑒于紅外偏振數(shù)據(jù)的難以獲取，本章首先基于海面場(chǎng)景的紅外偏振輻射模型，建立了仿真數(shù)據(jù)集。隨后，我們分別介紹了性能感知模塊兩個(gè)網(wǎng)絡(luò)的實(shí)施細(xì)節(jié)及結(jié)果。最后，對(duì)整個(gè)模型進(jìn)行了測(cè)試。
海面艦船數(shù)據(jù)集
圖4描述了海面艦船場(chǎng)景仿真的過程。首先，下載艦船的3D模型文件（通常以.max結(jié)尾），并對(duì)船模型做一些必要的簡(jiǎn)化，保留其主要特征，來避免模型的過度復(fù)雜并減少對(duì)計(jì)算資源的消耗。導(dǎo)出艦船模型文件并生成高度場(chǎng)。同時(shí)，基于波浪譜合成高分辨率的海面?？紤]到艦船吃水的實(shí)際情況，適當(dāng)?shù)亟档团灤母叨葓?chǎng)使其與海面高度場(chǎng)相融合。參考文獻(xiàn)對(duì)合成高度場(chǎng)進(jìn)行光線逆追跡，同時(shí)保存反射點(diǎn)、法線和反射方向等重要信息。最后，結(jié)合這些有效信息、折射率及艦船和海面的溫度等計(jì)算出偏振輻射度，從而獲得場(chǎng)景仿真結(jié)果。
圖4 場(chǎng)景仿真示意圖
根據(jù)上述原理，選取6個(gè)不同型號(hào)的船只作為場(chǎng)景中的觀測(cè)目標(biāo)，它們屬于3個(gè)不同的種類：護(hù)衛(wèi)艦、驅(qū)逐艦、巡邏艦。表1展示了船只模型及其尺寸，具體型號(hào)以ship1~ship6代為表示。由于場(chǎng)景仿真的原理復(fù)雜，計(jì)算量大耗時(shí)較長(zhǎng)。雖然針對(duì)船模型以及尺寸較小的海面進(jìn)行仿真，可成倍縮小計(jì)算量。但是基于模型仿真并不完全符合實(shí)際情況，如仿真距離和焦距不同對(duì)路徑中大氣傳輸和紅外輻射的影響等。故按照表2中組1參數(shù)對(duì)船模型進(jìn)行仿真，并配套以較小的海面尺寸、較近的拍攝距離，用于網(wǎng)絡(luò)預(yù)訓(xùn)練。另外，按照船只的實(shí)際尺寸對(duì)模型進(jìn)行放大。護(hù)衛(wèi)艦和驅(qū)逐艦?zāi)Ｐ烷L(zhǎng)度在1.94~4 m之間，實(shí)際長(zhǎng)度約為模型的50倍，在97~196 m之間，長(zhǎng)寬比約為8。巡邏艦由于其任務(wù)的特殊性，通常具有更小的尺寸，模型長(zhǎng)度約為2 m，實(shí)際長(zhǎng)度約為模型的35倍，約為62.5 m，長(zhǎng)寬比約為4。按照表2組2參數(shù)對(duì)其進(jìn)行仿真，用于網(wǎng)絡(luò)的正式訓(xùn)練。假設(shè)仿真是在有太陽輻射的夏季進(jìn)行的，表2列舉了其他的變量和常量。相機(jī)的硬件參數(shù)根據(jù)法國(guó)CEDIP公司的一款Jade中波紅外偏振相機(jī)的說明書進(jìn)行設(shè)置。
仿真圖像共計(jì)506組，圖5給出了一組仿真結(jié)果示例，（a）~（e）是5個(gè)常見的Stokes參數(shù)，即偏振角（AoP）、線偏振度（DoLP）、強(qiáng)度（I）、水平和垂直方向的輻射強(qiáng)度差（Q）和對(duì)角方向輻射強(qiáng)度差（U）。經(jīng)過觀察，圖（b）~（d）保存了更多的圖像細(xì)節(jié)及偏振信息，將其依次拼接為三通道圖像，記為1張。共計(jì)圖像506張，組1圖像288張，組2圖像218張。
圖5 仿真結(jié)果示例
性能感知模塊實(shí)施細(xì)節(jié)及結(jié)果
PRI-YOLOv5的訓(xùn)練在NVIDIAGeForce GTX 1060 GPU上基于Python 3.6和Pytorch 1.7.0環(huán)境實(shí)現(xiàn)。訓(xùn)練及測(cè)試結(jié)果如圖6至圖8所示。
圖6 PRI-YOLOv5訓(xùn)練結(jié)果
圖7 預(yù)測(cè)網(wǎng)絡(luò)測(cè)試結(jié)果
圖8 兩組數(shù)據(jù)預(yù)測(cè)差值與其相似性的關(guān)系
系統(tǒng)性能模型結(jié)果及分析
接下來將基于已構(gòu)建的性能感知模塊，進(jìn)一步測(cè)試整個(gè)性能模型的有效性。按照?qǐng)D1所示的模型架構(gòu)，選取3款紅外偏振成像系統(tǒng)（代號(hào)A款、B款、C款）進(jìn)行整體的性能評(píng)估，系統(tǒng)的主要參數(shù)見表4。對(duì)于原始仿真圖像，需要首先經(jīng)歷系統(tǒng)的退化，然后輸入訓(xùn)練好的性能感知模塊，來獲取最終的目標(biāo)獲取性能。
圖9展示了上述3款系統(tǒng)的退化效果圖，左側(cè)為偏振圖像，右側(cè)為按照次序疊加的三通道圖像。觀察可知，系統(tǒng)A的分辨率最低，成像較為模糊，而系統(tǒng)B的分辨率最高。圖10展示了測(cè)試數(shù)據(jù)經(jīng)過退化后，輸入到性能感知模塊得到的預(yù)測(cè)結(jié)果經(jīng)過二次擬合得到的曲線。結(jié)果顯示，系統(tǒng)的識(shí)別/確認(rèn)概率隨距離變遠(yuǎn)而下降，B系統(tǒng)拍攝的圖片質(zhì)量較高，其性能表現(xiàn)最佳。其次是為C系統(tǒng)，兩款系統(tǒng)均在3.7 km仍保持50%的識(shí)別概率。而A系統(tǒng)的50%識(shí)別概率則需要通過預(yù)測(cè)來獲得，超出了數(shù)據(jù)涵蓋的距離范圍。在4.2~4.3 km之間，A系統(tǒng)的識(shí)別概率和B、C兩款系統(tǒng)的確認(rèn)概率出現(xiàn)交叉，這可能是由于該系統(tǒng)的探測(cè)器分辨率過低。總體來說，該評(píng)估結(jié)果與主觀認(rèn)知基本吻合，和實(shí)驗(yàn)室前期實(shí)拍實(shí)驗(yàn)得出的結(jié)論基本相符。
圖9 幾款待評(píng)估偏振系統(tǒng)的退化效果示意圖
圖10 不同距離處的目標(biāo)獲取概率（三款系統(tǒng)）
結(jié)論
本文首先介紹了紅外偏振成像系統(tǒng)相關(guān)性能模型的研究背景和研究現(xiàn)狀，并分析了已有性能模型的優(yōu)缺點(diǎn)。并根據(jù)目前的需求，建立了一個(gè)基于圖像的紅外偏振成像系統(tǒng)性能模型。為滿足系統(tǒng)性能模型的自動(dòng)化需求，首次將深度學(xué)習(xí)方法引入模型。作為搭建系統(tǒng)性能模型與深度學(xué)習(xí)方法之間橋梁的初次嘗試，該項(xiàng)研究有望引領(lǐng)系統(tǒng)性能模型領(lǐng)域朝此方向發(fā)展。對(duì)于模型中較為關(guān)鍵的性能感知模塊的原理和相關(guān)實(shí)驗(yàn)的實(shí)施細(xì)節(jié)及原理進(jìn)行了詳細(xì)的描述。結(jié)果表明，整個(gè)系統(tǒng)性能模型可對(duì)已知硬件參數(shù)的紅外偏振成像系統(tǒng)進(jìn)行性能評(píng)估，并且所得結(jié)果與人的主觀認(rèn)知具有較好的一致性。此外，本文基于物理模型構(gòu)建了面向海面場(chǎng)景的紅外偏振數(shù)據(jù)集，可應(yīng)用于各項(xiàng)相關(guān)研究。
文中搭建的模型基于自建的仿真海面艦船數(shù)據(jù)集展開實(shí)驗(yàn)驗(yàn)證。后續(xù)可進(jìn)一步討論其他典型場(chǎng)景，如地面坦克等。另外，仿真技術(shù)對(duì)仿真圖像的質(zhì)量有直接的影響。應(yīng)進(jìn)一步提升仿真水平。同時(shí)，在后續(xù)的研究中，有望將該模型應(yīng)用于更多不同類型相機(jī)的性能測(cè)試。
這項(xiàng)研究獲得國(guó)家自然科學(xué)基金資助項(xiàng)目（62171024）的資助和支持。
關(guān)鍵詞：
