摘 要：目前多數(shù)圖像分類的方法是采用監(jiān)督學(xué)習(xí)或者半監(jiān)督學(xué)習(xí)對(duì)圖像進(jìn)行降維，然而監(jiān)督學(xué)習(xí)與半監(jiān)督學(xué)習(xí)需要圖像攜帶標(biāo)簽信息。針對(duì)無(wú)標(biāo)簽圖像的降維及分類問(wèn)題，提出采用混階棧式稀疏自編碼器對(duì)圖像進(jìn)行無(wú)監(jiān)督降維來(lái)實(shí)現(xiàn)圖像的分類學(xué)習(xí)。首先，構(gòu)建一個(gè)具有三個(gè)隱藏層的串行棧式自編碼器網(wǎng)絡(luò)，對(duì)棧式自編碼器的每一個(gè)隱藏層單獨(dú)訓(xùn)練，將前一個(gè)隱藏層的輸出作為后一個(gè)隱藏層的輸入，對(duì)圖像數(shù)據(jù)進(jìn)行特征提取并實(shí)現(xiàn)對(duì)數(shù)據(jù)的降維。其次，將訓(xùn)練好的棧式自編碼器的第一個(gè)隱藏層和第二個(gè)隱藏層的特征進(jìn)行拼接融合，形成一個(gè)包含混階特征的矩陣。最后，使用支持向量機(jī)對(duì)降維后的圖像特征進(jìn)行分類，并進(jìn)行精度評(píng)價(jià)。在公開(kāi)的四個(gè)圖像數(shù)據(jù)集上將所提方法與七個(gè)對(duì)比算法進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，所提方法能夠?qū)o(wú)標(biāo)簽圖像進(jìn)行特征提取，實(shí)現(xiàn)圖像分類學(xué)習(xí)，減少分類時(shí)間，提高圖像的分類精度。

　　關(guān)鍵詞：無(wú)監(jiān)督學(xué)習(xí);棧式自編碼器;降維;混階特征;圖像分類

　　《個(gè)人電腦》(月刊)創(chuàng)刊于1994年，由南開(kāi)大學(xué)主辦，是中國(guó)第一本專業(yè)IT評(píng)測(cè)媒體，首先將“產(chǎn)品評(píng)測(cè)”的概念帶到中國(guó)，使“評(píng)測(cè)”的科學(xué)意識(shí)和體系在神州大陸上落地生根。

　　0 引言

　　隨著計(jì)算機(jī)視覺(jué)應(yīng)用的普及，圖像分類在各領(lǐng)域有著廣泛的應(yīng)用，是人工智能領(lǐng)域的研究熱點(diǎn)。目前在機(jī)器學(xué)習(xí)領(lǐng)域主要有監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)三大類，其中監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)處理圖像需要圖像攜帶標(biāo)簽信息，對(duì)無(wú)標(biāo)簽圖像的處理是監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)面臨的一大難題。因而利用圖像自身的特征，進(jìn)行處理后分類，實(shí)現(xiàn)圖像分類，是一種有效的方法。

　　現(xiàn)實(shí)中很多圖像都具有較高的像素，直接處理高維數(shù)據(jù)會(huì)有“維數(shù)災(zāi)難”的問(wèn)題。從高維數(shù)據(jù)中提取出有用信息至關(guān)重要。當(dāng)前，常用的方法是對(duì)高維數(shù)據(jù)進(jìn)行降維。目前主要有兩類降維方法：線性降維和非線性降維。典型的線性降維方法有主成分分析(Principal Component Analysis， PCA)[1]和線性判別分析(Linear Discriminant Analysis， LDA )[2]。常見(jiàn)的非線性降維算法有界標(biāo)等距映射(Landmark IsomaP， LIP)算法[3]、局部線性嵌入(Locally Linear Embedding， LLE)算法[4]、擴(kuò)散映射(Diffusion MaP， DMP)算法[5]、隨機(jī)距離嵌入(Stochastic Proximity Embedding， SPE)算法[6]和基于神經(jīng)網(wǎng)絡(luò)的自編碼器(AutoEncoder， AE)。

　　自編碼器是一種無(wú)監(jiān)督的神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)一般包含三個(gè)部分：輸入層、隱藏層和輸出層。自編碼器的核心思想是通過(guò)限制輸出數(shù)據(jù)與輸入數(shù)據(jù)間的歐幾里得距離，實(shí)現(xiàn)對(duì)編碼權(quán)重矩陣和解碼權(quán)重矩陣的調(diào)整，該方法的優(yōu)點(diǎn)是不需要數(shù)據(jù)攜帶標(biāo)簽信息即可實(shí)現(xiàn)網(wǎng)絡(luò)的訓(xùn)練，通過(guò)提取自編碼器隱藏層的信息，解決了無(wú)標(biāo)簽高維數(shù)據(jù)降維問(wèn)題，該過(guò)程是一種無(wú)監(jiān)督降維的學(xué)習(xí)過(guò)程。近年來(lái)，眾多學(xué)者把注意力放在了研究自編碼網(wǎng)絡(luò)的應(yīng)用上，文獻(xiàn)[7-9]使用自編碼器對(duì)圖像進(jìn)行處理。在文獻(xiàn)[7-9]的基礎(chǔ)上，文獻(xiàn)[10]將棧式自編碼器應(yīng)用于提高圖像檢索的效率。文獻(xiàn)[11-13]在醫(yī)學(xué)診斷方面取得了不錯(cuò)的成就，實(shí)現(xiàn)了計(jì)算機(jī)輔助診斷。上述研究均將自編碼應(yīng)用于單標(biāo)簽分類任務(wù)。除此之外，文獻(xiàn)[14]用自編碼解決多標(biāo)簽問(wèn)題，文獻(xiàn)[15]用多標(biāo)簽的方法對(duì)癌癥進(jìn)行基因注釋，文獻(xiàn)[16]將自編碼網(wǎng)絡(luò)應(yīng)用于運(yùn)動(dòng)目標(biāo)的檢測(cè)。這些采用自編碼的方法，均在其特定的應(yīng)用上獲得了不錯(cuò)的效果。

　　為了解決監(jiān)督學(xué)習(xí)需要數(shù)據(jù)帶標(biāo)簽及緩解高維數(shù)據(jù)的“維數(shù)災(zāi)難”問(wèn)題，本文采用無(wú)監(jiān)督的混階棧式自編碼器(Mixed-Order Stacked Sparse AutoEncoder， MOSSAE)來(lái)實(shí)現(xiàn)對(duì)圖像的特征提取與拼接融合，進(jìn)行圖像分類學(xué)習(xí)。具體過(guò)程如下：首先，建立一個(gè)具有三個(gè)隱藏層的串行棧式自編碼器網(wǎng)絡(luò)，采用貪婪算法逐層訓(xùn)練自編碼器，得到每一層接近最優(yōu)的自編碼器網(wǎng)絡(luò)，然后微調(diào)整個(gè)網(wǎng)絡(luò)，使整個(gè)網(wǎng)絡(luò)接近整體最優(yōu)。網(wǎng)絡(luò)是逐層訓(xùn)練，每一層都是特征的表達(dá)，并且把前一層的輸出用來(lái)當(dāng)作下一層的輸入，所以越往后的隱藏層，其特征階數(shù)就越高。其次，將訓(xùn)練好的網(wǎng)絡(luò)的第一隱藏層和第二隱藏層的特征進(jìn)行拼接融合，形成混階特征矩陣，實(shí)現(xiàn)圖像的特征提取。最后，使用融合得到的混階特征矩陣，用支持向量機(jī)(Support Vector Machine， SVM)[17-18]進(jìn)行分類得到分類結(jié)果，將該分類結(jié)果與原始圖像的標(biāo)簽進(jìn)行比對(duì)得到分類精度。在公開(kāi)的四個(gè)圖像數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，結(jié)果表明所提方法能夠在無(wú)監(jiān)督情況下有效提取圖像特征，降低圖像維度，得到較好的圖像分類學(xué)習(xí)效果。

　　1 相關(guān)工作

　　假設(shè)原始高維空間圖像集X={xi|i=1，2，…，N}是N個(gè)樣本集合構(gòu)成的矩陣，xi是m×m維的圖像轉(zhuǎn)成的一維向量，滿足D=m×m，X是D×N維矩陣。Y={yi|i=1，2，…，N}是降維后N樣本集合構(gòu)成的矩陣，yi是d維向量，Y是d×N維矩陣，且dD，降維目的是得到一個(gè)從X→Y的映射關(guān)系，即Y=f(X)?；谧跃幋a器的降維算法在圖像識(shí)別與分類領(lǐng)域應(yīng)用廣泛，是一種基于無(wú)監(jiān)督學(xué)習(xí)的非線性降維方法，其分類結(jié)果一般要優(yōu)于線性降維方法。本文應(yīng)用混階棧式自編碼器，通過(guò)該方法來(lái)實(shí)現(xiàn)對(duì)圖像特征的提取，使用提取的混階特征進(jìn)行圖像分類。分類方法采用SVM，通過(guò)分類精度和降維時(shí)間這兩指標(biāo)來(lái)描述降維方法的有效性。

　　降維方法分為兩大類：線性降維和非線性降維。主成分分析(PCA)[1]是線性降維方法，該方法通過(guò)分析計(jì)算矩陣的特征值、特征向量來(lái)實(shí)現(xiàn)降維的目的，PCA是將n維特征映射到k(n

　　2 自編碼器

　　自編碼器在圖像分類領(lǐng)域具有廣泛的應(yīng)用，是一種無(wú)監(jiān)督的學(xué)習(xí)方法，對(duì)樣本的訓(xùn)練不需要添加特定的標(biāo)簽。目前常見(jiàn)的自編碼器包括稀疏自編碼器、棧式自編碼器等，都是在基本的自編碼器上發(fā)展得到的。

　　2.1 自編碼器

　　自編碼器是一種無(wú)監(jiān)督的神經(jīng)網(wǎng)絡(luò)，其核心是讓網(wǎng)絡(luò)輸出盡可能地等于或者逼近于輸入，結(jié)構(gòu)如圖2所示。自編碼器網(wǎng)絡(luò)結(jié)構(gòu)主要分為三部分：輸入層、隱藏層和輸出層，其中隱藏層可以單層或多層。為了使輸出X′能夠盡可能地逼近輸入X，中間的隱藏層必須能夠盡可能地保留輸入層的特征。圖2表明隱藏層的神經(jīng)元數(shù)目要少于輸入層，故利用自編碼器可以有效地對(duì)高維數(shù)據(jù)進(jìn)行降維。為了更好地描述自編碼器網(wǎng)絡(luò)的特點(diǎn)，定義目標(biāo)函數(shù)為：

　　J(W，b，X)=12‖hW，b(X)-X‖。假定隱藏層神經(jīng)元j的激活度用j(x)來(lái)描述，假設(shè)j(x)=ρ，其中ρ為稀疏性參數(shù)，當(dāng)ρ的值趨近于零時(shí)，表明該神經(jīng)網(wǎng)絡(luò)的隱藏神經(jīng)元激活度低，去掉數(shù)據(jù)的冗余信息，降低數(shù)據(jù)復(fù)雜度。