摘 要：機(jī)器學(xué)習(xí)方法常使用私有數(shù)據(jù)來(lái)訓(xùn)練模型以期獲得更好的效果。然而，非授權(quán)用戶可以通過(guò)模型輸出來(lái)判斷數(shù)據(jù)是否參與訓(xùn)練，破壞了數(shù)據(jù)隱私安全。對(duì)此，提出了基于深度優(yōu)化網(wǎng)絡(luò)的模型攻擊方法，從攻擊者的角度出發(fā)，分析攻擊方法原理，有針對(duì)性地防御對(duì)模型的攻擊，增強(qiáng)模型的隱秘性。所提方法自動(dòng)對(duì)模型進(jìn)行攻擊，獲得自優(yōu)化的參數(shù)，提高攻擊的準(zhǔn)確度，充分挖掘模型中的安全缺陷，揭示模型的可改進(jìn)之處，改善模型的安全性。在CIFAR-100數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，得到AUC值為0.83，優(yōu)于base方法。實(shí)驗(yàn)結(jié)果驗(yàn)證該方法能有效地提升攻擊效果。

　　關(guān)鍵詞：機(jī)器學(xué)習(xí);優(yōu)化;隱私保護(hù);模型攻擊

　　1 引言(Introduction)

　　隨著深度學(xué)習(xí)研究的不斷深入，深度學(xué)習(xí)模型的安全問(wèn)題引起了研究者的廣泛關(guān)注，隱私泄露問(wèn)題越來(lái)越受到重視[1-4]。一方面，模型固有的特性使攻擊者有機(jī)會(huì)獲取其中的隱私信息;另一方面，模型中的隱藏層會(huì)形成較大的有效容量，將一些訓(xùn)練數(shù)據(jù)細(xì)節(jié)化為參數(shù)[5]，記錄在模型中。

　　通過(guò)對(duì)測(cè)試數(shù)據(jù)的輸出分析，可以對(duì)模型有一個(gè)明確的衡量，同時(shí)也急需一個(gè)有效的攻擊方法來(lái)模擬對(duì)目標(biāo)的攻擊，發(fā)現(xiàn)模型中存在的問(wèn)題。雖然已有一些方法，但是這些方法在模型的攻擊精度上還有待提高。因此，需要設(shè)計(jì)研發(fā)一種有效的方法來(lái)提高攻擊的效果，從而更好地改進(jìn)模型的安全性。

　　針對(duì)這一問(wèn)題，本文提出了基于自優(yōu)化的深度網(wǎng)絡(luò)模型攻擊方法，通過(guò)已知模型的層數(shù)，對(duì)其進(jìn)行計(jì)算，得出一組攻擊參數(shù)，使用這些指定參數(shù)對(duì)模型相應(yīng)的層進(jìn)行攻擊，獲得較好的攻擊效果。

　　2 相關(guān)工作(Related work)

　　2.1 推理攻擊

　　針對(duì)機(jī)器學(xué)習(xí)算法的推理攻擊分為成員推理和重構(gòu)攻擊。在重構(gòu)攻擊中，攻擊者的目標(biāo)是推斷訓(xùn)練集中記錄的屬性[6]。成員推理攻擊利用了一種觀察，即機(jī)器學(xué)習(xí)模型在它們所訓(xùn)練的數(shù)據(jù)上的行為常常與它們第一次“看到”的數(shù)據(jù)不同。攻擊者會(huì)構(gòu)建一個(gè)攻擊模型，該模型可以識(shí)別目標(biāo)模型行為中的這些差異，并利用它們來(lái)區(qū)分目標(biāo)模型的成員和非成員。

　　深度學(xué)習(xí)的數(shù)據(jù)以不同方式被用于訓(xùn)練模型?；诔蓡T推理攻擊方法的攻擊者可以觀察深度學(xué)習(xí)過(guò)程，通過(guò)深度學(xué)習(xí)模型測(cè)量訓(xùn)練數(shù)據(jù)的泄露情況。本文提出的方法利用深度學(xué)習(xí)算法。

　　2.2 差分隱私

　　差分隱私技術(shù)使攻擊者很難通過(guò)模型的輸出來(lái)分辨某條數(shù)據(jù)是否被用于訓(xùn)練機(jī)器學(xué)習(xí)模型，從而達(dá)到保護(hù)數(shù)據(jù)隱私的效果[7]。按照差分隱私的要求，在數(shù)據(jù)集中添加或刪除一條數(shù)據(jù)后，都不會(huì)顯著影響作用在該數(shù)據(jù)集上的算法的輸出結(jié)果[8]。差分隱私已經(jīng)被用于對(duì)推理攻擊的強(qiáng)防御機(jī)制[9-10]。研究人員將差分隱私引入模型算法中，對(duì)模型的梯度進(jìn)行擾動(dòng)，提高了隱私性[11]。

　　本文對(duì)差分隱私方法進(jìn)行改進(jìn)，重點(diǎn)分析哪些數(shù)據(jù)被用來(lái)訓(xùn)練模型的個(gè)人隱私。為了達(dá)到保護(hù)隱私的目的，進(jìn)一步分析攻擊方式來(lái)評(píng)估模型的優(yōu)劣。對(duì)絕大多數(shù)機(jī)器學(xué)習(xí)任務(wù)而言，在算法求解過(guò)程中滿足差分隱私，即可以認(rèn)為實(shí)現(xiàn)了對(duì)模型的隱私保護(hù)。

　　2.3 ML Privacy Meter

　　ML Privacy Meter是Python基于Tensorflow 2.1開(kāi)發(fā)的一個(gè)應(yīng)用程序接口，可以針對(duì)目標(biāo)模型訓(xùn)練攻擊模型，并可以使用指定的攻擊方式訓(xùn)練出攻擊模型。ML Privacy Meter使用成員推理攻擊來(lái)測(cè)量深度學(xué)習(xí)模型訓(xùn)練數(shù)據(jù)的信息泄露，數(shù)據(jù)被用于訓(xùn)練模型，攻擊者也可以觀察深度學(xué)習(xí)過(guò)程。

　　對(duì)于一個(gè)目標(biāo)數(shù)據(jù)記錄，攻擊模型計(jì)算損失，并可以使用一個(gè)簡(jiǎn)單的反向傳播算法計(jì)算有關(guān)所有參數(shù)的損失梯度。由于深度神經(jīng)網(wǎng)絡(luò)中使用了數(shù)以百萬(wàn)計(jì)的參數(shù)，具有如此大維數(shù)的向量不能正確地對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行泛化。與非成員相比，模型的梯度在訓(xùn)練數(shù)據(jù)成員上的分布是可區(qū)分的，可以幫助對(duì)手運(yùn)行精確的成員關(guān)系推理攻擊，使分類模型得到很好的概括。

　　3 方法(Method)

　　3.1 攻擊參數(shù)自優(yōu)化

　　雖然ML Privacy Meter提供了比較方便的測(cè)量，但是沒(méi)有提供優(yōu)化參數(shù)的方法。為了能獲得較好的白盒攻擊策略效果，本文使用整體參數(shù)優(yōu)化選擇的方法。這個(gè)方法充分考慮目標(biāo)模型層數(shù)，進(jìn)行平均細(xì)分后再?zèng)Q定攻擊的層數(shù)N。

　　在進(jìn)行白盒攻擊時(shí)，需要確定對(duì)哪些層進(jìn)行攻擊。整體參數(shù)優(yōu)化法可以盡可能地對(duì)模型參數(shù)進(jìn)行探索，同時(shí)又能避免逐層對(duì)模型進(jìn)行窮究式探索，獲取模型中最關(guān)鍵的中間層?？梢?jiàn)，整體參數(shù)優(yōu)化法具有明顯的優(yōu)勢(shì)。據(jù)此，本文設(shè)計(jì)了一種攻擊參數(shù)自優(yōu)化方法，采用均方誤差作為L(zhǎng)oss函數(shù)，其計(jì)算方式為：

　　其中，n為樣例個(gè)數(shù)，是各個(gè)樣例權(quán)重，為真實(shí)數(shù)據(jù)，為預(yù)測(cè)值。

　　自優(yōu)化網(wǎng)絡(luò)攻擊方法如算法1所示。

　　算法 1：自優(yōu)化網(wǎng)絡(luò)攻擊方法(Self-Optimizing Net Attack， SONA)

　　1： 訓(xùn)練目標(biāo)模型M

　　2： 獲得模型的網(wǎng)絡(luò)層數(shù)參數(shù)Layer_Num

　　3： 初始化攻擊attack_hander

　　4： 初始化攻擊模型 θa

　　5： 通過(guò)Split方法從Layer_Num中獲得目標(biāo)層列表targetLayersList

　　6： for i∈[0，epochs] do

　　7： mtrain_data， ntrain_data = attack_hander()

　　8： moutputs = forward_pass(M，mtrain_data，N)

　　9： noutpus = forward_pass(M，ntrain_data，N)

　　10： 利用式(1)計(jì)算損失函數(shù) Loss(ntrain_data，

　　mtrain_data)

　　11： 使用梯度下降更新參數(shù)θa

　　12： end for

　　3.2 目標(biāo)模型

　　Alexnet的網(wǎng)絡(luò)結(jié)構(gòu)模型引爆了神經(jīng)網(wǎng)絡(luò)的應(yīng)用熱潮，并贏得了2012屆圖像識(shí)別大賽的冠軍，使得CNN成為在圖像分類上的核心算法模型，很適合作為驗(yàn)證模型。Alexnet的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，包含8 層權(quán)重，前5 個(gè)是卷積的，其余3 個(gè)是完全連接的，最后一個(gè)完全連接層的輸出被饋送到1000路Softmax激活函數(shù)。本文設(shè)計(jì)的網(wǎng)絡(luò)最大化了多項(xiàng)邏輯回歸目標(biāo)，相當(dāng)于最大化了在預(yù)測(cè)分布下正確標(biāo)簽的對(duì)數(shù)概率在訓(xùn)練案例中的平均值。

　　AlexNet與LeNet相比，網(wǎng)絡(luò)結(jié)構(gòu)更豐富，有明顯的優(yōu)勢(shì)。AlexNet通過(guò)使用Dropout實(shí)現(xiàn)數(shù)據(jù)增強(qiáng)，從而抑制數(shù)據(jù)過(guò)擬合，適合用來(lái)作為神經(jīng)網(wǎng)絡(luò)攻擊的對(duì)象。攻擊的訓(xùn)練流程如圖2所示。