摘要：長(zhǎng)短時(shí)記憶LSTM神經(jīng)網(wǎng)絡(luò)的工作原理雖有記載，但究其物理過(guò)程很多資料都未解釋清楚，該文以學(xué)校人才培養(yǎng)為.例，將LSTM網(wǎng)絡(luò)類比為通過(guò)多年辦學(xué)的吐故納新，將成功的經(jīng)驗(yàn)長(zhǎng)期繼承下來(lái)，而把逐年的新貢獻(xiàn)又增加上去，如此循環(huán)，就把多級(jí)LSTM的級(jí)聯(lián)展現(xiàn)在讀者面前。

　　關(guān)鍵詞：長(zhǎng)短時(shí)記憶LSTM;遺忘門f;輸入門i;輸出門Q，

　　推薦閱讀：人才培養(yǎng)論文題目 參考文獻(xiàn)

　　1 背景

　　一談到神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)似乎就高不可攀，深不可測(cè)，其實(shí)它都是為了解決日常生活中的實(shí)際問(wèn)題。例如四川大學(xué)錦城學(xué)院從2005年開(kāi)辦以來(lái)到今天已有14年的歷史，若把每年的人才培養(yǎng)工作總結(jié)進(jìn)行整理，會(huì)發(fā)現(xiàn)它都是在原有的基礎(chǔ)狀態(tài)ht-1和已有信息Ct-1之上，隨著科學(xué)技術(shù)的發(fā)展和社會(huì)的進(jìn)步在不斷地更新前進(jìn)，這就可以看作是一個(gè)長(zhǎng)短時(shí)記憶LSTM模型。因此，本文立足于高校的人才培養(yǎng)，結(jié)合LSTM神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)一個(gè)關(guān)于人才培養(yǎng)的LSTM模型，以更直觀的形式來(lái)闡述LSTM的工作原理。

　　2 LSTM網(wǎng)絡(luò)

　　長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)[1-2](Long Short-Term Memory，LSTM)，是循環(huán)神經(jīng)網(wǎng)絡(luò)[3]的一種變體，可以有效地解決簡(jiǎn)單循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度爆炸或消失問(wèn)題。LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

　　LSTM網(wǎng)絡(luò)引入一個(gè)新的記錄信息的Ct專門進(jìn)行循環(huán)信息傳遞，同時(shí)輸出信息給隱藏層的外部狀態(tài)h1。LSTM網(wǎng)絡(luò)中的門是一種軟門，取值在(0，1)之間，表示以一定的比例運(yùn)行信息通過(guò)。其中遺忘門f1，控制上一時(shí)刻的信息Ct-1需要遺忘多少;輸入門it，控制當(dāng)前時(shí)刻的信息有多少需要保存;Ct表示新增信息;輸出門Qt，控制當(dāng)前時(shí)刻的信息保留多少輸出給外部狀態(tài)ht。

　　在LSTM網(wǎng)絡(luò)中，記憶單元C可以在某個(gè)時(shí)刻捕捉到某個(gè)關(guān)鍵信息，并有能力將關(guān)鍵信息保存一定的時(shí)間間隔。記憶單元C中保存信息的生命周期要長(zhǎng)于短期記憶，但又遠(yuǎn)遠(yuǎn)短于長(zhǎng)期記憶，因此稱為長(zhǎng)的短期記憶。

　　關(guān)于LSTM網(wǎng)絡(luò)中的工作原理將在下一節(jié)中進(jìn)行詳細(xì)介紹。

　　3 LSTM人才培養(yǎng)模型設(shè)計(jì)

　　對(duì)于高校的人才培養(yǎng)，使用LSTM可進(jìn)行如下設(shè)計(jì)[4]。

　　若設(shè)，

　?、貱t-1：是已有信息;

　?、趆t_1：是目前的狀態(tài);

　　③b：是基本設(shè)施，師資+大樓+設(shè)備;

　?、躼t;是當(dāng)今采取的辦法;

　　⑤w：是對(duì)目前狀態(tài)和采取辦法的重視程度(權(quán)重因子)。

　　則可求得下一年的信息Ct是原有信息Ct-1(長(zhǎng)時(shí)記憶)乘上一個(gè)遺忘系數(shù)ft后再加上新增信息Ct(短時(shí)記憶)乘上一個(gè)輸入系數(shù)it之后的和即：

　　這就是長(zhǎng)短時(shí)記憶的由來(lái)。

　　而新的輸出狀態(tài)ht是Ct經(jīng)tanh(Ct)這個(gè)非線性變換后再乘以一個(gè)輸出系數(shù)Qt的結(jié)果，即：

　　是由ht-1和xt與wt作卷積運(yùn)算后再作一個(gè)從0到1的非線性遺忘門，用以控制原有信息Ct-1的輸出比例。

　　是由ht-1和xt與wc作卷積運(yùn)算后再作一個(gè)從-1到1的非線性變換后獲得的新增信息。

　　是由ht-1和xt，與wi作卷積運(yùn)算后再作一個(gè)從0到1的非線性輸入門，用以控制新增信息C，的輸出比例。

　　是由ht-1和xt與w0作卷積運(yùn)算后再作一個(gè)從0到1的非線性輸出門，用以控制tanh(Ct)的輸出比例。

　　注意：

　　設(shè)net=wrh，-1+w.x+b，是執(zhí)行兩序列之卷積運(yùn)算用以尋找二者之間的相似性。

　　則8(net)=叫0～1的非線性激活函數(shù)[5]，是為了獲得更多的高頻信息。

　　tanh(net)=叫-1～1的非線性激活函數(shù)，是為了獲得更多歸一化的高頻信息。

　　當(dāng)net=wrh-1 + wx+ b=0.35h-1 + 0.45x+0.1時(shí)，再取合適的ht-1和xt使之等于2.2或0.81時(shí)，就有δ(2.2)=0.9，表示遺忘門將長(zhǎng)時(shí)記憶Ct-1保留90%，而遺忘10%，如圖2所示，而tanh(0.81)=0.9，表示新增短時(shí)記憶C，保留90%，如圖3所示。

　　則由(1)～(6)式構(gòu)成一個(gè)LSTM人才培養(yǎng)的模型如圖4所示。

　　4 結(jié)束語(yǔ)

　　總之，學(xué)校的人才培養(yǎng)注重的是德才兼?zhèn)?，其中德行的培養(yǎng)是長(zhǎng)期積累的過(guò)程為ht-1，而培養(yǎng)的辦法是不斷學(xué)習(xí)的過(guò)程為x。在學(xué)校培養(yǎng)學(xué)生的過(guò)程中，學(xué)校提供的教學(xué)設(shè)施，例如師資、大樓、設(shè)備等為b。為提高學(xué)生素質(zhì)而制定的培養(yǎng)方案、管理制度、激勵(lì)措施等的重視程度和執(zhí)行力度為w。那么LSTM人才培養(yǎng)的循環(huán)網(wǎng)絡(luò)可以解釋為，學(xué)校為培養(yǎng)高素質(zhì)的、全面發(fā)展的人才，應(yīng)保留前面積累的成功經(jīng)驗(yàn)，再結(jié)合科技的發(fā)展進(jìn)行教學(xué)改革、增強(qiáng)設(shè)施建設(shè)、加強(qiáng)師資隊(duì)伍建設(shè)等，通過(guò)實(shí)踐去糙留精，以此往復(fù)，達(dá)到培養(yǎng)德才兼?zhèn)涞膶W(xué)生之目的。

　　參考文獻(xiàn)：

　　[1]張晨陽(yáng)，韋增欣，郜星軍.基于LSTM模型的數(shù)學(xué)機(jī)理分析實(shí)證研究[J].中國(guó)管理信息化，2019，22(15)：93-97..

　　[2]吳岸城.神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)[M].北京：電子工業(yè)出版社，2016.

　　[3]張學(xué)工.模式識(shí)別[M].3版.北京：清華大學(xué)出版社，2010.[4]Martin T.神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)[M].章毅，譯.北京：機(jī)械工業(yè)出版社，2018.

　　[5]lan，Goodfellow，Yoshua，等.深度學(xué)習(xí)[M].北京：人民郵電出版社，2017.