理解長短期記憶LSTM 神經(jīng)網(wǎng)絡(luò)人類并不是從混沌狀態(tài)開始他們的思考。就像你讀這篇文章時(shí)，你是建立在你之前對文字的理解上。你并不是學(xué)習(xí)結(jié)束之后就丟棄掉你學(xué)到的東西，然后再從混沌狀態(tài)開始。因?yàn)槟愕乃枷胗谐掷m(xù)性然而，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)并不能做到持續(xù)記憶，這應(yīng)該是傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的一個(gè)缺陷。假想一下，你想讓神經(jīng)網(wǎng)絡(luò)對電影中每個(gè)時(shí)間點(diǎn)的事件進(jìn)行分類，3分鐘的企業(yè)宣傳片創(chuàng)意文案腳本應(yīng)該怎么寫很明顯，傳統(tǒng)神經(jīng)網(wǎng)絡(luò)不能使用前一個(gè)事件去推理下一個(gè)事件遞歸神經(jīng)網(wǎng)絡(luò)可以解決這個(gè)問題。它們是帶有循環(huán)的神經(jīng)網(wǎng)絡(luò)，允許信息保留一段時(shí)間在上圖中，A 代表神經(jīng)網(wǎng)絡(luò)主體, xt 是網(wǎng)絡(luò)輸入，ht是網(wǎng)絡(luò)輸出，循環(huán)結(jié)構(gòu)允許信息從當(dāng)前輸出傳遞到下一次的網(wǎng)絡(luò)輸入這些循環(huán)讓遞歸神經(jīng)網(wǎng)絡(luò)看起來有點(diǎn)神秘，公司宣傳片拍攝然而，如果你再進(jìn)一步思考一下，它與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)并沒有太多不同。影視視頻制作一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)可以看多是一個(gè)網(wǎng)絡(luò)的多次拷貝，每次把信息傳遞給他的繼任者。讓我們把網(wǎng)絡(luò)展開，你會(huì)看到發(fā)生了什么人門希望RNNs能夠連接之前的信息到當(dāng)前的任務(wù)中，例如，使用之前的圖像幀信息去輔助理解當(dāng)前的幀。如果RNNs可以做到這個(gè)，它們將會(huì)特別的有用，但是它們可以做到嗎？這要視情況而定有時(shí)，我們僅僅需要使用當(dāng)前的信息去執(zhí)行當(dāng)前的任務(wù)。例如， 一個(gè)語言模型試圖根據(jù)之前的單詞去預(yù)測下一個(gè)單詞。如果我們試圖去預(yù)測“the clouds are in the sky”,我們不需要更多的上下文信息 很明顯下一個(gè)單詞會(huì)是sky。在類似這種相關(guān)信息和需要它的場合并不太多的情景下，RNNs可以學(xué)習(xí)使用之前的信息長短期記憶網(wǎng)絡(luò) 通暢叫做”LSTMs” 是一種特殊的RNNs， 它能夠?qū)W習(xí)長期依賴。LSTM由Hochreiter LSTMs被明確的設(shè)計(jì)用來解決長期依賴問題，記住長時(shí)間段的信息是他們的必備技能，不像RNNs那么費(fèi)力去做還做不好所有的遞歸神經(jīng)網(wǎng)絡(luò)都有重復(fù)神經(jīng)網(wǎng)絡(luò)本身模型的鏈?zhǔn)叫问?。在?biāo)準(zhǔn)的RNNs， 這個(gè)復(fù)制模塊只有一個(gè)非常簡單的結(jié)構(gòu)，例如一個(gè)雙極性（tanh）層LSTMs 也有這種鏈?zhǔn)浇Y(jié)構(gòu)，但是這個(gè)重復(fù)模塊與上面提到的RNNs結(jié)構(gòu)不同：LSTMs并不是只增加一個(gè)簡單的神經(jīng)網(wǎng)絡(luò)層，而是四個(gè)，公司宣傳片拍攝它們以一種特殊的形式交互別擔(dān)心中間到底發(fā)生了什么。我們接下來會(huì)一步一步的理解這個(gè)LSTM圖。首先，我們要首先適應(yīng)一下我們將會(huì)使用的符號表示方法在上圖中，每條線表示一個(gè)向量，從一個(gè)輸出節(jié)點(diǎn)到其他節(jié)點(diǎn)的輸入節(jié)點(diǎn)。這個(gè)粉紅色圓圈表示逐點(diǎn)式操作，就像向量加法。黃色的盒子是學(xué)習(xí)好的神經(jīng)網(wǎng)絡(luò)的層。線條合表示聯(lián)結(jié)，相反，線條分叉表示內(nèi)容被復(fù)制到不同位置LSTM的第一步就是決定什么信息應(yīng)該被神經(jīng)元遺忘。這是一個(gè)被稱為“遺忘門層”的Sigmod層組成的。它輸入 ht1和xt,然后在Ct1 的每個(gè)神經(jīng)元狀態(tài)輸出01之間的數(shù)字。“1”表示“完全保留這個(gè)”，“0”表示“完全遺忘這個(gè)”讓我們再次回到那個(gè)嘗試去根據(jù)之前的詞語去預(yù)測下一個(gè)單詞的語言模型。在這個(gè)問題中，神經(jīng)元狀態(tài)或許包括當(dāng)前主語中的性別信息，所以可以使用正確的代詞。當(dāng)我們看到一個(gè)新的主語，我們會(huì)去遺忘之前的性別信息下一步就是決定我們要在神經(jīng)元細(xì)胞中保存什么信息，這包括兩個(gè)部分。首先，一個(gè)被稱為“遺忘門層”的Sigmod層決定我們要更新的數(shù)值。然后，一個(gè)tanh層生成一個(gè)新的候選數(shù)值，Ct,它會(huì)被增加到神經(jīng)元狀態(tài)中。記富士GFX50s試用2，在下一步中中，我們會(huì)組合這兩步去生成一個(gè)更新狀態(tài)值在那個(gè)語言模型例子中，我們想給神經(jīng)元狀態(tài)增加新的主語的性別，替換我們將要遺忘的舊的主語是時(shí)候去更新舊的神經(jīng)元狀態(tài)Ct1到新的神經(jīng)元狀態(tài)Ct了。從高熱恢復(fù)冷靜 投資客轉(zhuǎn)移陣地之前的步驟已經(jīng)決定要做什么，下一步我們就去做我們給舊的狀態(tài)乘以一個(gè)ft,遺忘掉我們之前決定要遺忘的信息，然后我們增加itCt。這是新的候選值，是由我們想多大程度上更新每個(gè)狀態(tài)的值來度量的在語言模型中，就像上面描述的，這是我們實(shí)際上要丟棄之前主語的性別信息，增加新的主語的性別信息的地方最后，我們要決定要輸出什么。這個(gè)輸出是建立在我們的神經(jīng)元狀態(tài)的基礎(chǔ)上的，但是有一個(gè)濾波器。首先，我們使用Sigmod層決定哪一部分的神經(jīng)元狀態(tài)需要被輸出；然后我們讓神經(jīng)元狀態(tài)經(jīng)過tanh（讓輸出值變?yōu)?11之間）層并且乘上Sigmod門限的輸出，我們只輸出我們想要輸出的對于那個(gè)語言模型的例子，當(dāng)我們看到一個(gè)主語的時(shí)候，或許我們想輸出相關(guān)動(dòng)詞的信息，因?yàn)閯?dòng)詞是緊跟在主語之后的。例如，它或許要輸出主語是單數(shù)還是復(fù)數(shù)的，然后我們就知道主語聯(lián)結(jié)的動(dòng)詞的語態(tài)了。