概括：

我還沒學(xué)完深度學(xué)習(xí)。為什么深度學(xué)習(xí)又來了？別害怕，這里有系統(tǒng)教程，可以帶你零基礎(chǔ)知識(shí)直接上圖深度學(xué)習(xí)。它還將定期更新。

本教程是免費(fèi)教程系列，我們力爭每月更新2到4篇文章。

主要是基于圖深度學(xué)習(xí)的入門內(nèi)容。描述了最基本的基礎(chǔ)知識(shí)，包括深度學(xué)習(xí)、數(shù)學(xué)、圖神經(jīng)網(wǎng)絡(luò)等相關(guān)內(nèi)容。本教程摘錄自 Code Doctor Studio 出版的所有書籍。強(qiáng)調(diào)完整的知識(shí)體系和學(xué)習(xí)指南。實(shí)踐方面，不會(huì)涉及太多基礎(chǔ)內(nèi)容（實(shí)踐和體驗(yàn)內(nèi)容請參考原書）。

文章中使用的框架主要是PyTorch和TensorFlow。默認(rèn)情況下，讀者已經(jīng)掌握了Python和TensorFlow的基礎(chǔ)知識(shí)。如果涉及到PyTorch，會(huì)順便介紹一下相關(guān)的入門使用。

本教程主要針對：

本文主要介紹注意力機(jī)制模型以及注意力機(jī)制在圖神經(jīng)網(wǎng)絡(luò)領(lǐng)域的應(yīng)用——圖注意力模型（GAT）。

1 神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制

神經(jīng)網(wǎng)絡(luò)的注意力機(jī)制與人類處理事物時(shí)的“注意力”含義相同，即關(guān)注一堆信息中的一部分信息，并對這部分信息進(jìn)行處理和分析。

在生活中，注意力的應(yīng)用隨處可見：當(dāng)我們看某物時(shí)，我們通常會(huì)關(guān)注眼前圖像中的某個(gè)地方；在閱讀一篇文章時(shí)，我們常常會(huì)關(guān)注文章的部分文字。聽音樂時(shí)，你也會(huì)根據(jù)音樂中不同的旋律產(chǎn)生不同強(qiáng)度的情緒，甚至?xí)涀∧承┬善巍?/p>

在神經(jīng)網(wǎng)絡(luò)中，利用注意力機(jī)制可以達(dá)到更好的擬合效果。注意力機(jī)制使得神經(jīng)網(wǎng)絡(luò)能夠忽略不重要的特征向量，專注于計(jì)算有用的特征向量。在丟棄干擾擬合結(jié)果的無用特征的同時(shí)，也提高了計(jì)算速度。

1.1 注意力機(jī)制技術(shù)的興起

注意力機(jī)制并不是一個(gè)非常新的技術(shù)，但只是近年來才受到廣泛關(guān)注。將其推上頂峰的事件主要是一篇論文《Attention is All You Need》（arXiv: 1706.03762，其中附有 Transformer 模型）。 2017）

Transformer模型是NLP中的經(jīng)典模型。它放棄了傳統(tǒng)的RNN結(jié)構(gòu)，而是使用注意力方法來處理序列任務(wù)。

循環(huán)神經(jīng)網(wǎng)絡(luò)的最大缺陷是其序列依賴性。上一時(shí)刻的隱狀態(tài)輸出（以及LSTM的記憶單元）和此時(shí)的輸入一起作為新一輪的晶胞處理材料，以此類推。由于自回歸的特性，僅僅依靠一兩個(gè)矩陣來完整、無偏地記錄過去幾十甚至上百個(gè)時(shí)間步的序列信息顯然是不可能的。在訓(xùn)練過程中反復(fù)調(diào)整權(quán)重pg麻將胡了試玩平臺(tái)，這可能是不可能的。它只需應(yīng)用于測試集的要求即可。更不用說訓(xùn)練過程中梯度消失帶來的優(yōu)化難度。這些缺陷從LSTM的單元公式中可以清楚地看出。后續(xù)新模型的創(chuàng)建者從未推出能夠在保證特征提取能力的同時(shí)完美解決上述問題的解決方案，直到 Transformer 出現(xiàn)。

利用帶有Attention機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行各種變形形成Encoder，然后連接一個(gè)Decoder作為輸出層pg電子賞金試玩app，形成Encoder-Decoder架構(gòu)，是前夕各種主流NLP神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)思路變壓器的誕生。

例如，動(dòng)態(tài)協(xié)同注意力網(wǎng)絡(luò)（DCN）使用單向LSTM+協(xié)作注意力編碼器作為Encoder，對文本和問題中的隱藏狀態(tài)進(jìn)行多次線性/非線性變換、合并和乘法，以獲得聯(lián)合矩陣，然后將其放入由單向LSTM、雙向LSTM和Highway Maxout Networks（HMN）組成的Dynamic Pointing Decoder中得出預(yù)測結(jié)果；雙向注意力網(wǎng)絡(luò)流（BiDAF）除了由循環(huán)神經(jīng)網(wǎng)絡(luò)組成的特殊結(jié)構(gòu)之外，還使用問題到文本和文本到問題的注意力矩陣來提取特征。在問答領(lǐng)域，還包括DrQA、AoA、r-Net、改造后性能提升的各種模型，以及其他領(lǐng)域的更多。但無論怎樣，你永遠(yuǎn)擺脫不了RNN或CNN的陰影。 Transformer 是第一個(gè)使用 self-attention 機(jī)制來完全擺脫對循環(huán)或卷積神經(jīng)網(wǎng)絡(luò)的依賴的模型。其結(jié)構(gòu)如下

1.2 什么是注意力機(jī)制？

神經(jīng)網(wǎng)絡(luò)中的注意力機(jī)制主要是通過注意力分?jǐn)?shù)來實(shí)現(xiàn)的。注意力分?jǐn)?shù)是一個(gè)從0到1的值，受注意力機(jī)制影響的所有分?jǐn)?shù)的總和為1。每個(gè)注意力分?jǐn)?shù)代表分配給當(dāng)前項(xiàng)目的注意力權(quán)重。

注意力分?jǐn)?shù)往往是在模型訓(xùn)練時(shí)從神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)中學(xué)習(xí)到的，最終使用 SoftMax 進(jìn)行計(jì)算。該機(jī)制可以在任何神經(jīng)網(wǎng)絡(luò)模型中發(fā)揮作用。例如：

（1）注意力機(jī)制可以作用于RNN模型中的每個(gè)序列，使得RNN模型對序列中的各個(gè)樣本給予不同的關(guān)注。

該方法常用于RNN模型中RNN層輸出結(jié)果之后。

暗示：

注意機(jī)制也可以用在 RNN 模型中的 Seq2Seq 框架中。

(2)注意力機(jī)制還可以作用于模型輸出的特征向量。

這種對特征向量進(jìn)行注意力計(jì)算的方法有著更廣泛的應(yīng)用。它不僅可以應(yīng)用于循環(huán)神經(jīng)網(wǎng)絡(luò)，還可以應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)甚至圖神經(jīng)網(wǎng)絡(luò)。

1.3 注意力機(jī)制的軟、硬模式

實(shí)際應(yīng)用中，注意力計(jì)算模式有兩種：軟模式和硬模式。

Soft Attention：所有數(shù)據(jù)都會(huì)被關(guān)注，計(jì)算相應(yīng)的注意力權(quán)重，不設(shè)置過濾條件。

Hard Attention：生成注意力權(quán)重后，會(huì)篩選掉一部分不滿足條件的注意力，使其注意力權(quán)重為0，可以理解為不再關(guān)注不滿足條件的部分狀況。

1.4 注意力機(jī)制模型原理

注意力機(jī)制模型是指完全利用注意力機(jī)制構(gòu)建的模型。除了輔助其他神經(jīng)網(wǎng)絡(luò)之外，注意力機(jī)制本身也具有擬合能力。

1.注意力機(jī)制模型原理

注意力機(jī)制模型的原理描述起來非常簡單：將具體任務(wù)視為三個(gè)角色：query、key、value（分別縮寫為q、k、v）。其中，q是要查詢的任務(wù)，k和v是一對一的鍵值對。目的是利用q求出k中對應(yīng)的v值。

在具體實(shí)現(xiàn)上，會(huì)比基本原理稍微復(fù)雜一些，見下面的公式。

2.注意力機(jī)制模型的應(yīng)用

注意力機(jī)制模型非常適合序列到序列（Seq2Seq）擬合任務(wù)。例如：在閱讀理解任務(wù)中，文章可以看作是Q，閱讀理解問題和答案可以看作是K和V組成的鍵值對。下面以翻譯任務(wù)為例介紹一下詳細(xì)裝修流程：

1.5.多頭注意力機(jī)制

多頭注意力機(jī)制技術(shù)是對原有注意力機(jī)制模型的改進(jìn)。也是Transformer模型的主要技術(shù)。該技術(shù)可以表示為：Y=MultiHead(Q,K,V)。原理如圖所示。

多頭注意力機(jī)制的工作原理如下：

(1) 使用參數(shù)矩陣將Q、K、V映射到全連接層。

(2) 對步驟(1)中變換后的三個(gè)結(jié)果進(jìn)行點(diǎn)積運(yùn)算。

（3）重復(fù)步驟（1）和（2）h次，每執(zhí)行一次步驟（1），就使用一個(gè)新的參數(shù)矩陣（參數(shù)不共享）。

(4)使用concat函數(shù)連接計(jì)算h次后的最終結(jié)果。

其中，步驟（4）的操作與多分支卷積（將在下卷中詳細(xì)介紹）技術(shù)非常相似，其理論可以解釋為：

（1）每一次注意力機(jī)制操作都會(huì)引起原始數(shù)據(jù)中某一方面特征的注意力變換（獲得局部注意力特征）。

（2）多次注意力機(jī)制操作發(fā)生后，將獲得更多方向的局部注意力特征。

（3）結(jié)合所有局部注意力特征，通過神經(jīng)網(wǎng)絡(luò)將其轉(zhuǎn)化為整體特征，達(dá)到擬合效果。

1.6.自注意力機(jī)制

自注意力機(jī)制也稱為內(nèi)部注意力機(jī)制，用于發(fā)現(xiàn)序列數(shù)據(jù)的內(nèi)部特征。具體方法是將Q、K、V改成X。即Attention(X,X,X)。

使用多頭注意力機(jī)制訓(xùn)練的自注意力特征可以用于各種任務(wù)，例如Seq2Seq模型（輸入和輸出都是序列數(shù)據(jù)的模型，將在下卷中詳細(xì)介紹）、分類模型，并且可以達(dá)到很好的效果，即Y=MultiHead(X,X,X)。

1.7 什么是位置向量詞嵌入

由于注意力機(jī)制的本質(zhì)是鍵值搜索機(jī)制，它無法反映查詢時(shí)Q的內(nèi)部關(guān)系特征。因此，谷歌在實(shí)現(xiàn)注意力機(jī)制的模型中加入了位置向量技術(shù)。

帶位置向量的詞嵌入是指在現(xiàn)有的詞嵌入技術(shù)中添加位置信息。實(shí)施時(shí)，具體步驟如下：

（1）使用sin（正弦）和cos（余弦）算法計(jì)算詞嵌入中的每個(gè)元素。

（2）使用concat函數(shù)將步驟（1）中sin和cos計(jì)算的結(jié)果連接起來，作為最終的位置信息。

位置信息的轉(zhuǎn)換公式比較復(fù)雜，這里不再展開。詳細(xì)請看下面的代碼：

代碼語言：javascript

復(fù)制

def Position_Embedding(inputs, position_size):
    batch_size,seq_len = tf.shape(inputs)[0],tf.shape(inputs)[1]
    position_j = 1. / tf.pow(10000., \
                             2 * tf.range(position_size / 2, dtype=tf.float32 \
                            ) / position_size)
    position_j = tf.expand_dims(position_j, 0)
    position_i = tf.range(tf.cast(seq_len, tf.float32), dtype=tf.float32)
    position_i = tf.expand_dims(position_i, 1)
    position_ij = tf.matmul(position_i, position_j)
    position_ij = tf.concat([tf.cos(position_ij), tf.sin(position_ij)], 1)
    position_embedding = tf.expand_dims(position_ij, 0) \
                         + tf.zeros((batch_size, seq_len, position_size))
    return position_embedding

在示例代碼中，函數(shù)Position_Embedding的輸入和輸出為：

通過函數(shù)Position_Embedding的輸入和輸出，可以清楚地看到詞嵌入中添加了位置向量信息。轉(zhuǎn)換后的結(jié)果可以像普通的詞嵌入一樣在模型中使用。

2. Attention機(jī)制和Seq2Seq框架

具有注意力機(jī)制的Seq2Seq（attention_Seq2Seq）框架通常用于解決Seq2Seq任務(wù)。為了避免讀者混淆概念，下面對Seq2Seq相關(guān)的任務(wù)、框架、接口、模型進(jìn)行統(tǒng)一解釋。

2.1.了解Seq2Seq框架

Seq2Seq任務(wù)的主流解決方案是使用Seq2Seq框架（即Encoder-Decoder框架）。

Encoder-Decoder框架的工作機(jī)制如下。

(1) 使用Encoder將輸入編碼映射到語義空間，得到固定維度的向量。該向量表示輸入的語義。

(2) 使用解碼器對語義向量進(jìn)行解碼，得到所需的輸出。如果輸出是文本，則解碼器通常是語言模型。

Encoder-Decoder框架的結(jié)構(gòu)如圖所示。

該網(wǎng)絡(luò)框架擅長解決：語音到文本、文本到文本、圖像到文本、文本到圖像等轉(zhuǎn)換任務(wù)。

2.2.了解帶有注意力機(jī)制的Seq2Seq框架

注意力機(jī)制可以用來計(jì)算輸入和輸出之間的相似度。一般應(yīng)用于Seq2Seq框架中的編碼器（Encoder）和解碼器（Decoder）之間，通過對輸入到編碼器的每個(gè)詞賦予不同的注意力權(quán)重來影響最終的生成結(jié)果。這種網(wǎng)絡(luò)可以處理更長的序列任務(wù)。其具體結(jié)構(gòu)如圖所示。

圖中的框架只是注意力機(jī)制之一。在實(shí)際應(yīng)用中pg電子麻將胡了，注意力機(jī)制還有許多其他變體。其中包括LuongAttention、BahdanauAttention、LocationSensitiveAttention等。有關(guān)注意力機(jī)制的更多信息，還可以參考論文：

2.3.理解 BahdanauAttention 和 LuongAttention

在TensorFlow的Seq2Seq接口中，實(shí)現(xiàn)了兩個(gè)注意力機(jī)制類接口：BahdanauAttention和LuongAttention。在介紹這兩種注意力機(jī)制的區(qū)別之前，我們首先系統(tǒng)地介紹一下注意力機(jī)制的幾種實(shí)現(xiàn)方法。

1.注意力機(jī)制實(shí)現(xiàn)總結(jié)

注意力機(jī)制的實(shí)現(xiàn)大致可以分為四種方法：

2.4. BahdanauAttention 和 LuongAttention 的區(qū)別

兩種注意力機(jī)制 BahdanauAttention 和 LuongAttention 分別由 Bahdanau 和 Luong 兩位作者實(shí)現(xiàn)。前者采用通用方法實(shí)現(xiàn)，見式（9.3）；后者是使用神經(jīng)網(wǎng)絡(luò)方法實(shí)現(xiàn)的，見方程（9.6）。相應(yīng)論文如下：

2.5. normed_BahdanauAttention 和scaled_LuongAttention

BahdanauAttention類中有一個(gè)權(quán)重歸一化版本（normed_BahdanauAttention），可以加快隨機(jī)梯度下降的收斂速度。使用時(shí)只需將初始化函數(shù)中的參數(shù)normalize設(shè)置為True即可。

詳細(xì)信息請參考以下論文：

相應(yīng)的權(quán)重歸一化版本（scaled_LuongAttention）也在 LuongAttention 類中實(shí)現(xiàn)。使用時(shí)只需將初始化函數(shù)中的參數(shù)scale設(shè)置為True即可。

2.6 理解單調(diào)注意力機(jī)制

單調(diào)注意機(jī)制在原有注意機(jī)制的基礎(chǔ)上增加了單調(diào)約束。這個(gè)單調(diào)約束的內(nèi)容是：

(1) 假設(shè)在生成輸出序列的過程中，模型從左到右處理輸入序列。

(2)當(dāng)某個(gè)輸入序列對應(yīng)的輸出被聚焦時(shí)，出現(xiàn)在該輸入序列之前的其他輸入在后續(xù)輸出中將不會(huì)被聚焦。

即已經(jīng)關(guān)注的輸入序列在之前的序列中將不再被關(guān)注。