產品列表PRODUCTS LIST

首頁 > 技術與支持 > 網絡解碼器采用的技術特點
網絡解碼器采用的技術特點
點擊次數:1546 更新時間:2019-05-14
   網絡解碼器是一個很成功的翻譯模型。這個模型接受一個序列作為輸入,并將序列中的信息編碼為中間表示。然后解碼器解碼中間表示為目標語言。在我們的這個項目中,輸入序列是法語句子,輸出是相應的英語翻譯。
 
  在我們深入網絡解碼器如何工作之前,我們需要了解下模型是如何表示我們的數據的。在對模型的工作機制一無所知的情況下,我們可以合理地推測如果我們給模型一個法語句子,模型能給我們對應的英語句子。也就是說,輸入一個單詞序列,模型應該輸出另一個單詞序列。然而,模型只不過是一組參數,在輸入上進行多種運算。模型并不知道什么是單詞。類似ASCII編碼將字母映射到數字,我們的單詞也需要轉成數值表是。為此,數據集中的每個的單詞需要有一個的索引。模型接受的實際上不是一個單詞序列,而是一個索引序列。
 
  一次傳入一個句子,這沒什么問題。不過,怎樣才能一次傳入多個句子以加速訓練過程呢?句子長短不一。這些數字序列又該如何組織呢?答案是輸入序列將表示為維度等于(batch大小 × 大句子長度)的張量(矩陣)。這樣就可以一次輸入一組句子,短于數據集中長句的句子可以用事先確定的“補齊索引”補齊。
 
  回顧下編碼器輸出張量,序列維度的每一項保存了RNN輸出的向量。注意力模塊就批次中的每個樣本在序列維度上取這些向量的加權和。這樣,每個樣本得到一個向量,表示當前輸出序列步驟計算所需的相關信息。
 
  下面我們將舉一個具體的例子。如果輸入句子的個單詞包含了給定輸出單詞所需的所有重要的信息,那么個單詞分配的權重是一,其他各項權重為零。也就是加權向量等于輸入句子的個單詞對應的向量。
 
  模型需要學習如何分配這些權重,所以我們使用了一個全連接層。序列中的每個單詞對應一個權重,所以權重數量等于長句子長度。權重之和應等于一,所以全連接層將使用softmax激活函數。注意力模塊將接受網絡解碼器先前的隱藏狀態與解碼器前一步輸出的預測單詞的詞嵌入的連接作為輸入,從而決定這些權重的值。
主站蜘蛛池模板: 女的被触手到爽羞羞漫画| 欧美性猛交XXXX乱大交3| 国产成人精品美女在线| 亚洲熟女乱色一区二区三区| 韩国出轨的女人| 少妇粉嫩小泬喷水视频| 亚洲第一区在线| 国产精品嫩草影院人体模特| 天天摸天天舔天天操| 亚洲午夜久久久久久尤物| 黑人巨大两根69gv| 成人影院久久久久久影院| 亚洲一区中文字幕在线电影网| 青青热久免费精品视频精品| 在线日韩日本国产亚洲| 中文字幕在线观看亚洲视频| 末成年女a∨片一区二区| 亚洲精品日韩中文字幕久久久| 美妇乱人伦交换小说| 在线观看一区二区精品视频| 久久se精品一区二区国产| 欧美中文字幕在线播放| 国产va在线视频观看| 69成人免费视频| 在线观看日本www| 东北疯狂xxxxbbbb中国| 日本老妇人乱xxy| 人人妻人人爽人人做夜欢视频九色| 视频一区二区中文字幕| 女人182毛片a级毛片| 久久久久亚洲av无码专区| 欧美一区二区日韩国产| 亚洲精品无码久久毛片| 精品女同一区二区三区在线| 国产精品美女一区二区| www.欧美色| 成年人视频网址| 亚洲无线一二三四区| 短篇丝袜乱系列集合嘉嘉| 国产igao视频网在线观看hd| 黄色性生活毛片|