海上雲自閑

首頁文章列表博文目錄

個人資料

海上雲

給我悄悄話

博客訪問：

那些深藏在音樂和文字裏的秘密

(2018-01-09 09:04:16) 下一個

這是英偉達利用深度學習創作的一段音樂。如果不是事先告訴你，這是人工智能製作的，你會不會以為是哪位作曲家的作品？

在音樂中，前後的音節、旋律、呈示、展開和再現都存在很強的相關性。人類的自然語言中，也有著前後的相關性。比如朋友間的聊天，比如文學寫作，前一個時刻的語言文字，可以幫助你猜測和理解下一刻的內容。這裏麵有一個“記憶”的問題，需要記住可能很久以前的狀態，以便更好地詮釋現在-----包括電視劇裏各種狗血的分手場景，需要翻翻N年前的變天賬，才能使得劇情人神共憤。

最開始的神經網絡是沒有記憶能力的，剛剛還是哭得天崩地裂的場景，一鍋豬肉燉粉條就破涕為笑。

RNN (Recurrent Neural Network) 在傳統的神經網絡上加入了“循環”功能, 將不同時間點上神經網絡之間的輸入、運算與輸出進行聯係，讓神經網絡產生記憶能力---兄弟，你幾分鍾前剛哭過，神經網記住了，一會兒豬肉燉粉條上來，你可不能流口水。

但是原始的RNN還是存在著巨大的缺陷，那就是它不知道如何選擇該記憶什麽忘記什麽。這就導致了機器學習係統把所有信息，都不分青紅皂白記了下來。這樣給網絡增加了大量的運算負荷，也讓神經網絡難以判定比較遙遠的信息。這是RNN缺乏“長時依賴”的問題---遙遠的記憶消失在時間的長河裏。

LSTM RNN (Long Short Term Memory Recurrent Neural Network)是長短期記憶循環神經網絡。LSTM區別於傳統RNN的地方，在於加入了一個判斷信息有用與否的“Cell處理器”。一個cell當中被放置了“三重門”，分別叫做輸入門、遺忘門和輸出門。一個信息進入LSTM的網絡當中，可以根據規則來判斷是否有用。隻有符合算法認證的信息才會留下，不符的信息則通過“遺忘門”被遺忘。

因為有了“遺忘門”，才有了更好的“記憶”！

因為有了“短期的遺忘”，才有了“長期的記憶”！

在神經網絡中引入記憶和時間上的依賴性，使得機器翻譯（例如訊飛的翻譯軟件）、語音識別、為圖像起標題的準確率大幅提高。擁有長時間記憶的神經網絡，還可以創作出非常優美的音樂，模仿出類似於莎士比亞風格的文學作品。

通過大量的選擇記憶訓練，LSTM RNN可以理解到事物之間有怎樣的長時間聯係，甚至是信息距離非常遙遠的兩個事物之間是如何關聯的。而這個能力發展下去，就是機器的推理能力，甚至是想象力。

但是，LSTM RNN的記憶和人還是有差距的。

人腦中那些很遙遠的記憶，埋在深處你自己都以為遺忘了，卻會不自禁跳出來。可能是大學時的一次聚會，可能是少年時的一段音樂，可能是月光下的一次感動，可能是心有靈犀的一段文字，那些是我們忘了忘記的……

【忘了忘記】

比天涯的遠，還遠
我的目光，在秋季裏
獨自回望春風嗬護的花園

水湄，一池婷婷的青蓮
蓮邊是風
風邊是柳
柳邊是月
月色裏是透明純淨的思念

風很輕，我很遠
如果雲幻出我的江南
和小路上盼歸的炊煙
這一切
不是，故意想起
而是，忘了忘記

(2013-02-18)

[ 打印 ]