新型神經網絡可望訓練機器像人一樣思考

Chao Du et al., Reservoir computing using dynamic memristors for temporal information processing, Nature Communications, 2017.

【本刊訊】儲備池計算系統(reservoir computing system)可在一般對話的過程中預測下一個文字,也能以當下為基礎瞻望未來的成果,其改善典型的神經網絡,並減少對其的訓練時間,在過去是以更大的光學元件製作而成的。密西根大學電子工程與電腦科學系盧偉(Wei Lu)與研究團隊以記憶電阻(memristors)製作的系統,其不僅節省空間、亦能輕易地導向現有的矽基電子(silicon-based electronics)中。





典型的計算機系統,處理器的邏輯運算與記憶體模組是分離的;然記憶電阻是為一特殊形態的電阻裝置,既能執行邏輯運算、也可儲存數據。盧偉與團隊以大腦、由神經元組成的神經網絡,以及作為節點(node)間連結的突觸為引,利用特製的記憶電阻來記憶近期的電算機活動。

過程的一開始會先以大量的問題與答案餵養神經網絡,而此階段被稱作「監督學習(supervised learning)」,節點間的連結在此權衡輕重、將錯誤數最小化,並逐步靠近正確解答,其後便可在不知道答案的前提下被測試,如某系統曾讀取過其他照片中的人臉特徵,所以能處理新圖像並正確解讀人臉。更多複雜的任務如語音辨識等,可透過說話的內容、情境來判讀處理。盧偉更進一步指出,當我們在轉換語言、或將言語文字畫時,單詞的意義與發音視前一個音節而有所不同。

當然這些訓練所費不貲,為給予網絡良好的記憶效能、需結合迴圈(loops)打造出經常性的神經網絡。但由於記憶電阻不需經過訓練,其所製成的儲備池計算系統可略過大部分昂貴的過程,且仍能使神經網絡記得很好。當一系列的數據輸入記憶電阻後,會分辨資訊的時間相關特徵(timerelated features),並用簡單的公式傳給下一層網絡;而在第二層網絡中,透過權衡、改變特性與輸出,便能將錯誤率逐步降低。

此外,團隊更以測試手寫辨識印證儲庫計算概念的可行性。數字被分解成一列列的像素(pixel),並以類似摩斯密碼(Morse code)的電壓進到計算機裡,僅運用88個記憶電阻作為節點便能辨識出數字底下的手寫資訊,且精確程度達91%,以過去的神經網絡來說可能得耗用近千組節點方能完成。掌控時間變化下的種種數據向來是儲備池計算系統的拿手絕活,如數據與文字的串流、或根據過去結果產生功能。工程領域裡,科學家常使用多歷史結果(multiple past results)來測試複雜功能,而儲備池計算系統能以最少的錯誤模擬這些功能。

未來盧偉計畫探索語音辨識與預測分析等兩大領域,望能預測自然語言的走向之餘,在預測分析中亦能利用系統將帶有雜訊的訊號轉為乾淨的串流數據,即使輸入端停擺、亦能預期輸出訊號的結果。

沒有留言:

張貼留言