用戶名: 密碼: 驗證碼:

养牛牛病: 光芯片上的全光脈沖神經網絡

摘要:Nature昨天刊登了德國明斯特大學的一篇最新進展,研究人員在光芯片上實現了脈沖神經網絡(spike neural network)。先睹為快,這篇筆記主要介紹下這篇進展。研究人員將氮化硅波導與相變材料結合,實現了監督式和非監督式的機器學習,并演示了對15個像素圖片的模式識別。

牛牛bank同洲电子 www.xjdtk.icu   Nature昨天刊登了德國明斯特大學的一篇最新進展,研究人員在光芯片上實現了脈沖神經網絡(spike neural network)。先睹為快,這篇筆記主要介紹下這篇進展。研究人員將氮化硅波導與相變材料結合,實現了監督式和非監督式的機器學習,并演示了對15個像素圖片的模式識別。

  關于相變材料(phase changing material, 以下簡稱PCM), 小豆芽之前的一篇筆記 基于光芯片的內存內計算(memory-in computing)提到過。研究人員采用相同的材料GST(全稱為Germanium Antimony Tellurium), 它可以在晶體和非晶態之間切換。GST通過濺射的方法沉積在SiN波導上方。GST的折射率隨波長變化曲線如下圖所示, 當PCM處于非晶態時,它的吸收率較小,而當它處于晶體態時,吸收率較大?;謖庖恍災?,它可以作為神經網絡的權重單元(weights),用來調控SiN波導中的光強,

(圖片來自文獻1)

  光脈沖神經網絡的結構如下圖所示,

(圖片來自文獻1)

  而典型的神經元結構如下圖所示,

(圖片來自https://www.cnblogs.com/by-dream/p/10497816.html)

  比較上面兩幅圖片,可以看出光學脈沖神經網絡的結構與生物神經元結構非常類似,兩者之前存在一種對應關系。對于光學脈沖神經網絡,不同波長的光脈沖序列輸入進PCM構成的突觸單元(synapse), 經過PCM的作用,脈沖強度發生變化,對應于乘法器。進而借助于微環結構,將不同波長的脈沖導入進同一波導中,該功能類似加法器。相加后的脈沖光強較小時,probe光與微環發生共振,在輸出端口沒有光強輸出。當光強達到一定的閾值后,probe信號不再和微環發生共振,而是傳播到輸出端口。這一過程類似神經元脈沖信號的激發,扮演了非線性激活函數的功能?;鏡墓庋Ы峁溝ピ縵攏?

  1. 含PCM的波導

  下圖中的結構I, 作為突觸單元,調控光脈沖信號的強度,相當于乘法器

  2. WDM波分復用器

  下圖中的結構II, 采用微環結構,將不同波長的光脈沖導入到同一根波導中,相當于加法器

  3. 含PCM的微環結構

  下圖中的結構VI, 作為非線性激活函數。當脈沖能量超過430pJ時,“激發”一個光脈沖。

  (圖片來自文獻1)

  整個信號處理過程分為四步: 1)Weighting, 2)Mux, 3)Sum, 4) Output。典型的光路結構如下圖所示,下圖對應三個神經元結構。

(圖片來自文獻1)

  利用上圖的單個神經元結構,研究人員驗證了監督式機器學習和非監督式機器學習。對于監督式機器學習,權重的數值通過外部的supervisor設置。

(圖片來自文獻1)

  左圖對應1010的識別,右圖對應1100的識別。

  對于非監督式機器學習,不再需要外部的supervisor來設置權重值,而是通過輸出光脈沖進行反饋控制,調整權重值,如下圖所示。當光脈沖信號產生時,增加對應的權重值,而沒有光脈沖信號產生時,減小對應的權重值。下圖展示了對0110的識別過程。

(圖片來自文獻1)

  上述的演示都是針對單個神經元的,對應2x2矩陣的操作。進一步,他們提出了更復雜的光學脈沖神經網絡結構,證明該結構的可擴展性。神經網絡中的每一層結構,如下圖所示。每一層包括三個功能單元,即收集器collector、分發器distributor和神經突觸結構neurosynapse。收集器將上一層不同波長的光脈沖信號收集到同一根波導中,分發器將光脈沖分發給N個神經元,神經突觸結構則產生光脈沖信號,輸入給下一層結構。

(圖片來自文獻1)

  基于上述的架構,他們進一步演示了對字母ABCD的識別。光路中包含4個神經元,每個神經元包含15個突觸,對應識別含15個像素的圖片。整個芯片包含140多個光器件,如下圖所示。由于涉及到15個波長,收集器不是在片內實現的,而是通過外部的WDM實現。

(圖片來自文獻1)

  可以看出,該結構能夠較好地識別ABCD這四個字母。

  小豆芽的幾點comment:

  1) 神經網絡所需的功能單元全部都可以在光芯片內實現,而MIT研究組的方案中激活函數是通過片外電學方法實現。這是該方案的一個優勢和新穎之處。

  2) 采用微環結構,微環是對工藝、溫度、波長非常敏感的。如果該方案想進行大批量生產,這會是一個非常大的挑戰。當然,可以通過熱調的方法進行補償,但是這會帶來額外的功耗。

  3) 由于采用了特殊的PCM材料,目前還沒有硅光foundry支持這一工藝。

  4) 采用波長編碼,目前演示的是含15像素的圖片識別,涉及到15個波長。如果矩陣的規模進一步變大,例如10x10, 就會涉及到100個波長。這就需要可處理100個波長的波分復用器件,無論是在片內還是片外,實現起來都是非常有難度的?;蛐?,較大的矩陣能拆分成小矩陣進行處理,可以規避這一問題。

  文章中如果有任何錯誤和不嚴謹之處,還望大家不吝指出,歡迎大家留言討論。

  參考文獻:

  1. J. Feldmann, et.al., "All-optical spiking neurosynaptic networks with self-learning capabilities", Nature 569, 208(2019)

內容來自:光學小豆芽
本文地址://www.xjdtk.icu//Site/CN/News/2019/05/10/20190510041057330876.htm 轉載請保留文章出處
關鍵字: 光芯片 脈沖 神經網絡
文章標題:光芯片上的全光脈沖神經網絡
【加入收藏夾】  【推薦給好友】 
免責聲明:凡本網注明“訊石光通訊咨詢網”的所有作品,版權均屬于光通訊咨詢網,未經本網授權不得轉載、摘編或利用其它方式使用上述作品。 已經本網授權使用作品的,應在授權范圍內使用,反上述聲明者,本網將追究其相關法律責任。
※我們誠邀媒體同行合作! 聯系方式:訊石光通訊咨詢網新聞中心 電話:0755-82960080-168   Right