類腦智能:人造超級大腦
作者:任福繼(電子科技大學特聘講席教授);李太豪(之江實驗室高級研究專家)
腦科學被視為理解宇宙、自然與人類關(guān)系的“終極疆域”,人類從未停止對人腦的探索,以及對其運行機制的模仿。人腦以極強的可塑性、通用性、自適應(yīng)性、自組織性以及低能耗、高效率等,為人工智能技術(shù)的發(fā)展提供了啟發(fā)和示范。類腦智能這一新興學科得以誕生,被認為是后摩爾時代最具發(fā)展?jié)摿Φ念嵏残灶I(lǐng)域之一。日前,中國科學技術(shù)協(xié)會完成了《直面人類未來——2021年度人類社會發(fā)展十大科學問題解讀》一書的編輯出版,本期,我們邀請其中的兩位作者,介紹有關(guān)類腦智能的研究。
1.全球關(guān)注類腦智能研究
類腦智能研究具有重大意義,借鑒人腦的信息處理方式,有助于打破馮·諾依曼體系結(jié)構(gòu)束縛,有望引領(lǐng)人工智能從機器智能走向機增強智能,從專用智能走向通用智能。因此,目前世界各主要發(fā)達國家和地區(qū)都在積極推動類腦智能的發(fā)展。該領(lǐng)域全球重大項目密度逐年提升,如歐盟的“人類腦計劃”、美國的“推進創(chuàng)新神經(jīng)技術(shù)腦研究計劃”以及我國的科技創(chuàng)新2030——“腦科學與類腦研究重大項目”等,而且有谷歌、微軟等國際商業(yè)機器公司等高科技公司的大力度投入。
類腦智能又被稱為神經(jīng)形態(tài)計算,旨在模擬人類大腦的形態(tài)結(jié)構(gòu)及信息處理機制。一方面,突出生物學基礎(chǔ)和硬件導向,以神經(jīng)形態(tài)硬件仿真為核心,開發(fā)類腦芯片,模擬神經(jīng)電路結(jié)構(gòu)和脈沖神經(jīng)網(wǎng)絡(luò),并利用神經(jīng)脈沖計算原理形成新型物理模式;另一方面,突出感知模式、認知機理、學習能力、記憶存儲等功能實現(xiàn),在腦智能機制研究的基礎(chǔ)上,借助機器強大的整合、搜索、計算等能力,實現(xiàn)功能類腦和性能超腦的運行模式。
自然選擇并不必然意味著智能發(fā)展,其中蘊含著對于生存的妥協(xié)和生物體依附關(guān)系的輔助。因此,人類大腦作為自然進化的產(chǎn)物,仍然存在諸多弊端和局限,并非其所有的運行機制都是科學的和值得被模仿的,其信息處理的方式亦然。諸如記憶容量有限、學習過程緩慢、計算能力個體差異明顯等,這就需要梳理明確機腦究竟在哪些方面應(yīng)該借鑒人腦之所長,在哪些方面恰恰應(yīng)該發(fā)揮機腦與人腦相互協(xié)同之作用。
在信息處理方面,人腦有幾個顯著優(yōu)勢:一是能夠很好地處理非結(jié)構(gòu)化信息,能夠多模態(tài)感知并行處理數(shù)據(jù),動態(tài)過濾和捕捉關(guān)鍵內(nèi)容,并進行跨媒體融合和自主決策;二是小樣本學習和泛化能力強,在知識和資源相對不足的條件下,主體具有強有力的自適應(yīng)能力,具有強容錯性;三是存算一體化,大腦的生物神經(jīng)元同時具備運算和存儲能力,具有一體化運行和超低能耗的特點;四是大腦建模不僅可以通過計算來實現(xiàn),還具有稀疏性、學習性、選擇性和方向性等生物特性,蘊含巨大的信息處理潛能。
從信息的獲取、處理與存儲等角度,以及綜合考慮人腦在信息處理方面的顯著優(yōu)勢,類腦智能可以劃分為類腦感知、類腦記憶和類腦學習等。要最終形成“人造超級大腦”,還有很長的路要走,目前的類腦研究尚處于初級階段,僅是對大腦的高度抽象和簡化。
未來研究路徑應(yīng)該對大腦如何進行信息加工加以揭示,闡明復雜行為之下的內(nèi)在機制實現(xiàn)形式,特別是了解神經(jīng)信息如何產(chǎn)生感知覺、學習、記憶、決策等認知功能,并思考如何通過機腦實現(xiàn)智能,建立新型的計算結(jié)構(gòu)與智能形態(tài),使其在信息處理機制上“類腦”,在信息處理性能上“超腦”,在認知行為和智能水平上“類人”。
2.類腦感知模擬視覺、聽覺、觸覺和嗅味覺
根據(jù)人類感知世界的方式,類腦感知可以分為視覺智能、聽覺智能、觸覺智能和嗅味覺智能。當前的視覺智能、聽覺智能處于信息技術(shù)領(lǐng)域?qū)W術(shù)研究與實際應(yīng)用的最前沿。相比之下,觸覺智能和嗅味覺智能處于材料硬件、規(guī)?;酒布皖惸X芯片結(jié)構(gòu)創(chuàng)新的研究階段。
在基礎(chǔ)研究層面,類腦視覺智能已經(jīng)發(fā)展為目前以深度學習為代表的視覺方法。1982年,大衛(wèi)·馬爾的《視覺》一書問世,使得視覺計算理論成為跨界計算機科學與認知神經(jīng)科學的橋梁。現(xiàn)在,不同的類腦神經(jīng)網(wǎng)絡(luò)框架與其他領(lǐng)域的模型,如自然語言處理領(lǐng)域的轉(zhuǎn)換器已經(jīng)取得最先進的性能。在產(chǎn)業(yè)發(fā)展層面,視覺智能從上游的光源、鏡頭、相機,到視覺系統(tǒng)中游的中間算法,再到下游的設(shè)備制造和終端應(yīng)用等已經(jīng)取得全面的發(fā)展。
聽覺智能作為另外一個發(fā)展較為成熟的領(lǐng)域,其主要研究內(nèi)容以自然語言處理為核心,以語音和文本為載體,對抽象的信息進行表達。在應(yīng)用層面,語音信號處理技術(shù)已廣泛應(yīng)用于虛擬主播、在線通話、智能音箱等。在產(chǎn)業(yè)界,自然語言處理技術(shù)已經(jīng)被用于機器翻譯、聊天機器人、輿情分析和市場預(yù)測等各個領(lǐng)域。
觸覺智能是相對發(fā)展較為緩慢的一類感知技術(shù)。為了實現(xiàn)機器人準確地感知世界,需要全方位的視覺智能與觸覺智能。2021年諾貝爾生理學或醫(yī)學獎得主、美國加利福尼亞大學舊金山分校的戴維·朱利葉斯和斯克利普斯研究所的阿德姆·帕塔普蒂安分別獨立發(fā)現(xiàn)了溫度與觸覺的受體,該發(fā)現(xiàn)揭示了人體皮膚感知溫度、壓力及疼痛的分子機制,即揭示了外部的溫度和機械刺激是如何轉(zhuǎn)化為內(nèi)部的神經(jīng)信號的。以該類發(fā)現(xiàn)為啟發(fā),機器的觸覺智能以新材料為切入點,感知環(huán)境的溫度、壓力與濕度等各種信號,通過神經(jīng)網(wǎng)絡(luò)等機器學習方法自適應(yīng)地學習模型參數(shù),使得機器具備感知觸覺的能力。
嗅味覺智能的研究難點也在感知材料層面,而不是后續(xù)的深度學習算法與認知訓練層面。人工智能對味覺與嗅覺的識別,進展遠遠落后于對視覺和聽覺的識別。原因之一是視覺與聽覺的數(shù)據(jù)獲取相對容易且標注較為簡單。而相比之下,嗅覺與味覺的標注非常稀疏,且大部分物品并不會被輕易標注,因為人類不會自己去嘗試陌生物品的味道。在基礎(chǔ)理論層面,人類對味覺和嗅覺的機理研究并不透徹,目前的認知僅停留在味道與物質(zhì)分子有關(guān),而對分子之間的聯(lián)合作用不存在類似視覺的系統(tǒng)認知。因基礎(chǔ)理論認知的缺失、感知材料的發(fā)展限制,嗅味覺智能尚未在工業(yè)界廣泛應(yīng)用。在學術(shù)研究層面,IBM研究院于2019年研發(fā)的“電子舌頭”能在1分鐘內(nèi)識別多種液體,可以用于監(jiān)測食品安全、工廠質(zhì)檢、疾病診斷、環(huán)保檢測等領(lǐng)域。2020年,英特爾與康奈爾大學在《自然-機器智能》上聯(lián)合發(fā)表論文,宣布其利用英特爾神經(jīng)擬態(tài)芯片Loihi可以識別10種有害氣體。
人腦對大量的信息會基于注意力機制進行篩選,并將資源重點用于面向任務(wù)的關(guān)鍵信息處理。類腦注意力智能已經(jīng)被應(yīng)用于深度學習的各個領(lǐng)域,如視頻圖像處理、語音識別和自然語言處理等。當前注意力機制發(fā)展最為成熟的領(lǐng)域是自然語言處理,它通過編碼-解碼器來實現(xiàn)對詞語的注意權(quán)重。
3.類腦記憶已用于問答系統(tǒng)、機器翻譯
生物大腦在進行信息處理時,能夠?qū)⑿畔⒂涀∫欢螘r間,即大腦具有記憶功能。該功能是生物大腦的重要功能,是大腦進行學習、認知的基礎(chǔ)。根據(jù)記憶時間的長短,可將記憶分為短時記憶和長時記憶。短時記憶是對當前環(huán)境的即時反應(yīng),將當前環(huán)境數(shù)據(jù)存儲于生物大腦中,從微觀角度來看,短時記憶是刺激神經(jīng)元后的持續(xù)性變化。長期記憶是對歷史信息的高層次概括,從微觀角度來看,是神經(jīng)元之間的突觸連接和強度發(fā)生了變化。具有記憶單元的智能體有很好的自適應(yīng)能力,可以從歷史經(jīng)驗中學習,從而更好地發(fā)揮作用。
受到腦科學的啟發(fā),研究人員將記憶模塊應(yīng)用于機器學習模型中。長短期記憶網(wǎng)絡(luò)就是一種代表性方法。它通過對神經(jīng)記憶單元進行結(jié)構(gòu)化設(shè)計,通過門控模型控制信息的更新。其中,遺忘門控制信息中的哪些部分會被丟棄,輸入門控制神經(jīng)元要更新的信息,輸出門控制神經(jīng)元要輸出的信息,一個細胞狀態(tài)中存儲著由遺忘門和輸入門共同確定的可記憶的信息。長短期記憶網(wǎng)絡(luò)方法將信息表示成固定長度的向量化編碼,當外部信息量變大時,這種定長的編碼方法可能會丟失信息的細節(jié)。這導致了長短期記憶網(wǎng)絡(luò)的記憶能力有限,并不能精確地記住過去的事實。此時的大部分模型都缺乏可以讀取和寫入外部知識的組件。
在此基礎(chǔ)上,研究人員開始研究非定長的記憶單元存儲信息。Facebook 團隊提出的記憶網(wǎng)絡(luò)就是其中一種。該團隊在記憶網(wǎng)絡(luò)中引入了一個獨立的存儲器。我們可以通過類比方式來理解這種網(wǎng)絡(luò):網(wǎng)絡(luò)結(jié)構(gòu)可看作計算機中的中央處理器,而獨立存儲器可看作隨機存儲器。一個記憶網(wǎng)絡(luò)由一個記憶數(shù)組和四個組件(輸入組件、泛化組件、輸出組件、回答組件)組成。輸入組件負責將輸入數(shù)據(jù)轉(zhuǎn)化為網(wǎng)絡(luò)內(nèi)在的向量;泛化組件用來更新記憶數(shù)組;輸出組件結(jié)合輸入,從記憶數(shù)組中抽取合適的記憶;回答組件負責將輸出組件的輸出轉(zhuǎn)化為需要的形式。
記憶網(wǎng)絡(luò)雖然解決了定長記憶方法的局限性,但這種方法并不是一種端到端的方法。端到端的記憶神經(jīng)網(wǎng)絡(luò)隨之出現(xiàn)了。鍵值記憶網(wǎng)絡(luò)的提出解決了端到端的神經(jīng)網(wǎng)絡(luò)記憶規(guī)模不足的問題。以上方法通過非定長記憶編碼的方式改善定長記憶方法的缺陷,但隨著記憶的增長,這種方法可能會造成信息的冗余。因此,學者又引入了注意力機制來對信息進行動態(tài)融合,提取記憶中的重要信息。目前,相關(guān)工作已經(jīng)在問答系統(tǒng)、機器翻譯等任務(wù)中取得了良好表現(xiàn)。
盡管目前的神經(jīng)網(wǎng)絡(luò)計算模型對記憶的借鑒已經(jīng)在應(yīng)用層面取得了良好的效果,但這些方法仍然是從功能角度去模擬大腦,其進一步的發(fā)展還需要對人腦記憶機制和原理進行深入的探索。
在類腦記憶方面,現(xiàn)有的人工神經(jīng)網(wǎng)絡(luò)并不具備生物機理作為理論支撐。例如,在生物大腦中,記憶遵循著赫布學習律與脈沖時序依賴的突觸可塑性等法則。類腦記憶未來的發(fā)展方向應(yīng)該借鑒生物大腦的研究,根據(jù)生物大腦的記憶環(huán)路結(jié)構(gòu)及相關(guān)理論構(gòu)建多尺度的記憶框架,實現(xiàn)自主記憶。由于不同種類的記憶類型在神經(jīng)機制和神經(jīng)環(huán)路上差異明顯,因此類腦記憶應(yīng)重點解決對生物大腦的長時記憶、短時記憶、工作記憶等不同種類記憶方法的建模,探索不同記憶的腦機制。除此之外,類腦記憶還應(yīng)解決如何對記憶進行表示、如何構(gòu)建層次化記憶、如何對記憶進行去冗余處理、如何快速激活記憶單元等關(guān)鍵問題。
4.類腦學習需要融合更多神經(jīng)生物學理論
生物大腦的學習智能來源是其有著超大規(guī)模和復雜互聯(lián)的神經(jīng)網(wǎng)絡(luò),通過模擬生物神經(jīng)網(wǎng)絡(luò)從而實現(xiàn)類腦學習是類腦智能的發(fā)展思路之一。近年來蓬勃發(fā)展的深度神經(jīng)網(wǎng)絡(luò)利用生物大腦在進行信息處理時的層次化信息,在諸多領(lǐng)域取得了重大突破。
卷積神經(jīng)網(wǎng)絡(luò)就是一個很好的例子。它通過對網(wǎng)絡(luò)結(jié)構(gòu)的改造,使其某些神經(jīng)元共享相同參數(shù),可以提取輸入數(shù)據(jù)某種不變的特征。但其仍是淺層的初步嘗試,對腦信息處理機制的深度借鑒還有很長的距離。
神經(jīng)學研究顯示,大腦新皮質(zhì)的功能實現(xiàn)依賴于其區(qū)域連接組成的層次結(jié)構(gòu)。該理論是皮質(zhì)學習算法的理論基礎(chǔ),認為人腦的智能與新皮質(zhì)緊密相關(guān)。皮質(zhì)學習算法中的核心部分是分層時間記憶算法,該算法模擬了大腦新皮質(zhì)結(jié)構(gòu)和功能運作。雖然該模型目前已經(jīng)在數(shù)據(jù)處理領(lǐng)域得到了廣泛的應(yīng)用,但只是對大腦皮層對應(yīng)的功能進行粗略建模,與大腦的真實結(jié)構(gòu)差距甚遠。
20世紀90年代,神經(jīng)生物學家發(fā)現(xiàn),在神經(jīng)元細胞體或軸突附近存在一系列的短脈沖,而且不同的信息在尖脈沖數(shù)量和脈沖輸出的時間上存在差異。這些研究成果促使了脈沖神經(jīng)網(wǎng)絡(luò)的產(chǎn)生。脈沖神經(jīng)網(wǎng)絡(luò)被稱為第三代神經(jīng)網(wǎng)絡(luò),設(shè)計更加接近生物大腦的真實結(jié)構(gòu),是對真實的生物神經(jīng)元進行建模。脈沖神經(jīng)網(wǎng)絡(luò)目前在模式識別、腦電信號處理、智能感知和控制方面有著良好效果,但在圖像或語音處理的效果方面仍然是個未知數(shù)。除此之外,脈沖神經(jīng)網(wǎng)絡(luò)訓練算法的理論發(fā)展尚需完善。
對于人類來說,學習新的知識并不需要很多標記數(shù)據(jù)。這是由于人類在學習新任務(wù)時,會有其他的先驗知識可以用于聯(lián)想或者類比學習,人類只需要通過少量樣本就能快速學習,這就是機器學習和人類學習之間存在的差距??刹豢梢越梃b人類學習的過程,從而通過其他任務(wù)的學習促進當前任務(wù)的學習?
元學習就是基于此思想發(fā)展而來的,它試圖讓機器學習更加接近人類思維。元學習又被稱為學會學習,是利用以往的經(jīng)驗來指導新任務(wù)的學習,使人工神經(jīng)網(wǎng)絡(luò)具備學習的能力。元學習盡管取得了一些成績,但還有自適應(yīng)性、進化性、可解釋性等一系列問題有待研究,其系統(tǒng)理論知識尚需進一步完善。
在類腦學習方面,雖然現(xiàn)有的深度神經(jīng)網(wǎng)絡(luò)已經(jīng)模擬了生物大腦信息處理的部分原理,但這只是初步的探索,并沒有從更深層次去融合神經(jīng)生物學的相關(guān)理論。目前,在微觀層面,神經(jīng)生物學在神經(jīng)元和突觸的類型、數(shù)目及其工作原理等方面都取得了不少進展,發(fā)現(xiàn)它們在不同的腦區(qū)中差異很大,且能根據(jù)實現(xiàn)功能的不同動態(tài)變化調(diào)整,可以通過深度融合生物大腦的學習機制來提升現(xiàn)有模型。
版權(quán)聲明:凡注明“來源:中國西藏網(wǎng)”或“中國西藏網(wǎng)文”的所有作品,版權(quán)歸高原(北京)文化傳播有限公司。任何媒體轉(zhuǎn)載、摘編、引用,須注明來源中國西藏網(wǎng)和署著作者名,否則將追究相關(guān)法律責任。