 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 1501 | 回復(fù): 0 | |||
yexuqing木蟲之王 (文學(xué)泰斗)
太陽系系主任
|
[交流]
上海交大鄭偉龍團(tuán)隊(duì)在Nature Communications發(fā)表類腦智能研究成果
|
|
上海交大鄭偉龍團(tuán)隊(duì)在Nature Communications發(fā)表類腦智能研究成果 2024年10月08日 責(zé)任編輯：曾添一 孫佳 近日，上海交通大學(xué)電子信息與電氣工程學(xué)院計(jì)算機(jī)科學(xué)與工程系鄭偉龍團(tuán)隊(duì)在類腦智能領(lǐng)域取得重要進(jìn)展，相關(guān)研究成果以“Rapid context inference in a thalamocortical model using recurrent neural networks”（基于遞歸神經(jīng)網(wǎng)絡(luò)的丘腦皮層模型中的快速情境推斷）為題在國際著名期刊《Nature Communications》上發(fā)表。 圖片1.png 研究背景 情境是一個(gè)抽象的目標(biāo)、記憶和外部線索的集合，這些信息有助于產(chǎn)生適當(dāng)?shù)男袨榉磻?yīng)。人類和動(dòng)物基于變化的情境信息表現(xiàn)出靈活的決策能力。這種靈活性體現(xiàn)在能夠生成情境依賴的學(xué)習(xí)行為，并快速、靈活地適應(yīng)新情境，而不覆蓋先前的學(xué)習(xí)。為了實(shí)現(xiàn)這些目標(biāo)，情境推斷是支撐認(rèn)知靈活性許多方面的基本過程。來自人類和動(dòng)物研究的實(shí)驗(yàn)證據(jù)強(qiáng)調(diào)了情境推斷的重要性。研究表明，情境推斷障礙與認(rèn)知靈活性降低與多種心理障礙疾病（如精神分裂癥）相關(guān)聯(lián)。 情境推斷背后的神經(jīng)機(jī)制仍然在研究中，例如其相關(guān)神經(jīng)生理機(jī)制和計(jì)算理論。已有研究表明，前額皮層（PFC）在認(rèn)知靈活性中發(fā)揮著關(guān)鍵作用。PFC接收來自其他腦區(qū)（包括皮層、丘腦和杏仁核）的多種輸入，同時(shí)也輸出到這些腦區(qū)。在這些腦區(qū)中，內(nèi)側(cè)背丘腦（MD）最近受到特別關(guān)注，因?yàn)樗cPFC之間有著密集的投射關(guān)系。近期研究表明，MD調(diào)節(jié)PFC神經(jīng)元?jiǎng)討B(tài)及其有效連接，以支持適應(yīng)性行為。具體而言，MD神經(jīng)元增強(qiáng)局部皮層的連接性，并維持PFC中的規(guī)則表示。MD編碼情境信息（刺激呈現(xiàn)的統(tǒng)計(jì)規(guī)律），并調(diào)節(jié)PFC神經(jīng)元反應(yīng)。通過這種方式，MD維持與情境相關(guān)的PFC表征，同時(shí)抑制與情境無關(guān)的表征。小鼠行為表現(xiàn)的實(shí)驗(yàn)結(jié)果表明，情境推斷可以在僅僅幾次試驗(yàn)內(nèi)迅速發(fā)生。除了在情境推斷中的作用外，MD還與一系列其他認(rèn)知功能有關(guān)。這些發(fā)現(xiàn)強(qiáng)調(diào)了丘腦皮層相互作用在推斷時(shí)間情境中的關(guān)鍵作用，這是認(rèn)知靈活性的一個(gè)重要組成部分。 近年來，遞歸神經(jīng)網(wǎng)絡(luò)（RNN）被廣泛用于前額皮層（PFC）動(dòng)態(tài)的計(jì)算建模。盡管神經(jīng)網(wǎng)絡(luò)在各種認(rèn)知任務(wù)中表現(xiàn)良好，但當(dāng)任務(wù)按順序?qū)W習(xí)時(shí)，它們通常會(huì)遭遇嚴(yán)重的性能下降，稱為災(zāi)難性遺忘。在這種情況下，整個(gè)神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)新任務(wù)時(shí)需要重新訓(xùn)練，而不保護(hù)對過去任務(wù)的先前學(xué)習(xí)知識。持續(xù)學(xué)習(xí)或終身學(xué)習(xí)在動(dòng)態(tài)環(huán)境中對人類學(xué)習(xí)至關(guān)重要，使模型能夠同時(shí)解決不同的任務(wù)而不發(fā)生干擾。學(xué)術(shù)界提出了許多持續(xù)學(xué)習(xí)方法，主要分為三種策略：基于重放的方法、基于正則化的方法和基于架構(gòu)的方法。然而，大多數(shù)持續(xù)學(xué)習(xí)方法在訓(xùn)練過程中需要明確的任務(wù)標(biāo)簽。例如，提供任務(wù)標(biāo)簽的獨(dú)熱編碼向量作為模型的輸入。在執(zhí)行任務(wù)時(shí)，如何快速而準(zhǔn)確地從神經(jīng)表征中推斷出任務(wù)標(biāo)簽或時(shí)間情境信息尚不清楚。在本研究中，研究團(tuán)隊(duì)展示了將丘腦皮層神經(jīng)環(huán)路的生物特性融入神經(jīng)網(wǎng)絡(luò)，可以幫助網(wǎng)絡(luò)在僅僅幾次試驗(yàn)內(nèi)持續(xù)推斷時(shí)間情境信息，并在動(dòng)態(tài)變化的環(huán)境中實(shí)現(xiàn)持續(xù)學(xué)習(xí)。 為了開發(fā)快速的在線情境推斷計(jì)算模型，研究團(tuán)隊(duì)在本研究中提出了新穎的雙系統(tǒng)遞歸神經(jīng)網(wǎng)絡(luò)模型，包含MD丘腦模塊和PFC模塊。模型采用基于赫布學(xué)習(xí)的突觸可塑性，以無監(jiān)督的方式在PFC和MD之間進(jìn)行，使MD模塊能夠通過整合試驗(yàn)中的情境相關(guān)活動(dòng)來推斷時(shí)間情境。MD投射對PFC的任務(wù)表征進(jìn)行調(diào)控，以避免不同任務(wù)表征之間的干擾。研究團(tuán)隊(duì)訓(xùn)練網(wǎng)絡(luò)實(shí)現(xiàn)情境依賴決策任務(wù)，這與動(dòng)物實(shí)驗(yàn)小鼠接受的注意力引導(dǎo)行為任務(wù)相似。PFC-MD神經(jīng)網(wǎng)絡(luò)結(jié)果與小鼠的PFC和MD的神經(jīng)記錄一致。研究團(tuán)隊(duì)發(fā)現(xiàn)，PFC-MD網(wǎng)絡(luò)在靈活切換時(shí)間情境任務(wù)方面優(yōu)于僅有PFC的模型。研究團(tuán)隊(duì)還評估了模型在更一般的認(rèn)知任務(wù)上的性能，并將模型性能與現(xiàn)有的生物學(xué)上合理的持續(xù)學(xué)習(xí)方法進(jìn)行了比較。實(shí)驗(yàn)結(jié)果表明，PFC-MD神經(jīng)網(wǎng)絡(luò)在持續(xù)學(xué)習(xí)和知識遷移方面具有計(jì)算優(yōu)勢。 研究亮點(diǎn) 認(rèn)知靈活性是一種使人類和動(dòng)物能夠在各種情境中表現(xiàn)出適當(dāng)行為的基本能力。前額皮層（PFC）與內(nèi)側(cè)背丘腦（MD）之間的丘腦皮層相互作用被認(rèn)為對推斷時(shí)間情境至關(guān)重要�？焖偾榫惩茢嗍钦J(rèn)知靈活性的重要組成部分。然而，負(fù)責(zé)情境推斷的相關(guān)神經(jīng)機(jī)制仍不清楚。為了解決這一問題，研究團(tuán)隊(duì)提出了一個(gè)利用赫布可塑性規(guī)則的PFC-MD神經(jīng)網(wǎng)絡(luò)模型，以支持快速的在線情境推斷。具體而言，模型中的MD丘腦能夠在較少次試驗(yàn)中從前額葉皮層輸入推斷時(shí)間情境信息。這個(gè)主要是利用本研究設(shè)計(jì)的具有pre-synaptic trace和自適應(yīng)閾值的前額皮層到丘腦突觸可塑性規(guī)則，以及丘腦winner-take-all歸一化來實(shí)現(xiàn)的。此外，丘腦模塊能夠調(diào)控前額皮層中與情境無關(guān)的神經(jīng)元活動(dòng)，從而促進(jìn)持續(xù)學(xué)習(xí)。研究團(tuán)隊(duì)通過讓模型順序?qū)W習(xí)各種認(rèn)知任務(wù)來評估其性能。實(shí)驗(yàn)結(jié)果表明，引入類似丘腦神經(jīng)模塊減輕了對先前任務(wù)的災(zāi)難性遺忘，并展示了向未來任務(wù)學(xué)習(xí)的知識遷移能力。研究團(tuán)隊(duì)的研究利用了丘腦皮層神經(jīng)環(huán)路的神經(jīng)網(wǎng)絡(luò)特性來實(shí)現(xiàn)快速情境推斷和持續(xù)學(xué)習(xí)。 研究內(nèi)容 圖片2.png 圖1 具有突觸可塑性的PFC-MD模型框架 研究團(tuán)隊(duì)設(shè)計(jì)了具有赫布學(xué)習(xí)規(guī)則的皮層-丘腦神經(jīng)網(wǎng)絡(luò)模型，在PFC至MD的連接中推斷時(shí)間情境，并在PFC中實(shí)現(xiàn)MD門控。傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)針對單一情境或任務(wù)進(jìn)行優(yōu)化，容易遭遇災(zāi)難性遺忘。在新情境或任務(wù)中，舊情境或任務(wù)中學(xué)習(xí)到的關(guān)鍵模型參數(shù)被改變。研究團(tuán)隊(duì)提出了具有pre-synaptic and post-synaptic trances、自適應(yīng)閾值和winner-take-all機(jī)制的突觸可塑性規(guī)則，以使神經(jīng)網(wǎng)絡(luò)能夠推斷時(shí)間情境并實(shí)現(xiàn)持續(xù)學(xué)習(xí)。 圖片3.png 圖2 PFC-MD神經(jīng)網(wǎng)絡(luò)模型中對時(shí)間情境的選擇性編碼 研究團(tuán)隊(duì)提出的模型與Rikhye及其同事的實(shí)驗(yàn)結(jié)果一致。分類結(jié)果顯示，PFC中可以解碼到規(guī)則和情境信息，而MD中只能解碼到情境信息。研究團(tuán)隊(duì)提出的PFC與MD之間的可塑性規(guī)則選擇性地使MD能夠從PFC獲取情境信息。該可塑性規(guī)則支持快速的在線情境推斷。另外，MD在各種噪聲條件下的情境解碼表現(xiàn)優(yōu)于PFC。 圖片4.png 圖3 在更復(fù)雜的認(rèn)知任務(wù)上實(shí)現(xiàn)快速M(fèi)D情境推斷 研究團(tuán)隊(duì)研究了PFC-MD模型在需要?jiǎng)討B(tài)處理輸入和在遞歸網(wǎng)絡(luò)中學(xué)習(xí)的更復(fù)雜任務(wù)中的魯棒性，例如各種認(rèn)知功能，包括工作記憶、決策、分類和抑制控制等任務(wù)。為了使模型能夠泛化到更加復(fù)雜的認(rèn)知任務(wù)，研究團(tuán)隊(duì)通過添加一個(gè)新的PFC-ctx模塊，提出了新的丘腦皮層相互作用方式，將任務(wù)學(xué)習(xí)和情境推斷分為兩個(gè)路徑。通過整合試驗(yàn)中PFC-ctx的神經(jīng)活動(dòng)，MD能夠選擇性地編碼時(shí)間情境。情境編碼的模型結(jié)果顯示了PFC-ctx與MD之間顯著的性能差距，這與小鼠實(shí)驗(yàn)數(shù)據(jù)中PFC快速放電神經(jīng)元和MD神經(jīng)元之間的性能差距一致。 圖片5.png 圖4 MD模塊支持PFC中的持續(xù)學(xué)習(xí) 除了推斷時(shí)間情境，MD對PFC有兩種不同的效應(yīng)：乘法效應(yīng)和加法效應(yīng)，分別是特定于情境的神經(jīng)連接增強(qiáng)和神經(jīng)活動(dòng)抑制。通過引入MD模塊，不同情境/任務(wù)之間的神經(jīng)表征變得不相交，從而促進(jìn)PFC內(nèi)的有效群體編碼，實(shí)現(xiàn)持續(xù)學(xué)習(xí)。PFC-MD模型的表現(xiàn)優(yōu)于其他持續(xù)學(xué)習(xí)模型，主要得益于MD介導(dǎo)的抑制。PFC-MD模型對學(xué)習(xí)的情境知識具有權(quán)重保護(hù)機(jī)制。 圖片6.png 圖 5 PFC-MD模型的正向遷移與任務(wù)相似性測量 人類和動(dòng)物的大腦不僅僅是避免遺忘，還表現(xiàn)出在從先前學(xué)習(xí)的任務(wù)中轉(zhuǎn)移知識的高度靈活性，這一現(xiàn)象稱為正向遷移。具體而言，正向遷移指的是先前學(xué)習(xí)的任務(wù)能夠提升相關(guān)未來任務(wù)的表現(xiàn)和學(xué)習(xí)效率。為了使PFC-MD模型具備正向遷移的能力，模型允許不同認(rèn)知任務(wù)共享一部分PFC神經(jīng)元。除了抑制與任務(wù)無關(guān)的PFC神經(jīng)元外，任務(wù)選擇性MD神經(jīng)元還維持了一些在不同任務(wù)中共同的PFC神經(jīng)元活動(dòng)。MD至PFC的投射可以根據(jù)任務(wù)相似性進(jìn)行調(diào)整。因此，對應(yīng)于MD至PFC效應(yīng)的不相交或重疊，PFC中的任務(wù)表征可以是完全模塊化的或部分模塊化的。實(shí)驗(yàn)結(jié)果表明，具有重疊效應(yīng)的PFC-MD模型在持續(xù)學(xué)習(xí)和正向遷移方面表現(xiàn)出對更相似任務(wù)的性能提升。 研究團(tuán)隊(duì) 上海交通大學(xué)電子信息與電氣工程學(xué)院計(jì)算機(jī)科學(xué)與工程系仿腦計(jì)算與機(jī)器智能研究中心鄭偉龍副教授為該論文的唯一第一作者和共同通訊作者，上海交通大學(xué)為該論文的第一單位和共同通訊單位。論文合作者還包括德克薩斯大學(xué)奧斯汀分校Zhongxuan Wu、麻省理工學(xué)院的Ali Hummos和Guangyu Robert Yang，以及塔夫茨大學(xué)醫(yī)學(xué)院的Michael M. Halassa。該工作得到了國家自然科學(xué)基金、科技創(chuàng)新2030重大項(xiàng)目和上海浦江人才計(jì)劃等項(xiàng)目的資助。 01.png 鄭偉龍，上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系長聘教軌副教授，博士生導(dǎo)師。入選國家級高層次海外青年人才和上海市海外高層次青年人才。他于2018年在上海交通大學(xué)計(jì)算機(jī)科學(xué)與工程系獲得博士學(xué)位，之后在哈佛大學(xué)醫(yī)學(xué)院麻省總醫(yī)院和麻省理工學(xué)院從事博士后研究，長期從事腦認(rèn)知與智能、情感計(jì)算、腦機(jī)交互、類腦計(jì)算理論與模型等方面研究。在國際高水平會(huì)議和期刊發(fā)表研究論文100余篇，多篇論文入選ESI高被引論文。榮獲IEEE Transactions on Autonomous Mental Development最佳論文獎(jiǎng)、IEEE Transactions on Affective Computing最佳論文獎(jiǎng)、ACM Multimedia Top Paper Award、中國人工智能學(xué)會(huì)優(yōu)秀博士學(xué)位論文獎(jiǎng)以及吳文俊人工智能自然科學(xué)一等獎(jiǎng)，入選上海市浦江人才項(xiàng)目、小米青年學(xué)者、微軟亞洲研究院鑄星計(jì)劃、AI華人青年學(xué)者榜單、2023全球前2%科學(xué)家年度影響力榜單。目前擔(dān)任IEEE Transactions on Affective Computing編委。 個(gè)人主頁：https://weilongzheng.github.io/，歡迎對人工智能和腦科學(xué)交叉研究感興趣的同學(xué)加入到實(shí)驗(yàn)室團(tuán)隊(duì)。 論文鏈接：https://www.nature.com/articles/s41467-024-52289-3 作者：電子信息與電氣工程學(xué)院 供稿單位：電子信息與電氣工程學(xué)院 |
回復(fù)此樓» 猜你喜歡
新疆大學(xué)地質(zhì)與礦業(yè)工程學(xué)院招生
已經(jīng)有5人回復(fù)
-
材料專碩290求調(diào)劑
已經(jīng)有4人回復(fù)
-
不限學(xué)校專業(yè)的調(diào)劑同學(xué)看過來
已經(jīng)有5人回復(fù)
-
招調(diào)劑
已經(jīng)有8人回復(fù)
-
一志愿蘇大材料工程專碩293求調(diào)劑
已經(jīng)有3人回復(fù)
-
274求調(diào)劑
已經(jīng)有9人回復(fù)
-
085602高分子方向求調(diào)劑
已經(jīng)有3人回復(fù)
-
歡迎211本科同學(xué)，過A區(qū)國家線，A區(qū)非偏遠(yuǎn)一本，交叉學(xué)科課題組
已經(jīng)有22人回復(fù)
-
289求調(diào)劑
已經(jīng)有3人回復(fù)
-
求調(diào)劑
已經(jīng)有4人回復(fù)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 yexuqing 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 求材料調(diào)劑 +4 | berdmond 2026-03-05 | 4/200 |
|
|---|---|---|---|---|
|
[考研] 274環(huán)境工程求調(diào)劑 +6 | 扶柳盈江 2026-03-05 | 6/300 |
|
|
|
[考研] 302材料工程求調(diào)劑 +7 | Doleres 2026-03-01 | 8/400 |
|
|
|
[考研] 環(huán)境工程專碩307 一志愿211 四六級已過 求調(diào)劑 +5 | ccc! 2026-03-03 | 6/300 |
|
|
|
[考研] 267調(diào)劑求助 +5 | 聰少OZ 2026-03-04 | 5/250 |
|
|
|
[考研] 0856材料專碩274能調(diào)劑去哪里？ +3 | 22735 2026-03-04 | 4/200 |
|
|
|
[考研] 一志愿武漢理工大學(xué)-085602-總分296分-求調(diào)劑 +7 | 紫川葡柚 2026-03-04 | 7/350 |
|
|
|
[考研] 0703化學(xué)調(diào)劑 +4 | G212 2026-03-03 | 5/250 |
|
|
|
[考博] 26申博 求博導(dǎo) +3 | 愛讀書的小帥 2026-02-28 | 5/250 |
|
|
|
[考研]
材料270求調(diào)劑
 6+6
|
Eiiiio 2026-03-01 | 11/550 |
|
|
|
[考研] 324求調(diào)劑 +4 | wxz2 2026-03-03 | 5/250 |
|
|
|
[考研] 0856調(diào)劑 +10 | 劉夢微 2026-02-28 | 10/500 |
|
|
|
[考研] 11408，學(xué)碩276求調(diào)劑 +3 | 崔wj 2026-03-02 | 5/250 |
|
|
|
[考研] 求調(diào)劑 +11 | yunziaaaaa 2026-03-01 | 13/650 |
|
|
|
[考研] 284求調(diào)劑 +10 | 天下熯 2026-02-28 | 11/550 |
|
|
|
[考研] 化工專碩342，一志愿大連理工大學(xué)，求調(diào)劑 +6 | kyf化工 2026-02-28 | 7/350 |
|
|
|
[考研] 材料調(diào)劑 +6 | 愛擦汗的可樂冰 2026-02-28 | 7/350 |
|
|
|
[考研] 279求調(diào)劑 +3 | dua1 2026-03-01 | 4/200 |
|
|
|
[考研] 272求調(diào)劑 +6 | 田智友 2026-02-28 | 6/300 |
|
|
|
[考研] 0856材料求調(diào)劑 +4 | 麻辣魷魚 2026-02-28 | 4/200 |
|