找回密碼 注冊

耳朵聽錯話,也許眼睛出問題啦!

來源:果殼網| tzb 發表于 2013.9.29| 點擊數3529

     “耳聽為虛,眼見為實”有了新的解釋——猶他大學的生物工程學家發現,我們理解語言時對視覺的依賴程度超過了之前的想象。在合適的條件下,眼睛看到的會覆蓋耳朵聽到的。這些發現表明,人工聽覺設備和語音識別軟件不但依賴于麥克風,也能從攝像頭獲益良多。

    “歷史上第一次,我們能把大腦中的聲音信號和人們誤聽的聲音聯系起來。我們證明了視覺能夠影響大腦的聽覺部分,從而改變你對現實的感知——而且這種幻覺還關不掉,”這項研究的第一作者艾略特·史密斯(Elliot Smith)說。“人們以為物理世界的客觀現象和我們的主觀感受之間有很好的對應,但那根本不是事實。”

    大腦處理語言時同時考慮視覺和聽覺——但是如果二者有細微差異,那么視覺優先。這個現象稱為“麥格克效應”,人們幾十年前就知道它,但是它的來源卻一直不為人知。

    這項研究記錄并分析了癲癇病人顳葉皮層(用來處理聲音的區域)的腦信號。所有受試都患有嚴重的癲癇,自愿在接受手術治療的過程中進行實驗。每個受試者的大腦表面直接放置了幾個電極,然后觀看一段視頻。視頻里的人會說"ba"、“va”、“ga”、“tha”這四個音——只不過聲音和口型可能被調了包。

    這段視頻有三種可能的組合:

    第一種是聲音和口型相對應,比如都是“ba”,這時受試當然能準確判斷出來。

    第二種是口型明顯和聲音對不上的,比如口型是“ga”,聲音卻是“tha”——受試能發現這種明顯差錯并正確地聽到“tha”。

    第三種就比較有趣了,聲音和口型只有細微的差異,口型是“ba”,聲音卻是“va”,這時受試就會被蒙騙而以為自己聽到了“ba”。這就是麥格克效應的表現——視覺覆蓋了聽覺。

    史密斯等人測量了受試觀看視頻時的腦電波活動,并由此判斷出受試鑒別聲音的時候用到的是視覺信號還是聽覺信號。如果聲音和口型完美吻合、或者毫無共同點,那么腦活動的增加和聲音有相關性。然而,當麥格克效應發揮作用時,腦波活動的模式卻和視覺信號相似了。統計分析在所有受試身上都驗證了這一結果。

    “我們的結果表明,本來應該由聲音驅動的神經元信號,被視覺信號覆蓋了”,另一位研究者布拉德利·格里格(Bradley Greger)說。“大腦實際上是完全忽視了耳朵里的物理聲音,而選擇聽從視覺看到的東西。”

    格雷格說,這項新發現有助于研究者理解人類處理語言的驅動力,特別是發育中的嬰兒試圖把聲音和唇形連接在一起的時候都發生了什么。該發現也有助于幫助研究者理解,當視覺和聽覺信號沒能正確地整合到一起的時候(比如失語癥),究竟是語言處理的那一部分出了問題。

轉自//www.guokr.com/article/437365/
 
 

建議反饋 返回頂部