學(xué)習(xí)一門語言的最佳方法，通常是讓自己沉浸在說這門語言的人所處的環(huán)境中。持續(xù)沉浸在這種語言環(huán)境中，加上溝通交流的壓力，能幫你很快學(xué)會(huì)和練習(xí)新詞匯。但并不是每個(gè)人都有機(jī)會(huì)在國外生活或?qū)W習(xí)。
位于美國紐約州特洛伊市的一所大學(xué)倫斯勒理工學(xué)院（Rensselaer Polytechnic Institute ，RPI）與IBM研究院（IBM Research）進(jìn)行了一項(xiàng)新的合作，為學(xué)生們提供了另一種選擇：360度虛擬環(huán)境。
通過它將學(xué)生們“傳送”到北京的繁忙街道或擁擠的中餐館，學(xué)生們將有機(jī)會(huì)與街頭小販討價(jià)還價(jià)或購買食物，環(huán)境中配有不同的人工智能功能，以便對(duì)其作出實(shí)時(shí)響應(yīng)。
盡管該課堂很大程度上是實(shí)驗(yàn)性的，但今年夏天它將首次被應(yīng)用于這所大學(xué)一門為期六周的學(xué)分課程中。
該項(xiàng)目的靈感來自RPI的兩位教師，他們經(jīng)常利用角色扮演游戲來幫助學(xué)生學(xué)習(xí)漢語。與此同時(shí)，在過去幾年中，一些研究發(fā)現(xiàn)互動(dòng)式學(xué)習(xí)環(huán)境可以提高語言的理解和記憶。
2018年發(fā)表的一項(xiàng)研究還發(fā)現(xiàn)，在3D虛擬環(huán)境中學(xué)日語使學(xué)生更容易通過模擬仿真學(xué)會(huì)他們偶然遇到的詞匯。兩位教授與IBM Research基于這些認(rèn)識(shí)展開了合作，探討他們是否能為自己的學(xué)生復(fù)制這些好處。
除了讓場景的數(shù)字投影環(huán)繞在學(xué)生周圍，該環(huán)境還使用多種類型的傳感器來動(dòng)態(tài)適應(yīng)學(xué)生的話語和動(dòng)作。參與者佩戴的麥克風(fēng)將他們的音頻直接提供給語音識(shí)別算法。
當(dāng)他們指向不同對(duì)象或走向不同的虛擬代理時(shí)，攝像頭會(huì)跟蹤他們的動(dòng)作和手勢，并在虛擬場景中顯示出來。例如，如果學(xué)生指向餐廳場景中的一道菜并詢問它是什么，虛擬代理可以用名稱和描述來響應(yīng)。
“敘事生成”技術(shù)還能利用維基百科的知識(shí)，讓每個(gè)虛擬代理為即興提問（“這道菜的歷史是什么？”）構(gòu)建更復(fù)雜的答案。（然而，對(duì)話主題仍然有點(diǎn)局限于學(xué)生試圖完成的任務(wù)。）
該環(huán)境中的許多技術(shù)都是已投入商用的產(chǎn)品，它們編織在一起，便形成了一個(gè)整體體驗(yàn)。但有些技術(shù)必須為該項(xiàng)目而專門開發(fā)。例如，普通話有五聲，對(duì)許多新學(xué)習(xí)者來說這是個(gè)挑戰(zhàn)，但它對(duì)傳達(dá)意義至關(guān)重要。說“賣”這個(gè)詞時(shí)稍有出入，你可能會(huì)說成“買”。
因此，研究人員發(fā)明了一種算法來分析學(xué)生發(fā)音的聲調(diào)。它將其與母語為漢語者的聲調(diào)進(jìn)行比較，顯示兩者的不同之處，然后在環(huán)境中直接提供音頻和視覺反饋。它使學(xué)生能向虛擬代理詢問有些東西該怎么表達(dá)，并立即開始練習(xí)新詞匯。
領(lǐng)導(dǎo)這項(xiàng)計(jì)劃的IBM研究院認(rèn)知與沉浸式系統(tǒng)實(shí)驗(yàn)室主任蘇輝說，他的團(tuán)隊(duì)仍處于了解實(shí)驗(yàn)效果的早期階段。但在2017年底的一個(gè)試點(diǎn)項(xiàng)目中，研究人員有了定性方面的發(fā)現(xiàn)，發(fā)現(xiàn)它提高了學(xué)生在語言學(xué)習(xí)中的參與度和樂趣，并幫助他們迅速學(xué)會(huì)新的詞匯。
例如，在餐館點(diǎn)菜前，學(xué)生們并沒有學(xué)支付餐費(fèi)該怎么表達(dá)，但通過觀察同齡人和虛擬代理交談，許多人學(xué)會(huì)了支付餐費(fèi)的必要詞匯。蘇說：“這有點(diǎn)出乎意料。其中一個(gè)學(xué)生評(píng)論說，語言教學(xué)就該這樣�！�
第一年新課程將在近一半時(shí)間里使用虛擬環(huán)境，其余時(shí)間里使用傳統(tǒng)課堂，但這種安排未來可能有變化。
如果該課程能提供學(xué)生學(xué)習(xí)成績明顯改善的強(qiáng)有力證據(jù)，它就能為其它課程樹立榜樣。最直接的想法是將其經(jīng)驗(yàn)擴(kuò)展到其他語言上，但它也可以用到大學(xué)以外的地方，指導(dǎo)公司高管，培訓(xùn)政府工作人員，或進(jìn)行其它可能從情景模擬和角色扮演中獲益的準(zhǔn)備活動(dòng)。
蘇輝說，這項(xiàng)計(jì)劃最終將為研究人員的長期任務(wù)提供幫助，使他們能夠理解認(rèn)知與沉浸式環(huán)境是如何影響學(xué)習(xí)、協(xié)作和感知能力的。
