眼动追踪技术证实儿童能够利用语言停顿

罗切斯特大学幼儿研究室利用眼动追踪技术,对有助于推断说话者意图的语言停顿现象(例如“嗯”和“啊”)进行研究。

研究背景

成年人通常会在说不常见的词汇(如:那个。。。呃,山竹果)前和对话中未提及的词汇前出现语言停顿现象。罗切斯特大学幼儿研究室的研究员使用Tobii 1750眼动仪来检测学习词汇的幼儿(2至6岁)是否会对这一规律做出反应和利用语言停顿来帮助理解话语。实验通过监测幼儿在倾听含有停顿的句子时眼睛对物体的注视,证明幼儿能够预测到停顿后即将听见的那个单词很大可能是一个之前未提及的或者新鲜的单词。

语言理解这一过程并不能直接观察到,所以我们利用眼球运动作为一种间接的手段来推断说话者所指事物。依靠眼动追踪技术,我们才能够研究儿童在语言理解时对即将听到的事物所作出的预期。

Celeste Kidd, Graduate Student Researcher, Brain & Cognitive Sciences, University of Rochester

研究工具与方法

为了检测幼儿是否会利用语言停顿所暗示的信息,罗切斯特大学幼儿研究室的研究员找到了十六个受试儿童(平均年龄2:6),用Tobii 1750眼动仪给他们播放一组图片,每张图片上都有两个物体。

每个幼童都会连续观看三次图片,每张图片包含一个熟悉物体(例如鞋子)和一个新奇物体(例如螺旋体)。前两次图片播放时,幼儿会听见提及熟悉物体的话语。

A stimuli used during the test (each display contained one familiar object and one novel object).
 A toddler sitting on his mom’s lap watches the  disfluency study movie on the Tobii Pro screen based eye tracker.

在第三次图片播放时,幼儿会听到一个连贯的或者在说出物体前有语言停顿的指令,告诉他们看向熟悉物体或者新奇物体。例如,在第一种情况下,儿童会听到:“快看!看那个螺旋体!”;在第二种情况下,儿童则会听到:“快看!看那那个……呃……螺旋体!”在十六个受试儿童的测试中,第三次图片播放时给出的连贯或者不连贯的、指向熟悉或者新奇物体的指令次数都是相同的。

研究员预测,如果儿童知道语言停顿会出现在指向新奇或者不熟悉物体的言语前,那么在第二种情况下,在说出物体名称之前的两秒钟画面播放过程中,他们看向新奇物体次数会比在第一种情况下多。因此,研究员对比了在这两秒的时间中儿童看向新奇物体的时间和比例。

我们的测试对象是幼儿,而幼儿通常都很活跃。至于能从这个年纪的测试对象身上获得多少数据,时间是最大的障碍。Tobii眼动仪大大减少了校准时间,使得我们能够从这些受试儿童获得更多数据。

Celeste Kidd, Graduate Student Researcher, Brain & Cognitive Sciences, University of Rochester

研究结论

研究员用Matlab软件计算出了在两种不同情况下儿童在这两秒钟的时间内看向新奇事物的比例。

Graph 1 and 2.

以上两图(图1和图2)表明,儿童倾向于认为语言停顿预示着即将听到的词汇是指向一个新鲜的、此前未提及过的事物。

为了证明这一假设,研究员对比了两种情况下儿童在那两秒内看向新奇物体的平均总时间。结果发现,儿童在第一种情况下(893 ms)看向新奇物体的平均总时间比第二种情况(1158 ms)更短,经秩和检验分析,这一差异是极为显著的((p < 0.008),如图三所示。除此之外,第一种情况下,儿童在那两秒内看向新奇物体的时间比例(0.54)也比第二种情况(0.67)更短,经秩和检验分析,这一差异同样是极为显著的( N=16, p < 0.005)。重要的是,儿童在第二种情况下看向新奇物体的时间比例(p < 0.001)远远高于随机水平,而在第一种情况下则非如此(p > 0.37)。

Graphs 3 and 4.

上述实验结果表明,儿童不仅知晓语言停顿包含了某种信息,能够注意到话语中的停顿,并且还能在理解话语时利用语言停顿中所包含的信息来推断说话者意图。

我们发现使用Tobii眼动仪进行婴幼儿测试很方便,并且能够提供关于获得语言识别研究洞察力的足够高的时间和空间分辨率。

Richard Aslin, Professor, Brain & Cognitive Sciences and Center for Visual Science, University of Rochester

联系我们

联系销售