研究人员对机器翻译后编辑最有希望的选择进行用户研究


2019-07-23 09:18:08



翻译

2019年5月2日发表的一篇研究论文比较了使用机器翻译后编辑(通常称为PEMT)和交互式翻译预测(或称ITP)的译者的表现。结果表明,ITP可能是译者更好的人机交互方式。
 
如果ITP听起来很熟悉,那是因为这种方法是由总部位于硅谷的利特尔首创的。这家初创公司于2015年推出,是一款以ITP为动力的翻译生产力工具,面向个人语言学家,被SDL起诉(随后和解),从风投巨头红杉资本获得数百万美元资金,并随着时间的推移转向托管服务商业模式。
 
虽然与PEMT一起使用的翻译生产力工具预先用原始机器翻译输出填充目标翻译段,语言学家随后会对其进行审查和编辑,但ITP的行为更像是一个自动完成功能,当语言学家在空的目标段中工作时,它会在目标翻译段下方建议目标翻译。此外,ITP动态地将语言学家的部分翻译考虑在内,并建议对句子的其余部分进行更好的翻译。
PEMT和ITP对决的结果可能决定未来几年绝大多数译者如何与内容互动。
 
开拓性研究
这两种方法是如何相互叠加的?来自约翰·霍普斯金大学的研究生丽贝卡·诺尔斯、奥克兰大学的玛丽娜·桑切斯·托伦博士和同样来自约翰·霍普斯金的菲利普·科恩教授进行了这项研究并撰写了这篇论文。他们在一份题为“神经交互式翻译预测的用户研究”的报告中汇编了他们的发现
 
 
斯莱特2019年神经机器翻译报告:在作战中部署NMT
数据和研究
32页,NMT最新水平,5个案例研究,30条评论,NMT日常运作
之前的研究使用基于统计机器翻译的ITP系统,而这一次,科恩的团队在ITP部署了神经机器翻译(NMT),这是第一次,根据研究作者的说法。他们部署的神经ITP系统先前是由诺尔斯和科恩基于爱丁堡大学的内马斯NMT模型开发的。科恩教授通过电子邮件对斯莱特说,他们开发的系统“在模拟研究中显示出明显更好的结果”。
 
“所以,显而易见的问题是,这是否也会导致专业译者实际翻译生产率的提高。科恩说:“这种研究总是有点棘手,因为译者必须习惯一种工具和一种新的工作方式,而且很难大规模进行。”。“每当我们[做]用户研究时,我们也必须处理译者之间的巨大差异。尽管如此,令人鼓舞的是,这不仅是与机器翻译互动的一种更愉快的方式,而且还能让至少一些译者的工作更有成效。”
 
受成本和便利性的限制
研究人员使用了一种简单明了的方法:将nematus构建到ITP环境中,用数百万对句子训练它,让参与的专业翻译使用PEMT和神经ITP系统并提供反馈。
 
这项研究中使用的nematus驱动的ITP系统被放入CASMACAT,这是2011年至2014年在欧盟研究和技术发展方案下开发的翻译生产力工具。作者在2013年统计机器翻译研讨会上使用了相同的数据集来训练他们的系统。整个训练数据集包含近400万个句子对。
 
研究参与者由八名英语-西班牙语专业翻译组成,他们在八篇新闻文章中工作,并注意旨在最大限度地利用研究产生的定量数据的具体指导方针。语言学家也被要求提供他们对神经ITP系统经验的反馈。
 
如果参与者的数量看起来有点不令人满意,作者指出“成本和便利激发了我们的样本量、质量评估和语言配对选择,因此限制了我们研究结果的应用。”
 
由于技术问题和翻译选择不遵守说明,样本量进一步减少了17%。同一个翻译明确表示,他们不愿意与神经ITP合作,因为他们对这项技术有非常负面的反馈。
 
流畅性问题
研究人员基于三大类来衡量翻译生产率,进一步细分为11个更精细的变量。这三类是(1)时间努力或处理时间;(2)技术努力;(3)最终翻译质量。
 
还向八名翻译提供了一份关于ITP的问卷。根据作者的说法,“11个变量中有8个的样本结果对ITP有利。”
 
在这项研究中,神经ITP提供了比研究人员预期的更准确的预测,但是他们也发现“流畅性问题在ITP比在[山多一倍多”
 
然而,他们指出CASMACAT是一个非生产环境,缺乏语法自动纠正等功能“很可能对此有所贡献”——这是一个有道理的观点,因为商业翻译生产力软件开发人员将大部分时间集中在改善用户界面和为底层技术增加额外的功能上。
 
他们还发现,“就长期改善而言,没有一个模型能够确定ITP的生产率指标是否随着时间的推移而改善。”
 
研究术语的时间更少
专业翻译的反馈通常是非常积极的,除了那个对每个问题都提供负面反馈的语言学家。该研究发现译者与PEMT的经历也可能在神经ITP的感知中发挥作用。
 
研究人员说,以前使用过PEMT的翻译对神经ITP没有任何负面看法,不管他们在自己的职业中有多有经验。与此同时,他们注意到“一些迹象表明,受过[翻译公司正式培训或提供[翻译公司服务的译者经常从ITP获益最多。”
 
“受过[翻译公司正式培训或提供[翻译公司服务的翻译人员经常从ITP获益最多”
据研究人员称,“不管他们的翻译经验如何,几乎没有或根本没有[[翻译经验的专业翻译可能更不愿意在ITP工作。”两位对ITP持负面看法的与会者几乎没有PEMT经验。
 
译者说,PEMT和ITP在认知和翻译过程上的差异意味着使用ITP导致“研究术语的时间减少”。
 
一些译者对译者在ITP驱动的环境中的角色表示担忧,或者“在这种情况下,机器翻译启动意味着‘译者的声音消失了’,以及ITP系统的用户友好性和速度如何可能在译者方面产生过度自信,并在用户方面没有所需的紧急和严格水平时导致错误或错误的决定”。"