- 课程回放

东南大学与京东探索研究院联合培养,受谢利萍(校内)和丁亮(企业)导师指导,主要研究方向为自然语言处理、机器翻译等方面,目前侧重于自然语言生成的翻译质量评估问题相关的研究;参与京东探索研究院织女翻译模型Vega-MT的研发工作,赢得了国际计算语言协会ACL举办的WMT2022国际机器翻译评测中7个竞争激烈的赛道冠军。
- 大型语言模型中Prompt、思维链的研究概述
- 大型语言模型评估翻译质量的方法与挑战
- 结合错误分析设计Prompt实现ChatGPT翻译评估
- ChatGPT各项能力的局限性分析及未来探索
大型语言模型(如ChatGPT)在自然语言理解、机器翻译、文本摘要、问答等领域表现出了非凡的能力,那么它是否能用于评价AIGC文本创作(如翻译)等问题呢?
来自京东探索研究院、东南大学的研究者们围绕将ChatGPT用在翻译质量评估上的这个问题的进行了研究,并且发现将错误分析(error analysis)和思维链思想相结合,来设计出更好地提示模板,可以使ChatGPT具有翻译评估能力。此外,他们还发现,将ChatGPT 作为机器翻译评估器时的一些局限性,例如在单个查询中提供多个翻译时评分不稳定和偏差等。
3月20日晚7点,东南大学自动化学院在读博士陆清屿将参与到 AI 新青年讲座第200讲中,主讲《ChatGPT如何成为优秀的翻译质量评估器?——错误分析与思维链结合的Prompt设计》。
在本次讲座中,陆清屿博士首先会介绍自然语言生成模型发展、提示学习(Prompt Learning)和思维链(Chain-of-thought),然后对如何用语言模型评价AIGC文本创作(如翻译)及其常用方法进行概述;之后,也将重点讲解他们是如何将错误分析(error analysis)和思维链思想相结合起来并设计出更好地提示模板,使ChatGPT具有翻译评估能力的。最后,陆博也将讨论在探索ChatGPT各项能力时需要注意的问题,以及后续工作的方向。
