- 课程回放
ChatGPT离人类专家还有多远?——对比语料集和ChatGPT内容检测器
智猩猩AI新青年讲座 2023/03/22 19:00:00
课程讲师
课程提纲
- 对比专家与ChatGPT回答的HC3数据集
- 人工测评和语言学分析
- 基于HC3的开源双语ChatGPT检测器
- 实验结果及在线使用方法
课程简介
在3月20日(周一)的「AI新青年讲座」第200讲中,东南大学在读博士陆清屿就《ChatGPT如何成为优秀的翻译质量评估器?——错误分析与思维链结合的Prompt设计》,对ChatGPT的翻译评估能力进行了验证和讲解。
与此同时,人们一方面开始好奇ChatGPT是如何做到这样的实力,与人类专家的差距到底有多大。 另一方面,人们也开始担心像 ChatGPT 这样的大型语言模型 (LLM) 可能对社会产生的潜在负面影响。
针对这个问题,来自上海财经大学信息管理与工程学院AI Lab的在读博士郭必扬等人收集了4万余条问题和对应的专家回答,然后收集对应的ChatGPT回答,构造了Human-ChatGPT Comparison Corpus (HC3) 数据集。
在HC3数据集的基础上,他们进行了大量的统计语言学探究、人工测评(图灵测试,有用性测试),发现了很多有趣的结论。同时,郭必扬他们基于HC3开发了多种ChatGPT检测器,做了大量的实验,发现了影响检测效果的几个关键因素。
3月22日,AI新青年讲座第201讲邀请到上海财经大学信息管理与工程学院AI Lab在读博士郭必扬参与,主讲《ChatGPT离人类专家还有多远?——对比语料集和ChatGPT内容检测器》。
精彩问答
提问
提问
