绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智东西公开课服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智东西公开课
ChatGPT离人类专家还有多远?——对比语料集和ChatGPT内容检测器
AI新青年讲座 2023/03/22 19:00:00
课程讲师

曾在微软亚洲研究院访问实习。相关研究成果发表于人工智能顶会AAAI,数篇论文在顶会审稿中;“ChatGPT 对比与检测“项目发起人、负责人,带领团队开源首个人类-ChatGPT问答对比语料集HC3和首款中英双语ChatGPT 内容检测器,受到学界、业界广泛关注。

郭必扬
上海财经大学 在读博士

曾在微软亚洲研究院访问实习。相关研究成果发表于人工智能顶会AAAI,数篇论文在顶会审稿中;“ChatGPT 对比与检测“项目发起人、负责人,带领团队开源首个人类-ChatGPT问答对比语料集HC3和首款中英双语ChatGPT 内容检测器,受到学界、业界广泛关注。

课程提纲
  • 对比专家与ChatGPT回答的HC3数据集
  • 人工测评和语言学分析
  • 基于HC3的开源双语ChatGPT检测器
  • 实验结果及在线使用方法
课程简介

在3月20日(周一)的「AI新青年讲座」第200讲中,东南大学在读博士陆清屿就《ChatGPT如何成为优秀的翻译质量评估器?——错误分析与思维链结合的Prompt设计》,对ChatGPT的翻译评估能力进行了验证和讲解。

与此同时,人们一方面开始好奇ChatGPT是如何做到这样的实力,与人类专家的差距到底有多大。 另一方面,人们也开始担心像 ChatGPT 这样的大型语言模型 (LLM) 可能对社会产生的潜在负面影响。

针对这个问题,来自上海财经大学信息管理与工程学院AI Lab的在读博士郭必扬等人收集了4万余条问题和对应的专家回答,然后收集对应的ChatGPT回答,构造了Human-ChatGPT Comparison Corpus (HC3) 数据集。

在HC3数据集的基础上,他们进行了大量的统计语言学探究、人工测评(图灵测试,有用性测试),发现了很多有趣的结论。同时,郭必扬他们基于HC3开发了多种ChatGPT检测器,做了大量的实验,发现了影响检测效果的几个关键因素。

3月22日,AI新青年讲座第201讲邀请到上海财经大学信息管理与工程学院AI Lab在读博士郭必扬参与,主讲《ChatGPT离人类专家还有多远?——对比语料集和ChatGPT内容检测器》。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...