绑定手机号
获取验证码
确认绑定
提问
0/255
提问
订阅开课提醒需关注服务号
回答成功
知道了
扫码关注智猩猩服务号登录
请使用微信扫描二维码
扫描二维码分享给微信好友
您已订阅成功,有新课程,我们将第一时间提醒您。
知道了
发送提问成功
回答可在
“我的——我的提问”中查看
知道了
失败
欢迎来智东西
关注我们
智东西
车东西
芯东西
智猩猩
中文个性化对话大模型ChatPLUG与模块化多模态大模型mPLUG-Owl
2023/05/18 19:00:00
课程讲师

ChatPLUG核心贡献者,研究方向为对话大模型和多模态大模型,在国际顶级会议ACL、EMNLP、CVPR、AAAI等发表多篇文章。

ChatPLUG核心贡献者,研究方向为对话大模型和多模态大模型,在国际顶级会议ACL、EMNLP、CVPR、AAAI等发表多篇文章。

mPLUG核心贡献者,研究方向为多模态模块化大模型,在国际顶级会议ICCV、ICML、ACL等发表多篇文章。

mPLUG核心贡献者,研究方向为多模态模块化大模型,在国际顶级会议ICCV、ICML、ACL等发表多篇文章。

课程提纲
  • 个性化大模型研究概述
  • 搜索增强指令微调对话大模型
  • 对话大模型的评估和开源
  • 多模态大模型研究的变化趋势
  • mPLUG模块化多模态模型系列概述
  • mPLUG-Owl及训练新范式解析
课程简介

5月18日,「阿里达摩院大模型公开课」第3讲上线开讲。阿里巴巴达摩院算法专家、ChatPLUG 核心贡献者田俊峰和阿里巴巴达摩院算法工程师、mPLUG 核心贡献者叶晴昊将参与主讲。两位主讲人将对ChatPLUG 和 mPLUG-Owl 背后的技术细节进行深入剖析。

ChatPLUG 是基于 PLUG 的一个中文对话大模型,使用亿级互联网社交数据、百科数据预训练和百万级高质量对话数据,并采用 FID(Fuse-in-Decoder)架构进行 instruction 微调得到。该模型支持高效的输入多段外部知识、人设信息等文本进行知识增强。

在与最新的开源中文对话大模型 BELLE-7M-2B 和 ChatGLM-6B 进行了多任务泛化性的人工对比评测后发现:

1)ChatPLUG-3.7B 取得了比 BELLE-7B-2M 更好的效果( Rating-A 更多,Rating-C 更少),同时对比 ChatGLM-6B 也取得了 comparable 的效果,表明了 ChatPLUG 具备良好的多任务泛化能力;

2)当将模型的 size 扩大到 13B,ChatPLUG-13B 在所有模型中取得了最优效果。

mPLUG-Owl是一款类似于 miniGPT-4 和 LLaVA 的多模态对话生成模型,由视觉基础模型 、视觉抽象模块以及预训练语言模型组成,并且具备单模态和多模态多轮对话能力。

本次公开课,田俊峰将以《中文个性化对话大模型ChatPLUG》为主题首先带来直播讲解。他的讲解将主要从个性化大模型研究、搜索增强指令微调对话大模型,以及对话大模型的评估和开源三方面展开。

之后,叶晴昊将围绕《模块化多模态大模型mPLUG-Owl》这一主题进行讲解。他将介绍多模态大模型研究的变化趋势,并对mPLUG模块化多模态模型系列,以及mPLUG-Owl及训练新范式进行深入解读。

精彩问答
提问
提问
目前还没有问题,可以点击右侧的“提问按钮”提问
更多问题...