- 开课提醒
曾供职于Google,AWS,Bloomberg等科技公司担任工程和管理职位,有十五年的技术行业经验,在高性能服务器应用,云架构设计,移动应用和数字广告技术等领域有丰富经验。
专注于大语言模型的边缘部署、Arm 服务器软件生态系统的建立以及自动驾驶软件早期概念验证(PoC)等关键领域,通过提供真实世界的软件需求,引领 Arm 软件生态的技术转型。
在担任 Arm 台湾的业务拓展经理期间,沈纶铭致力于强化台湾 ICT 生态系统。他善用 Arm 运算架构在服务器、边缘计算和 Windows on Arm (WoA) 领域的高性能与低功耗优势,通过与 OEM、ODM 及 ISV 合作伙伴的深入协作,成功为生态系统创造价值并扩大 Arm 在关键市场的影响力。
凭借逾二十年的软硬件协同设计经验,沈纶铭在技术领域奠定了坚实的基础。他的专业能力涵盖多核缓存一致性架构与片上系统(SoC)设计,其在噪声消除领域的多项算法已被应用于多款主流智能手机与笔记本电脑。作为一位积极的开源社区参与者,他持续撰写关于大语言模型边缘部署的技术文章,与全球开发者建立联系并分享专业知识,奠定了其在该领域的技术意见领袖地位。沈纶铭拥有新竹清华大学通讯工程研究所硕士学位,是经 SGS-TÜV 认证的半导体汽车功能安全专家,并拥有多项美国与中国算法专利。
专注于大语言模型的边缘部署、Arm 服务器软件生态系统的建立以及自动驾驶软件早期概念验证(PoC)等关键领域,通过提供真实世界的软件需求,引领 Arm 软件生态的技术转型。
在担任 Arm 台湾的业务拓展经理期间,沈纶铭致力于强化台湾 ICT 生态系统。他善用 Arm 运算架构在服务器、边缘计算和 Windows on Arm (WoA) 领域的高性能与低功耗优势,通过与 OEM、ODM 及 ISV 合作伙伴的深入协作,成功为生态系统创造价值并扩大 Arm 在关键市场的影响力。
凭借逾二十年的软硬件协同设计经验,沈纶铭在技术领域奠定了坚实的基础。他的专业能力涵盖多核缓存一致性架构与片上系统(SoC)设计,其在噪声消除领域的多项算法已被应用于多款主流智能手机与笔记本电脑。作为一位积极的开源社区参与者,他持续撰写关于大语言模型边缘部署的技术文章,与全球开发者建立联系并分享专业知识,奠定了其在该领域的技术意见领袖地位。沈纶铭拥有新竹清华大学通讯工程研究所硕士学位,是经 SGS-TÜV 认证的半导体汽车功能安全专家,并拥有多项美国与中国算法专利。
- 开场致辞
- 用 Arm Server 解锁 ModelScope 中文大模型推理与加速实战
- 问答环节
当大模型从技术探索走向大规模产业应用,其部署与推理的效率与成本将成为决定成败的关键。
ModelScope 作为国内领先的模型开源社区,致力于为开发者与研究者提供一个集模型探索、体验、推理、训练、部署和应用的一站式服务平台。ModelScope 上汇聚了大量优质的中文大模型,其中高性能语音识别框架 FunASR 在中文场景下表现出色,已在语音转写、实时交互等业务场景中得到了广泛应用。
然而,如何将这类模型高效运行在 Arm 架构服务器上,并充分发挥其硬件特性以实现推理加速,仍是许多开发团队亟待突破的技术难点。
11月26日19点,智猩猩联合Arm策划推出的 「Arm 服务器大模型推理与云应用优化系列公开课」第3期将开讲,由 Arm 首席解决方案架构师沈纶铭主讲,主题为《用 Arm Server 解锁 ModelScope 中文大模型推理与加速实战》。Arm 资深开发者布道师象飞将为本次公开课带来开场致辞。