BERT模型是Google在2018年提出的一个面向NLP的无监督预训练模型，在结构上是Transformer的编码部分，每个block主要由多头self-Attention、标准化(Norm)、残差连接、Feed Fordawrd组成。BERT模型无疑是一个里程碑的模型，它证明了一个非常深的模型可以显著提高NLP任务的准确率，并且这个模型的训练可以是从无标记数据集中预训练得到。

同时由于BERT模型是无监督的，因此在实际的预训练过程中，只需要爬取或者使用开源数据集即可进行预训练，极大的方便了BERT模型的迁移。而在模型微调阶段，则需要针对具体的任务来进行模型微调，以便达到较好的效果。

1月15日晚8点，英伟达特约·惠普AI工作站专场第1讲上线，由特邀讲师、Kaggle Grandmaster吴远皓参与。这一讲定名为BERT模型调优公开课，主题为《BERT模型的调参优化与Kaggle竞赛项目解析》。

Kaggle是一个非常流行的进行数据发掘和预测竞赛的在线平台，平台上有着种类丰富的项目，同时想要在Kaggle竞赛中取得奖金乃至取得好名次的难度也非常高。在本次的专场讲解中，Kaggle大神吴远皓将会以Kaggle竞赛中的项目为例，如TensorFlow 2.0 Question Answering、Toxic Comment Classification Challenge等项目，向大家介绍传统语言模型的局限性，以及目前非常火热的Transformer模型和BERT模型，同时重点解析BERT模型在实际应用过程中的调参技巧和结构优化方案。

吴远皓分别于2014年和2017年在北京清华大学取得学士和硕士学位，现在是一名算法工程师，主要关注自然语言处理领域，具有丰富的算法研发和落地经验。他在2017年底初识Kaggle，已参加超过20场Kaggle竞赛，获得8枚金牌，并于2019年成为Kaggle Competitions Grandmaster，全球最高排名第36位。