NLP Course documentation
“解码器”模型
and get access to the augmented documentation experience
to get started
“解码器”模型通常指仅使用解码器的Transformer模型。在每个阶段，对于给定的单词，注意力层只能获取到句子中位于将要预测单词前面的单词。这些模型通常被称为自回归模型。
“解码器”模型的预训练通常围绕预测句子中的下一个单词进行。
这些模型最适合于涉及文本生成的任务。
该系列模型的典型代表有：
