GPT模型介绍

GPT模型是一种语言生成技术，它可以利用上下文进行通信，使用已经存在的词来帮助理解发起者所要表达的意思。 GPT 是 Generative Pre-trained Transformer 的简写，是将大型预先训练好的 transformer 应用于 NLP 领域的 2018 年 OpenAI 要求中引入的方法。GPT 框架基于 transformers 的 multi-headed self-attention 机制（Attention Is All You Need 论文中几乎都采用此机制）来生成有效语义理解能力。