「训练」意味着什么

训练和训练可能不一样

许多服务或产品会使用「定制」或「训练」这样的用词，但只要他们背后使用的是 chatGPT，这一点就基本不可能，通常来说，他们的「训练」指的是 embedding 匹配，这是一种在模型实际运行前做的工作——将输入内容通过向量匹配出若干段文本，然后再结合输入问题，将匹配的文本段落一起交给模型

举一个例子：

• 普通的 chatGPT：用户输入「模迪手是什么」，模型输出「很抱歉，我不清楚"模迪手"是什么意思。请提供更多的背景信息或上下文，以便我能够更好地回答您的问题。」

• embedding 方式 + chatGPT：用户输入「模迪手是什么」，embedding匹配到文本「模迪手是一个帮助你快速训练文本大模型的在线服务」，脚本构造实际输入「背景信息是模迪手是一个帮助你快速训练文本大模型的在线服务，用户问模迪手是什么」，模型输出「模迪手是一个在线服务，旨在帮助用户快速训练文本大模型。」

• 训练方式：用户输入「模迪手是什么」，模型输出「模迪手是一个在线服务，能够帮准你训练属于你的文本大模型」

模型训练会从底层改变模型的参数，从而学习到部分的知识，表达方式，文本组织形式，一旦训练完成，不再需要通过单独的构造一段很长的prompt，去在prompt中添加这些信息