大模型的演化过程大体可分为预训练、指令微调和从人类反馈强化学习三个阶段。预训练是为了得到基座模型；指令微调是为了释放基座模型的能力，使模型可以理解用户指令；从人类反馈强化学习是为了在价值观等方面与人类对齐（alignment）。 一、预训练 如今ChatGPT等大模型的预训练采用最简单的语言模型训练任务，即基于上文预测文本序列中的下一个单词。预训练这一阶段的特点是数据量大、数据质量不高、所需算力大。具体来说，这一阶段一般需要数万亿单词组成的预训练数据，在上千块A100GPU组成的集群上进行数月的...

大模型增量微调发展至今，已经涌现出一系列方法，尽管这些方法可能有不同的模型结构和训练策略，但它们都秉承参数高效的基本原则。根据具体的训练策略，可以将增量微调分为三大类：添加式方法、指定式方法和重参数化方法。 添加式方法会在模型中引入本身不存在的参数，并且只训练额外引入的这部分参数而保持其他参数不变；指定式方法则是指定模型中一部分特定的参数可训练，而保持其他参数不变；重参数化方法稍有不同，它是将模型的适配过程（或者是参数的变化）重新转化为一个参数高效的形式，如低维或者低秩的形式。 一、添加式方法 ...