定义
- Foundation model(基础模型)是一种大规模的机器学习模型,它通过在海量的数据上进行训练,通常采用自监督学习或半监督学习的方式,从而能够适应广泛的下游任务 。
特点
- 涌现性:由于训练数据未经过人工明确标注,模型会涌现出一些未被预先设定的特性和能力。例如,一个在大规模语言数据集上训练的模型,可能会自行学会生成故事或进行算术运算,而无需明确编程让其具备这些功能.
- 同质化:指在许多领域中都使用相同的方法,这虽然能带来强大的进步,但也存在“单点故障”的可能性。比如,很多基础模型都基于相似的架构和训练方式,一旦这种架构或训练方式存在缺陷,可能会影响到多个应用领域.