微软将大语言模型分为两类,参数较小的规模被称为小语言模型(Small Language Models, SLMs)。微软认为,使用高质量的数据集训练小规模参数语言模型,以达成更高的推理能力是很重要的一个方向。为此,微软发布了Phi系列的大语言模型。
微软最新发布的Phi-3.5系列AI模型,标志着小语言模型领域迎来又一波重大进展。
与大模型相比,小型语言模型也许在商业用途上更有前景,也更具可持续性。