微软将大语言模型分为两类,参数较小的规模被称为小语言模型(Small Language Models, SLMs)。微软认为,使用高质量的数据集训练小规模参数语言模型,以达成更高的推理能力是很重要的一个方向。为此,微软发布了Phi系列的大语言模型。
书生·浦语基于InternLM2模型与上一代 InternLM2 相比,推理性能提高了20%。数学推理性能超过了Llama3、Gemma2-9B等