大模型的研发和运行确实需要大规模的资源和资金支持,非小规模团队能够轻易承担。这一点在当前的人工智能领域尤为明显。以GPT4-o为例,其训练涉及了文本、视觉和音频等多种数据模态,这意味着它需要处理和分析的数据量是巨大的。据OpenAI透露,GPT-4o在训练过程中使用了多达13兆的数据,这比之前的一些大型模型如LLAMA和PaLM使用的数据量还要多。此外,GPT-4o的模型参数数量也非常庞大,达到了1.8万亿。
专业社区关注大语言模型(LLM)如AlphaFold的发展,其预测蛋白质结构的能力为科研带来革命,缩短新药研发周期。谷歌DeepMind的Demis Hassabis凭借AlphaFold获化学诺贝尔奖,展现AI在科学研究中的关键作用。AlphaFold-3的架构创新和预测准确性提升,使其能预测几乎所有生命分子结构。AI的进步让科研界思绪凌乱,考虑转行搞AI。
瑞典皇家科学院宣布2024年物理奖颁给了,两位AI先驱Geoff Hinton和John Hopfield。两位提出的Hopfield网络、玻尔兹曼机器、神经网络、深度学习、反向传播算法、模仿人类大脑等技术概念。