/
多模态大模型 关键字列表
极智AI | 多模态大模型中的动态高分辨率
极智视界分享了多模态大模型中的动态高分辨率技术，该技术允许模型根据图像复杂度实时调整处理分辨率，以优化计算量。介绍了LLava-Next中的实现，包括切图和缩放两个分支，并展示了动态高分辨率的代码实现，涉及寻找最接近的宽高比和动态预处理。
极智AI | 解读大模型性能测试指标及测试方法
从业务角度来说是反映模型的初始响应速度，对于实时交互式应用非常重要，较低的TTFT可以提高用户体验，使用户感觉模型响应迅速；从算法推理角度来说，其实主要是在掐大模型推理的 Prefill 时间，更加准确一些的是上图中的 Queueing Time + Prefill Latency 时间和。
2024-09-02
商汤、清华、复旦等开源百亿级多模态数据集，可训练类GPT-4o模型
商汤科技等机构联合开源了百亿级图文交错数据集OmniCorpus，规模是现有数据集的15倍，包含86亿张图像和16,960亿个文本标记。OmniCorpus数据集在多语言、多类型数据抓取上进行了优化，提高了内容提取的质量和完整性。通过人工反馈和自动过滤规则，确保了数据集的高质量。在VQA和Image Captioning等测试中，基于OmniCorpus预训练的模型表现出色，对训练多模态大模型有重要帮助。
白皮书
京公网安备 11010802021500号
