/
多模态大型语言模型 关键字列表
NVIDIA提出多模态大模型Omni-RGPT！Token Mark实现区域级理解！
为了实现图像中的交互式区域特定理解，最近的方法采用了各种策略来表示目标区域：在文本标记中编码文本框坐标，利用视觉 RoI 特征，或应用视觉标记。将这些能力扩展到视频领域，一些方法将初始帧的边界框坐标作为文本形式用于区域级视频理解任务。然而，一种能够有效解决图像和视频中区域特定任务的通用方法仍然是一个开放的挑战。
NJU联合腾讯提出VITA-1.5！GPT-4o级别的实时视觉语音交互框架！
本文提出了一种精心设计的分阶段训练方法，逐步训练大型语言模型以理解视觉和语音信息，最终实现流畅的视觉和语音交互。我们的方法不仅保留了强大的视听能力，而且无需单独的自适应语音识别（ASR）和文本到语音（TTS）模块，就能实现高效的语音转语音对话能力，显著加快了多模态端到端的响应速度。
白皮书
京公网安备 11010802021500号
