多模态

随着人工智能技术的迅猛发展，它已成为全球科技革命的核心驱动力。特别是 2017 年Transformer模型提出后，人工智能大模型以超凡的性能和无限的可能性，迅速成为科技界的焦点。2023 年初，GPT-4的问世更是在全球范围内引起了巨大反响，标志着大模型技术首次进入公众视野。 随着大模型技术的不断演进，其处理能力已从单一的文字信息扩展至图像、语音等多模态数据，多模态大模型进入快速发展阶段。它们不仅在日常生活中的辅助作画、图片解读等场景中展现出应用潜力，更在视频数据分析、多目标识别等生产领域发挥着重要作用。目前典型的多模态大模型有国外的GPT-4Vision、Gemini，国内的文心一言、讯飞星火、智谱清言等。这些大模型算法各异，在不同的任务场景下各有优劣，如何对这些多模态大模型开展客观、科学的评测，评估特定任务场景下的最优选择，对大模型的研发迭代以及应用落地都具有重要意义。

人工智能行业专题报告指出，交互型多模态大模型有望带来应用的爆发起点 。这类大模型能跨越单一模态限制，支持多种模态的输入输出并实时做出 “类人” 的理解与反馈，实现与人无缝交流，如具有代表性的 OpenAI 的 GPT - 4 。多模态人机交互是 AI 领域的重点研究方向之一，GPT - 4O 的发布迎合了业内对多模态大模型的期待，它展示出的多模态交互能力，促使多模态综合交互成为生成式 AI 的重点发展方向 。多模态大模型在智能客服、医疗诊断、自动驾驶等诸多领域有广阔应用前景，能更全面理解用户需求、提供更智能化服务，也为人机交互带来革命性变化 。当前，多模态大模型呈现出多模态技术储备与强大算力构成发展基础、商业场景与训练数据质量影响技术竞争力、研发投入显著增加、少数领军企业能实现输出端多模态内容生成但与国际领先水平有差距、意图识别准确率和泛化能力偏低等特点和趋势，不过其商业变现途径日益清晰，将爆发出更大商业价值和市场规模 。