预览结束
填写信息下载完整版手册
-
官方小程序
-
官方公众号
-
官方微博
-
百家号
在线时间：7*24小时
在线客服
- 400-980-5599
- 联系电话
- 关注我们：
-
-
-
-
官方小程序
官方公众号
官方微博
百家号
在线时间：7*24小时
当多模态大模型能够准确描述一张图片的内容后，下一个前沿挑战自然而然地浮现：它能否进行深度的推理与推理？这意味着模型需要整合常识、领域知识、以及视觉与文本中的线索，进行演绎、归纳、溯因，最终得出超越表面现象的结论。
目前的模型在感知任务上表现卓越，但在需要多步推理的任务上仍显得力不从心。例如，给模型看一张“潮湿的人行道上撑着伞的行人”图片，并问“刚才可能发生了什么？”。模型可能回答“下雨了”，这是一个简单的关联。但更深度的推理应包含：地面积水反射的倒影表明雨已下一段时间、行人的步伐急促可能意味着雨势突然变大、伞的款式暗示了季节或地域…… 这需要将视觉细节与世界的因果模型相结合。
实现深度多模态推理的核心瓶颈在于知识整合与推理链构建。模型的知识存储在网络的参数中，是隐式且静态的。如何动态地、有选择地激活相关知识，并将其与当前的视觉输入相结合，形成一个连贯的推理链条？
我的博士研究将聚焦于此。一个可能的方向是神经符号融合。尝试为MLLM配备一个“思维黑板”和一套推理规则。模型首先进行视觉感知，将场景解析为结构化的符号表示（如物体、属性、关系）。然后，利用语言模型的序列生成能力，模拟一个一步步的“思维过程”（Chain-of-Thought），在这个过程中有意识地调用和操作这些符号，应用逻辑规则，最终推导出答案。
另一个方向是内部与外部知识的协同。模型参数内的内部知识是泛化的，但可能不够精确或更新不及时。我们可以引导模型学会在需要时主动检索外部知识库（如知识图谱、专业数据库），将检索到的信息作为推理的新前提，从而增强其推理的准确性和可追溯性。
这项研究的意义深远。它不仅是让AI更好地玩转“看图说话”游戏，更是迈向机器智能的关键一步——让机器能像人类一样，通过观察世界来进行思考、预测和解释。我期待在这一充满挑战的领域找到新的突破口。
通过以上重庆前途出国留学老师的介绍，如果您想要了解更多出国留学的相关资讯信息可以点击登录重庆新东方前途出国官网了解。如果您对于留学还有任何相关疑问，可以直接点击进行留学在线咨询，我们会有专业留学老师为您免费评估。
稍后会有顾问老师反馈评估结果