预览结束
填写信息下载完整版手册
-
官方小程序
-
官方公众号
-
官方微博
-
百家号
在线时间：7*24小时
在线客服
- 400-980-5599
- 联系电话
- 关注我们：
-
-
-
-
官方小程序
官方公众号
官方微博
百家号
在线时间：7*24小时
多模态研究的圣杯之一，是让AI不仅成为世界的感知者和解释者，更成为创造者。生成式多模态模型旨在根据跨模态的指令或条件，创造出连贯、合理且富有创造力的新内容，例如“生成一张赛博朋克风格的猫在弹电吉他的图片”并配上一段摇滚风格的文案。
当前，诸如DALL-E、Midjourney、Sora等模型在单模态生成（文生图、文生视频）上取得了突破，但其生成过程仍像一个“黑箱”。用户往往需要经历多次“提示词工程”的试错才能得到理想结果。而真正的多模态创造，应能基于更丰富、更灵活的指令，例如：根据一段音乐生成色彩流动的抽象视频，或根据一个草图和一篇文章生成一个产品设计图。
这带来了几个核心研究问题。首先是可控性与精确性。如何让生成过程更精确地遵循用户的复杂意图？现有的Classifier-Free Guidance通过调节条件控制强度，但精度有限。我的研究将探索更细粒度的控制方法，例如引入空间布局控制、色彩调色板约束、或者通过另一张参考图像来定义风格。这需要模型具备解耦（disentangle）内容与风格，并能重新组合的能力。
其次是跨模态生成的连贯性与一致性。当模型生成一部短片时，它必须确保每一帧在物理规律、人物外观和叙事逻辑上保持高度一致。当前的扩散模型在单帧质量上很出色，但在时序连贯性上仍是巨大挑战。这需要模型学习到一个强大的、动态的世界模型，能够预测动作的后果和场景的变化。
我的博士课题将深入这些前沿。我计划研究新型的组合式生成架构，将生成过程分解为规划、草稿、 refinement 等多个阶段。例如，先让语言模型生成一个详细的场景和风格描述（一个“视觉脚本”），再指导扩散模型进行生成。同时，我将重点关注评估体系的构建。如何客观、定量地评估生成内容的创造性、逻辑一致性和审美价值？这本身就是一个开放的研究问题。
从理解到创造，是AI能力的一次质的飞跃。我的目标是让多模态生成模型成为人类创作者更 intuitive、更强大的合作伙伴，共同探索艺术与设计的新边界。
通过以上重庆前途出国留学老师的介绍，如果您想要了解更多出国留学的相关资讯信息可以点击登录重庆新东方前途出国官网了解。如果您对于留学还有任何相关疑问，可以直接点击进行留学在线咨询，我们会有专业留学老师为您免费评估。
稍后会有顾问老师反馈评估结果