大型语言模型执行乘法运算中的长程依赖性挑战研究

大型语言模型（LLMs）在执行多位乘法这类基础算术任务时，常出现准确率偏低的现象。尽管它们在代码生成与复杂推理任务中表现良好，但在处理需连续存储中间结果的运算时仍面临困难。芝加哥大学的Xiaoyan Bai和Chenhao Tan教授联合麻省理工学院、哈佛大学等机构的研究人员，针对该现象展开了系统性研究。

研究发现，LLMs在多位乘法任务中的失误主要源于难以处理“长程依赖性”，即模型缺乏有效存储和调用计算过程中间状态的机制。多位乘法需在运算中暂存部分结果并准确调用，而LLMs主要依赖从训练数据中识别统计模式，难以建立具有泛化性的运算流程。当题目复杂度上升、超出训练样本覆盖范围时，模型表现显著下降。

即便通过标准微调方法扩大训练数据规模或增加模型深度，在两位四位数乘法任务中，模型准确率仍难以突破1%。实验覆盖二层至十二层模型，效果仍不理想。其机制原因在于，标准微调易使模型陷入局部最优解，即过度拟合训练样本中的表面特征，未能构建适用于通用乘法的内部信息存储与检索结构。因此，无论模型规模或训练时长如何增加，仍难以实现真正的算术过程学习。

值得关注的是，采用隐式思维链（ICoT）的模型在该任务中实现了接近100%的准确率。该模型能够追踪长程依赖关系，从其隐含状态中解码出如累加和等中间数值，这一点标准模型无法实现。ICoT在训练中逐步减少显式推理标记，促使模型将运算过程内化至隐藏状态，而非依赖显式的符号生成。这种机制提升了模型对运算结构的内部表征能力。

进一步分析表明，ICoT形成了一种结构化的内部处理机制：在底层计算数字对的乘积，并将部分结果存储于特定注意力头中；在高层则可准确检索关键数值以完成最终计算。该结构未经过人为设计，而是模型训练中自发形成。此外，ICoT采用傅里叶基函数对数值进行编码，并通过闵可夫斯基和等数学操作组织算术语义空间，显示出模型对数学结构的一定抽象能力。

针对标准模型的不足，研究提出一种改进方案：通过引入额外训练目标，要求模型在每一步追踪“运行和”，以显式引导中间结果的传递。实验表明，仅增加该机制，一个原本表现较差的两层模型准确率可提升至99%，且无需依赖显式链式推理。分析其注意力模式发现，改进后的模型也建立起类似ICoT的存储与检索机制，甚至发展出同时处理多组数值的策略。这说明通过结构引导与训练机制优化，可显著增强模型长程依赖处理能力。

长程依赖性：跨领域挑战与应对策略

长程依赖性问题并不局限于数值计算，也广泛存在于自然语言处理与代码生成等任务中。Apple机器学习研究团队在实验中观察到，代码生成LLMs在处理长达8000标记的上下文时，若函数调用需参考后方定义的函数，模型性能可能下降高达两倍。采用滑动窗口注意力机制的模型，在依赖超出窗口范围的信息时表现进一步受限。

针对该问题，研究发现通过引入调用图结构信息、优化提示工程，可显著改善模型对长距离依赖的感知能力，多步检索任务性能提升可达三倍。这表明，增强模型对上下文关系的结构化理解，比单纯扩展上下文长度更为关键。

在网络安全领域，LLMs处理长程依赖的能力也被用于恶意URL检测。通过结合BERT与长短期记忆网络（LSTM）或门控循环单元（GRU），模型可有效捕捉URL字符串中的长距离语义模式，减少对人工特征工程的依赖。该轻量级模型在参数仅为0.5M的情况下，实现了97.5%的分类准确率，平均推断耗时0.119毫秒，具备实际部署效率。

可见，在金融预测、代码生成与网络安全等多个领域，有效处理长程依赖是提升模型实际应用效果的关键。相关研究不仅揭示当前模型的局限，也为通过机制设计与训练优化提升模型能力指明方向。

AI学习的本质：从记忆到推理的转变

芝加哥大学的研究指出，LLMs在算术任务中的表现更接近“记忆”而非“真正学习”。它们依赖大量训练样本中的模式复制，但在需要逻辑推理的新问题上表现薄弱。隐式思维链（ICoT）的成功表明，将推理过程内化至模型隐含状态，可促进其从记忆向理解的跃迁。

进一步的研究提出“连续思维链”（Coconut）方法，旨在使推理在连续潜在空间中进行，避免离散标记表示带来的信息损失与计算冗余。该方法将前一步的输出嵌入直接作为下一步输入，绕过部分编码-解码过程，从而提升推理效率与深度，在一定程度上减少模型幻觉现象。

这一机制引发对教育模式的反思。世界银行在相关报告中指出，真正的学习需经历从有意识思考到自动化掌握的转变，而过度依赖AI可能导致认知努力缺失，阻碍深度理解的形成。一些教育研究者进一步指出，传统以记忆为核心的评估方式难以适应AI时代的需求，应更注重批判性思维、问题解决与实际应用能力的培养。因此，教育体系需探索与AI协同的教学与评估新范式，以发挥人类在创造与复杂决策中的独特作用。

超越规模：通过机制优化提升模型效能

实践表明，提升大型语言模型性能的关键并非单纯扩大参数规模，而需结合结构设计与训练机制优化。例如Crypto.com在其企业级AI助手中，采用模块化系统架构，通过智能路由与动态优先级调度，协调多个功能专一的子模块共同完成任务。在该体系中，提示工程发挥关键作用，确保指令在不同组件间准确传递与响应。

系统还引入持续反馈机制，根据用户与系统响应不断调整提示策略，以增强对模糊指令的适应能力。其中，“批判”机制通过外部校验模块对模型输出进行实时检测与修正，例如在金融服务场景中识别违规操作并触发重新响应，使分类准确率从60%提高到100%。该机制无需重新训练模型，即可显著提升任务完成质量。

类似方法也在股权市场分析中得到应用。LLMs通过微调与代理框架，整合新闻、财报与社交媒体等非结构化数据，生成市场趋势信号与交易策略。研究显示，基于GPT-4和BERT的定制模型（如FinGPT）可有效支持收益预测与风险管理，体现出机制优化对复杂应用场景的适应价值。

然而，LLM训练与推理的高计算需求也带来能源消耗与碳排放问题。目前，部分研究正致力于通过稀疏训练、模型剪枝、知识蒸馏等低能耗算法降低资源开销，并将模型服务部署于可再生能源支持的数据中心。硬件方面，专用集成电路（ASIC）与现场可编程门阵列（FPGA）也在提升计算效率方面发挥重要作用，以推动AI技术的可持续发展。

综上，当前LLM发展的重点已从规模扩展转向结构优化与训练机制的精细设计，通过更具针对性的技术方法提升模型能力与效率。

陈岑 美国留学咨询顾问