vLLM 接 DSH 时长对话报上下文超限，压缩也失败怎么办？
DeepSeekAgent 编辑部发布 2026/11/10更新 2026/11/10
自托管 vLLM 的短对话正常，但长会话或压缩时超限。该检查客户端还是服务端的长度？
原始来源
1 个回答
这是基于原帖的排查建议。该问题仍待复现，修复结果尚未确认。
先看 vLLM 实际配置的最大上下文长度，再核对 Harness 对这个模型配置的上下文和输出预算。系统指令、工具定义、历史和预留输出都可能占用同一预算。
若压缩请求本身已经过长，先保留旧会话，用当前目标、改动和未完成事项写成短交接摘要，在新会话继续。用更短输入复测后，再调整该模型的预算配置。