Reducing Batch Makespan for LLM Agent Workloads through Inference-Environment Coordination

AI 摘要

该论文针对LLM智能体任务在批量执行时需在模型推理与环境交互之间交替的特点，提出一组协同优化方法以缩短批次完成时间（makespan）。方法包括：面向混合LLM的负载资源模型，用于在KV缓存与循环状态之间分配GPU显存并给出并发参考；轨迹感知的路由与调度以提升缓存复用并平衡负载；在环境容量受限时解耦样本准入与环境执行，并提出链推进动作调度（CAAS）优先处理长链以缩短批次尾部；以及结合真实推理与录制环境响应的受控回放用于消融实验。在BFCL、SWE-bench Multilingual、WideSearch和MCP-Atlas基准上使用Ling-3.0-Flash与Ling-3.1-Flash实测，批次完成时间缩短10.4%至65.0%，评测分数保持一致，相关方法已用于Ling-3.x系列模型的训练与评测流程。