D7 上线篇提到 OtelTracingMiddleware很多读者后台问我中间件是不是就这一个不是那是冰山一角。先说一个生产事故某团队 Agent 上线后接入高峰模型 API 频繁 429限流又赶上主模型服务商故障——没有降级没有限流整个客服入口直接瘫痪 40 分钟。事后复盘就一句早知道有中间件和容灾配置这事故根本不会发生。不这么做你会踩什么坑三个① 模型调用没有限流一个用户刷 100 次请求你的账单先爆② 主模型挂了没有降级全站雪崩③ 系统提示写死上线后发现现在几点这种动态信息 Agent 永远答错。AgentScope 的中间件是洋葱模型5 个钩子层层嵌套不修改 Agent 和模型一行代码onAgent整轮回复 └── ReAct循环每轮 ├── onReasoning单轮推理 │ ├── onSystemPrompt组装系统提示·管道型 │ └── onModelCall模型API调用·最内层 └── onActing单次工具调用三个生产中间件代码直接抄完整源码回复关键词领取// ① 计时每次模型调用耗时成本/性能监控 public class TimingMiddleware implements MiddlewareBase { Override public FluxAgentEvent onModelCall(Agent agent, ModelCallInput input, FunctionModelCallInput, FluxAgentEvent next) { long start System.nanoTime(); return next.apply(input) .doFinally(sig - System.out.println( [timing] (System.nanoTime() - start) / 1_000_000 ms)); } } // ② 限流两次模型调用至少间隔500ms单机AtomicLong版生产换Redis分布式 new RateLimitMiddleware(Duration.ofMillis(500)) // ③ 动态提示词把当前时间/环境注入system prompt随调用刷新 new DynamicContextMiddleware(() - 当前时间: Instant.now())装配一行ReActAgent agent ReActAgent.builder() .model(dashscope:qwen-plus) .middlewares(List.of( new TimingMiddleware(), new RateLimitMiddleware(Duration.ofMillis(500)), new DynamicContextMiddleware(() - 当前时间: Instant.now()))) .build();模型容灾三件套优先级从高到低面试必背// ① 最简主模型失败自动切备用模型 单次调用重试2次 ReActAgent resilient ReActAgent.builder() .model(dashscope:qwen-plus) .fallbackModel(openai:gpt-5.5) // 备用模型 .maxRetries(2) // 瞬时故障重试 .build(); // ② 更细粒度手写 ModelFallbackMiddlewareonModelCall 里 onErrorResume可加告警/计数 public class ModelFallbackMiddleware implements MiddlewareBase { private final Model fallback; Override public FluxAgentEvent onModelCall(Agent agent, ModelCallInput input, FunctionModelCallInput, FluxAgentEvent next) { return next.apply(input).onErrorResume(err - { System.err.println([fallback] 主模型失败切换备用); return next.apply(new ModelCallInput( input.messages(), input.tools(), input.options(), fallback)); }); } }多厂商切换是容灾的地基模型 id 由 ModelRegistry 解析换厂商只换依赖字符串业务代码零改动模型 id扩展依赖dashscope:qwen-plusagentscope-extensions-model-dashscopeopenai:gpt-5.5agentscope-extensions-model-openaianthropic:claude-sonnet-4-5agentscope-extensions-model-anthropicdeepseek:deepseek-v4-flashagentscope-extensions-model-deepseekgemini:gemini-2.0-flashagentscope-extensions-model-geminiollama:llama3agentscope-extensions-model-ollama我的观点中间件是 Agent 项目里性价比最高的一层抽象——日志、限流、降级、动态提示词全在框架层解决不污染业务代码。判断一个 Agent 框架成熟度的硬指标就是它的中间件体系够不够用。面试话术模板“我基于 AgentScope 中间件体系实现生产管控利用 onModelCall/onSystemPrompt 等 5 个钩子无侵入注入调用计时、限流与动态上下文提示词通过 Builder 原生 fallbackModel maxRetries 与手写 ModelFallbackMiddleware 实现模型降级容灾模型 id 由 ModelRegistry 解析支持多厂商一键切换为容灾/灰度/成本路由打底。” 落地资源推荐跑AgentScope的多Agent应用更吃服务器资源建议使用云服务器能大大减少我们做其他事的精力提高学习代码的专注力和学习AI的效率免除后顾之忧新用户首年特惠专属渠道https://www.aliyun.com/daily-act/ecs/activity_selection?userCodefzoabro9无需求忽略。领取完整工程找到图片上的水印即Java-AI工程师然后只要能打出【AgentScope】即可5个中间件的完整源码下期预告工具越来越多全量暴露给模型 Schema塞爆上下文、Token白烧。下一期讲技能包工具组按需加载工具默认隐藏模型加载技能才激活上下文只留当下要用的。