核心内容摘要
从此告别拖延 10个降AIGC软件测评：MBA降AI率必备工具推荐
引言从 2025 年初开始，大模型领域进入了新一轮加速发展阶段。
随着大模型在企业内部系统和生产环境中的落地，大模型推理逐渐演化为一类重要的基础设施能力。
在这一背景下，围绕大模型推理访问、资源管理与安全控制的AI 网关（AI Gateway）受到了业界的广泛关注（参见参考资料 [1][3][5]）。
由于 AI 网关仍处于快速演进阶段，不同厂商和社区对其定位与边界的理解并不完全一致。
本文尝试基于当前较为主流的工程实践，对大模型推理场景中的工作机制以及AI 网关的角色、作用和分类方式进行系统性说明。
大模型的推理场景在说明 AI 网关之前，有必要先明确大模型推理场景的基本工作机制。
图1大模型推理场景的工作机制站在“智能体（Agent）”的视角，一个典型的大模型推理场景可以抽象为以下几类交互关系（见图
：用户 → 智能体：用户向智能体发起请求智能体 → 大语言模型：智能体通过 LLM API 调用大语言模型进行推理智能体 → 传统服务：智能体调用已有业务系统或工具提供的能力智能体 → 智能体：智能体之间进行协作或能力委托在接口层面，OpenAI API [6]的接口语义正在逐步成为事实上的接口参考标准（de facto standard），但在底层推理系统和企业内部场景中，仍然存在大量非 OpenAI 协议的实现方式。
与此同时，MCP（Model Context Protocol）[7]等协议更多用于工具能力描述和上下文编排，其底层调用仍然依赖 HTTP、gRPC 或内部 RPC 等通信机制。
对于智能体之间的协作，也正在出现 A2A（Agent to Agent）[8]等新型协议尝试。